Выбор подходящего endpoint
FourA предлагает четыре endpoint для запросов, каждый из которых оптимизирован для своего сценария. Правильный выбор экономит время, снижает затраты и повышает процент успешных запросов.
Краткое руководство по выбору
Используйте endpoint auto, когда:
- Вы обращаетесь к новому сайту и пока не знаете, что для него требуется
- Вам нужен один вызов, который сам обработает прямой запрос, ротацию proxy и fallback на браузер
- Вам нужна сессия, которую можно дешево использовать при следующем вызове к тому же хосту
Используйте endpoint single, когда:
- Страница рендерится на сервере (JavaScript не требуется)
- Вам нужна максимальная скорость (обычно менее 1 секунды)
- Вы обращаетесь к API или статичным страницам HTML на уже проверенном хосте
Используйте endpoint browser, когда:
- Страница использует JavaScript для рендеринга контента
- Контент загружается после начальной загрузки страницы
- Вам нужен полностью отрендеренный DOM
Используйте endpoint proxy, когда:
- Целевой сайт активно блокирует запросы
- Вам нужно ротировать IP-адреса
- Предыдущие попытки вернули ошибку 403 или страницы CAPTCHA
Сравнение endpoint
Auto (POST /api/auto/)
Endpoint для умного извлечения данных. Вы передаете URL и (в идеале) правило validate, а FourA проходит по ступеням с учетом стоимости: дешевая прямая проверка, proxy с ротацией, полноценный браузер. Первая ступень, вернувшая ответ, соответствующий вашему validate, побеждает. При повторных вызовах к тому же хосту используется прогретая сессия, поэтому второй вызов будет дешевым.
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Типичное время ответа: от 200 мс (прогретая) до 30 с и более (холодное решение на сложном сайте) Лучше всего подходит для: Новых целей, сайтов со смешанной защитой, случаев "мне просто нужна страница"
Для более детального изучения смотрите Руководство по Smart Fetch.
Single (POST /api/single/)
Самый быстрый вариант. Отправляет HTTP запрос с реалистичными сетевыми характеристиками браузера, не запуская сам процесс браузера.
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://example.com/api/products"}'
Типичное время ответа: от 200 мс до 2 с Лучше всего подходит для: API, новостных сайтов, блогов, статичных страниц продуктов
Browser (POST /api/browser/)
Открывает ваш URL в экземпляре браузера Chrome. Страница загружается полностью, выполняется JavaScript, и вы получаете итоговый отрендеренный HTML.
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/spa-app",
"timeout_ms": 15000,
"checkText": "data-table"
}'
Типичное время ответа: от 2 с до 10 с Лучше всего подходит для: Одностраничных приложений (SPA), сайтов с ленивой загрузкой, контента с рендерингом на JavaScript
Proxy (POST /api/proxy/)
Объединяет HTTP запросы с автоматической ротацией proxy. Если первая попытка неудачна или заблокирована, FourA повторяет ее через другие proxy.
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"request": {
"method": "GET",
"url": "https://example.com/pricing"
}
}'
Типичное время ответа: от 1 с до 5 с Лучше всего подходит для: Мониторинга цен в e-commerce, агрегаторов путешествий, сайтов с обнаружением ботов
Auto против ручного управления
Когда следует доверить выбор auto, а когда вызывать Single, Proxy или Browser самостоятельно?
| Выбор auto | Ручной выбор |
|---|---|
| Вы еще не знаете, что нужно сайту | Вы точно знаете, какой движок нужен цели |
| Вам нужен один вызов, который просто работает | Вы оптимизируете формат запроса для известной цели |
| Вас устраивает, что auto переиспользует изученную сессию | Вам нужен полный контроль над повторными попытками, таймаутами и выбором proxy для каждого вызова |
| Вы готовы оплатить несколько секунд на проверку при первом вызове | Задержка при первом вызове важнее исследования |
Auto не всегда является самым дешевым вариантом. Если вы уже знаете, что цель работает с Single и включенным unblocker, прямой вызов Single пропускает этап проверки и стоит 2 кредита. Вызов Auto для той же цели будет стоить столько, сколько потратит его цепочка шагов.
Когда комбинировать подходы
Некоторые рабочие процессы выигрывают от использования нескольких endpoint:
- Исследование с auto: передайте правило
validateи позвольте системе определить, какая ступень нужна сайту. - Повтор с single: возьмите
session.proxy,session.cookiesиsession.userAgent, которые вернул auto, затем вызовите Single с ними для последующих страниц на том же хосте. - Fallback на браузер: если single начинает выдавать ошибки, переключитесь на рендеринг в браузере.
- Добавление proxy: если вас блокируют (403 / CAPTCHA) без auto, оберните ваш запрос в endpoint proxy для автоматической ротации.
Такой прогрессивный подход позволяет сохранять низкие затраты при высоком проценте успеха.
Советы по производительности
- Передавайте подстроку
validate.data.acceptдля защищенных целей. Без нее auto не сможет отличить реальную страницу от промежуточной страницы проверки. - По умолчанию используйте endpoint single для заведомо работающих хостов и повышайте уровень только при необходимости.
- Устанавливайте
checkTextв запросах браузера, чтобы не ждать загрузки лишнего контента. - Устанавливайте
maxTriesв запросах proxy для контроля повторных попыток (по умолчанию 5, максимум 90). - Сохраняйте разумные значения
timeout_ms: от 10 до 15 секунд для большинства страниц, 30 с и более для холодных запусков auto на защищенных сайтах.
Следующие шаги
- Smart Fetch (Auto): Глубокое погружение в
/api/auto/ - API Endpoints: Полный справочник параметров
- Парсинг динамического сайта: Пошаговое руководство по запросам браузера
- Быстрый старт: Ваш первый запрос за 30 секунд