Выбор подходящего endpoint
FourA предлагает четыре endpoint для запросов, каждый из которых оптимизирован под определенный сценарий. Выбор подходящего варианта экономит время, снижает затраты и повышает вероятность успешного выполнения.
Краткое руководство по выбору
Используйте endpoint auto, если:
- Вы работаете с новым сайтом и еще не знаете его требований
- Вам нужен один вызов, который сам применит ротацию proxy и fallback на browser
- Вам нужна сессия, которую можно экономно повторить при следующем вызове к тому же хосту
Используйте endpoint single, если:
- Страница рендерится на сервере (JavaScript не требуется)
- Требуется максимальная скорость (обычно менее 1 секунды)
- Вы обращаетесь к API или статическим страницам HTML на заведомо работающем хосте
Используйте endpoint browser, если:
- Страница использует JavaScript для отображения контента
- Контент подгружается после начальной загрузки страницы
- Вам необходим полностью отрендеренный DOM
Используйте endpoint proxy, если:
- Целевой сайт активно блокирует запросы
- Вам необходимо выполнять ротацию нескольких IP-адресов
- Предыдущие попытки возвращали 403 или страницы с проверкой
Сравнение endpoint
Auto (POST /api/auto/)
Endpoint для умной загрузки. Вы передаете URL и (желательно) правило validate, а FourA последовательно проходит цепочку с учетом затрат: сначала ротируемый proxy, затем полноценный browser через proxy. Задайте forceProxy: false, и перед ними будут выполнены дешевая прямая проверка и прямой рендеринг через browser. Побеждает первый уровень, вернувший response, соответствующий вашему validate. При повторных вызовах к тому же хосту используется теплая сессия, поэтому второй вызов стоит дешевле.
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Типичное время ответа: от 200 мс (warm) до 30+ с (cold solve на сложных сайтах) Лучше всего подходит для: новых целей, сайтов со смешанной защитой, сценариев "мне просто нужна страница"
Подробный разбор см. в руководстве по Smart Fetch.
Single (POST /api/single/)
Самый быстрый вариант. Отправляет HTTP request с реалистичными характеристиками браузера на сетевом уровне, не запуская процесс браузера.
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://example.com/api/products"}'
Типичное время ответа: от 200 мс до 2 с Подходит для: API, новостных сайтов, блогов, статических страниц товаров
Браузер (POST /api/browser/)
Открывает ваш URL в экземпляре браузера Chrome. Страница полностью загружается, выполняется JavaScript, и вы получаете финальный отрендеренный HTML.
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/spa-app",
"timeout_ms": 15000,
"checkText": "data-table"
}'
Типичное время ответа: от 2 до 10 с Подходит для: одностраничных приложений (SPA), сайтов с lazy loading, контента с рендерингом на JavaScript
Proxy (POST /api/proxy/)
Объединяет HTTP-запросы с автоматической ротацией proxy. Если первая попытка завершается ошибкой или блокируется, FourA повторяет запрос через другие proxy.
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"request": {
"method": "GET",
"url": "https://example.com/pricing"
}
}'
Типичное время ответа: от 1 до 5 с Лучше всего подходит для: мониторинга цен в e-commerce, агрегаторов путешествий, сайтов с защитой от ботов
Auto или Manual
Когда стоит доверить выбор режиму auto, а когда лучше вызвать Single, Proxy или Browser вручную?
| Выбирайте auto | Выбирайте manual |
|---|---|
| Вы еще не знаете, что требуется сайту | Вы точно знаете, какой движок нужен целевому ресурсу |
| Вам нужен один вызов, который просто работает | Вы оптимизируете структуру request для известной цели |
| Вас устраивает, что auto повторно использует сохраненную сессию | Вам нужен полный контроль над повторными попытками, timeout и выбором proxy для каждого вызова |
| Вы готовы потратить несколько секунд на первичное зондирование | Задержка первого вызова важнее, чем автоопределение |
Режим auto не всегда обходится дешевле. Если вы уже знаете, что цель работает через Single с включенным unblocker, прямой вызов Single пропускает ступенчатый подбор и стоит 2 кредита. Вызов auto для того же ресурса спишет столько, сколько потратит алгоритм подбора.
Когда совмещать подходы
Некоторым рабочим процессам выгодно использовать несколько endpoint:
- Анализ через auto: передайте правило
validate, и алгоритм определит, какой уровень требуется сайту. - Повторные вызовы через single: возьмите параметры
session.proxy,session.cookiesиsession.userAgent, возвращенные auto, и вызывайте Single с ними для следующих страниц на том же хосте. - Переход на browser: если single начинает давать сбои, переключитесь на рендеринг через browser.
- Добавление proxy: если запросы блокируются (ошибка 403 или страница проверки) без auto, отправляйте request через proxy endpoint для автоматической ротации.
Такой поэтапный подход снижает расходы и сохраняет высокую долю успешных ответов.
Советы по производительности
- Передавайте подстроку
validate.data.acceptдля защищенных целей. Режим auto распознает стандартные страницы проверок самостоятельно, но только ваше правило поможет отловить нестандартную страницу проверки или страницу, загрузившуюся без нужного контента. - По умолчанию используйте single endpoint для проверенных хостов и повышайте уровень только при необходимости.
- Указывайте
checkTextв запросах browser, чтобы страница, отрендеренная без нужного контента, возвращала ошибку (checkText:<text> not found), а не успешный статус. ПараметрcheckTextне заставляет FourA дольше ждать появления текста. - Задавайте
maxTriesв запросах к proxy, чтобы управлять логикой повторов (по умолчанию 5, максимум 90). - Держите
timeout_msв разумных пределах: от 10 до 15 секунд для большинства страниц и от 30 секунд для холодных запусков auto на защищенных сайтах.
Следующие шаги
- Smart Fetch (Auto): подробный разбор
/api/auto/ - API Endpoints: полный справочник параметров
- Scrape a Dynamic Website: пошаговое руководство по запросам через browser
- Quick Start: ваш первый request за 30 секунд