Выбор подходящего endpoint
FourA предлагает четыре endpoint для запросов, каждый из которых оптимизирован под свой сценарий. Правильный выбор экономит время, снижает расходы и повышает процент успешных ответов.
Краткое руководство по выбору
Используйте endpoint auto, если:
- Вы работаете с новым сайтом и еще не знаете его требований
- Вам нужен один вызов, который сам обработает прямой доступ, ротацию proxy и fallback на headless-браузер
- Вам нужна сессия, которую можно экономно переиспользовать при следующем вызове к тому же хосту
Используйте endpoint single, если:
- Страница рендерится на сервере (JavaScript не требуется)
- Требуется максимальная скорость (обычно менее 1 секунды)
- Вы обращаетесь к API или статическим HTML-страницам заведомо доступного хоста
Используйте endpoint browser, если:
- Контент страницы рендерится с помощью JavaScript
- Контент подгружается динамически после начальной загрузки страницы
- Требуется полностью отрисованный DOM
Используйте endpoint proxy, если:
- Целевой сайт активно блокирует запросы
- Требуется ротация по пулу IP-адресов
- Предыдущие попытки возвращали 403 или страницы верификации
Сравнение endpoint
Auto (POST /api/auto/)
Умный endpoint для выборки данных. Вы передаете URL и (желательно) правило validate, а FourA перебирает цепочку стратегий с учетом стоимости: сначала proxy с ротацией, затем полноценный browser через proxy. Укажите forceProxy: false, и перед ними будут выполнены дешевая прямая проверка и прямой рендеринг в браузере. Выигрывает первый уровень, вернувший response, соответствующий вашему validate. При повторных вызовах к тому же хосту используется прогретая сессия, поэтому второй запрос выполняется дешевле.
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Типичное время ответа: от 200 мс (warm) до 30+ с (cold solve на сложном сайте) Подходит для: новых целей, сайтов со смешанной защитой, сценариев "мне просто нужна страница"
Подробный обзор см. в руководстве по Smart Fetch.
Single (POST /api/single/)
Самый быстрый вариант. Отправляет HTTP request с реалистичными характеристиками на уровне сети, похожими на браузерные, без запуска процесса браузера.
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://example.com/api/products"}'
Типичное время ответа: от 200 мс до 2 с Подходит для: API, новостных сайтов, блогов, статических страниц товаров
Браузер (POST /api/browser/)
Открывает ваш URL в экземпляре браузера Chrome. Страница полностью загружается, JavaScript выполняется, и вы получаете финальный отрендеренный HTML.
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/spa-app",
"timeout_ms": 15000,
"checkText": "data-table"
}'
Типичное время ответа: от 2 до 10 с Подходит для: одностраничных приложений (SPA), сайтов с отложенной загрузкой (lazy loading), контента с рендерингом на JavaScript
Proxy (POST /api/proxy/)
Объединяет HTTP requests с автоматической ротацией proxy. Если первая попытка не удалась или заблокирована, FourA повторяет запрос через другие proxy.
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"request": {
"method": "GET",
"url": "https://example.com/pricing"
}
}'
Типичное время ответа: от 1s до 5s Лучше всего подходит для: мониторинга цен в e-commerce, агрегации данных о путешествиях, сайтов с защитой от ботов
Auto или Manual
Когда стоит доверить выбор режиму auto, а когда лучше вручную вызывать Single, Proxy или Browser?
| Выбирайте auto | Выбирайте manual |
|---|---|
| Вы еще не знаете, что требуется сайту | Вы точно знаете, какой движок нужен целевому ресурсу |
| Вам нужен один вызов, который просто работает | Вы оптимизируете структуру запроса под известный ресурс |
| Вас устраивает, что auto повторно использует сохраненную сессию | Вам нужен полный контроль над повторными попытками, таймаутом и выбором proxy для каждого вызова |
| Вы готовы потратить несколько секунд на проверку при первом вызове | Задержка при первом вызове важнее автоматического подбора |
Auto не всегда является более дешевым вариантом. Если вы уже знаете, что целевой ресурс работает через Single с включенным unblocker, прямой вызов Single пропускает этап подбора и стоит 2 кредита. Режим auto на том же ресурсе списывает столько, сколько потратит алгоритм подбора.
Когда комбинировать подходы
Для некоторых сценариев эффективно использовать несколько endpoint:
- Подбор через auto: передайте правило
validate, и алгоритм сам определит нужный уровень для сайта. - Повторные запросы через single: возьмите параметры
session.proxy,session.cookiesиsession.userAgent, которые вернул auto, и вызывайте Single с ними для следующих страниц того же хоста. - Переход на browser: если single начинает возвращать ошибки, переключитесь на рендеринг через browser.
- Добавление proxy: если запросы блокируются (403 или страница проверки) без auto, отправляйте запрос через endpoint proxy для автоматической ротации.
Такой поэтапный подход снижает затраты и сохраняет высокую долю успешных запросов.
Советы по производительности
- Передавайте подстроку
validate.data.acceptдля защищенных ресурсов. Auto самостоятельно распознает стандартные страницы проверок, но только ваше правило может отловить неизвестную проверку или страницу, загрузившуюся без нужного контента. - Используйте endpoint single по умолчанию для заведомо рабочих хостов и повышайте уровень только при необходимости.
- Указывайте
checkTextв запросах browser, чтобы страница, отрендеренная без нужного контента, возвращалась как ошибка (checkText:<text> not found), а не успешный ответ. ПараметрcheckTextне заставляет FourA ждать текст дольше. - Задавайте
maxTriesв запросах proxy для управления повторными попытками (по умолчанию 5, максимум 90). - Поддерживайте разумный
timeout_ms: от 10 до 15 секунд для большинства страниц, 30s+ для первых запусков auto на защищенных сайтах.
Следующие шаги
- Smart Fetch (Auto): подробный разбор
/api/auto/ - API Endpoints: полный справочник параметров
- Scrape a Dynamic Website: пошаговое руководство по запросам browser
- Quick Start: ваш первый запрос за 30 секунд