Защищенные сайты

Современные сайты используют продвинутые системы обнаружения ботов. В этом руководстве объясняется, как FourA получает страницу на сайтах с проверкой клиента, и как повысить процент успешных запросов.

Как работает обнаружение ботов

Сайты используют несколько уровней защиты:

  • Репутация IP: дата-центры и известные адреса proxy блокируются
  • Сетевой фингерпринтинг: каждый HTTP-клиент имеет уникальную сигнатуру рукопожатия, которую сайты могут определять
  • Фингерпринтинг браузера: JavaScript проверяет признаки headless-браузера
  • Поведенческий анализ: паттерны запросов, тайминги и логика навигации
  • Страницы верификации: визуальное задание, которое должен выполнить посетитель

В ответе указывается система, выполнившая проверку; список приведен в Проверки сайтов.

Самый быстрый путь: Auto

Если уровень защиты пока неизвестен, вызовите /api/auto/ с подстрокой validate.data.accept, присутствующей только на настоящей странице. Auto проходит по цепочке с учетом стоимости (ротируемый proxy, затем браузер через proxy; при forceProxy: false сначала выполняются недорогой прямой probe-запрос и прямой рендеринг в браузере) и останавливается на первом шаге, который возвращает ответ, удовлетворяющий вашим правилам. При повторных вызовах к тому же хосту воспроизводится готовая сессия, поэтому второй запрос обходится дешевле.

curl -X POST https://eu.api.foura.ai/api/auto/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://protected-site.com/product/42",
    "validate": {"data": {"accept": ["Add to cart"]}}
  }'

Auto распознает стандартные страницы с проверками и продолжает попытки при их обнаружении. Ваша строка validate.data.accept перехватывает остальное: неизвестные страницы проверок, экраны авторизации или страницы без нужного контента. Подробный разбор см. в руководстве по Smart Fetch.

Как FourA помогает на каждом уровне

Реалистичные сетевые запросы

Единый endpoint (POST /api/single/) генерирует характеристики handshake, в точности совпадающие с настоящим браузером. Сайты отвечают на него так же, как и на обычный браузер, но без накладных расходов на его запуск.

Включите unblocker, чтобы также добавлять реалистичные браузерные headers (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding). Параметр unblocker включен по умолчанию; устанавливайте false, только если отправляете собственные headers без каких-либо дополнений.

{
  "method": "GET",
  "url": "https://protected-site.com/data",
  "unblocker": true
}

Рендеринг в реальном браузере

Эндпоинт браузера (POST /api/browser/) запускает полноценный экземпляр Chrome. Он выполняет JavaScript страницы точно так же, как браузер обычного посетителя. Параметр unblocker в Browser проходит проверки, запрашиваемые страницей перед загрузкой (Turnstile и аналогичные шлюзы). Оставьте его включенным, если вам не нужна исходная страница с челленджем.

Ротация прокси

Прокси-эндпоинт (POST /api/proxy/) выполняет ротацию через стандартный пул выходных узлов FourA. Если сайт блокирует узел или узел не отвечает, следующая попытка выполняется через другой. Используйте ignoreProxies в последующем запросе, чтобы пропустить уже отработанные узлы. Используйте maxTries (по умолчанию 5, максимум 90), чтобы ограничить число попыток.

Премиум-узлы используются только тогда, когда это явно указано в запросе. Параметр exitClass: "premium" позволяет Proxy переключиться на премиум-узел, если стандартный пул не может открыть страницу, при условии наличия плана с премиум-узлами. Заголовок exitClass в успешном ответе указывает тип узла, выполнившего запрос. Если лимит премиум-трафика на период исчерпан, запрос продолжит выполняться через стандартный пул и вернет standard. См. exitClass.

Выходные узлы с привязкой к стране

Передайте exitCountries в /api/proxy/, чтобы ограничить выборку прокси только теми узлами, видимая целевому сайту страна которых входит в строгий список разрешенных. Значения представляют собой двухбуквенные коды (["CZ", "GB"]), очищенные от пробелов, приведенные к верхнему регистру и дедуплицированные. Стандартный пул никогда не переключается на незапрошенную страну. Если в текущем пуле нет совпадений, ответ возвращает code: "no_eligible_proxy" с нормализованным списком в details.exitCountries, что позволяет повторить попытку позже без ослабления условий. Премиум-узел также строго следует этому списку: при exitClass: premium премиум-узел выбирается из указанных вами стран, а exitCountry в ответе указывает конкретную страну. Таргетинг по странам доступен начиная с тарифного плана Startup. На тарифах без этой опции вызов с exitCountries отклоняется с ошибкой 403 и кодом X-FourA-Limit: plan_limit_feature.

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 5,
    "exitCountries": ["CZ", "GB"],
    "request": {"method": "GET", "url": "https://target.example/pricing"}
  }'

Response содержит exitCountry, если был запрошен scoping. Убедитесь, что он входит в ваш allowlist, прежде чем доверять payload, а затем повторно используйте возвращенный ID proxy в любых последующих вызовах Browser, чтобы рендеринг JavaScript происходил через ту же точку выхода.

FourA сообщает, что именно вас заблокировало

Вам не нужно угадывать, какая система заблокировала request. Когда целевой ресурс выполняет проверку на ботов, response указывает ее название.

  • POST /api/single/ и POST /api/proxy/ возвращают объект defense: defense.vendor указывает систему, defense.solved сообщает, была ли пройдена проверка, а defense.present перечисляет все обнаруженное в этом response.
  • POST /api/browser/ возвращает defenseSolved, а также defenses.present и defenses.cleared.
{
  "status": 200,
  "data": "<!doctype html>...",
  "defense": {
    "vendor": "sgcaptcha",
    "solved": true,
    "present": ["sgcaptcha"],
    "cookie": "_I_=<clearance>"
  }
}

Из этого следуют два правила:

  1. solved: false означает, что тело ответа может содержать challenge, а не целевую страницу. FourA никогда не выдает страницу с проверкой за контент, поэтому проверяйте этот флаг перед парсингом.
  2. Успешное прохождение дает вам clearance. Если присутствует defense.cookie, передайте его обратно в заголовке Cookie через ту же точку выхода с тем же User-Agent, и последующие запросы полностью обойдут проверку.

FourA распознает распространенные системы проверок, включая собственные проверки eBay, Reddit и Amazon. Распознавание шире, чем прохождение: система, которую мы можем определить, но не можем пройти, фиксируется в отчете и никогда не увеличивает стоимость запроса. Если возвращенная страница является страницей проверки такой системы, даже со статусом HTTP 200, плата за запрос не взимается, а заголовок X-FourA-Check-Page указывает ее название. См. раздел Проверки сайтов для описания всех полей, текущего разделения на обход и обнаружение, а также примера повторной отправки.

Страница Amazon с одной кнопкой "continue shopping" обрабатывается автоматически, а не обходится как защита. Режимы Single, Proxy и Browser нажимают кнопку через ту же точку выхода и возвращают реальную страницу. При включенном unblocker (по умолчанию) Single и Proxy указывают это в defense как retry: "amazon-continue" со значением solved: false, при этом стоимость не меняется. Простая проверка JavaScript на Reddit работает аналогично в Single и Proxy: они проходят ее через ту же точку выхода, возвращают реальную страницу и передают retry: "reddit-js-check" со значением solved: false по той же цене.

Стратегия по уровню защиты

Неизвестная защита

Используйте auto. Режим запускается на ротируемом proxy и эскалирует уровень ровно настолько, насколько требует целевой ресурс, поэтому вы оплачиваете подбор только один раз на хост.

Низкий уровень защиты (большинство сайтов)

Используйте endpoint single с unblocker. Соответствия на сетевом уровне вполне достаточно.

curl -X POST https://eu.api.foura.ai/api/single/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'

Средний уровень: страница проверки или базовый фаервол

Используйте браузерный endpoint для прохождения проверок JavaScript:

curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'

Высокий уровень: проверки поведения и fingerprint

Используйте proxy endpoint с несколькими повторными попытками:

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 10,
    "request": {
      "method": "GET",
      "url": "https://heavily-protected.com/prices",
      "unblocker": true
    }
  }'

Для цепочек проверок ("Just a moment", security checkpoint), когда вам нужна отрендеренная страница после прохождения проверки, смотрите MCP Recipes. Сценарий "Protected page: proxy first, browser when JavaScript is needed" демонстрирует точную передачу сессии от proxy к browser.

Рекомендации

  1. Начинайте с auto для неизвестных целей. Передайте правило validate, позвольте каскаду выбрать самый дешевый уровень, затем прочитайте meta.rung в ответе, чтобы узнать, какой движок сработал. Когда выбор понятен, вызывайте этот движок напрямую для повторного трафика.

  2. Используйте успешную сессию повторно. После вызова auto возвращенный объект session (proxy ID + cookies + userAgent) можно воспроизвести через /api/single/ или /api/browser/ для следующих страниц того же хоста по собственной цене этого endpoint: 2 кредита на Single с unblocker, 5 на Browser (10, если вызов завершает шаг верификации, запрошенный страницей).

  3. Соблюдайте rate limits. Даже с ротацией proxy отправка сотен запросов в секунду на один сайт вызовет поведенческое обнаружение. Делайте паузу между запросами не менее 1-2 секунд.

  4. Оставляйте unblocker включенным. На Single и Proxy значение unblocker: true (по умолчанию) добавляет реалистичные browser headers. На Browser оно включает обработчик проверок. Отключайте его только тогда, когда вам точно нужен запрос без добавленных заголовков или необработанная страница проверки.

  5. Отслеживайте показатели успешности. Проверяйте метрики в Dashboard, чтобы следить за долей успешных ответов во времени. Внезапное падение обычно означает, что целевой сайт обновил защиту.

  6. Пропускайте скомпрометированные выходы. Если вызов /api/proxy/ или /api/auto/ вернул proxy ID, который затем стал давать сбои, передайте его в ignoreProxies при следующем вызове, чтобы FourA выбрал другой выход.

  7. Читайте defense перед повторной попыткой. Имя провайдера защиты подсказывает, стоит ли пробовать другой профиль браузера, нужен ли полный рендеринг или эту проверку невозможно пройти без сервиса решения проверок.

  8. Меняйте отображаемый браузер. Некоторые цели принимают один браузер и отклоняют другой. Укажите browser, os или version на Single и Proxy, а также смотрите актуальный каталог в GET /api/profiles. Подробности приведены в endpoint reference.

Ограничения

Некоторые сценарии требуют дополнительной обработки за пределами API:

  • Контент, защищенный авторизацией: FourA не управляет долгоживущими сессиями за вас. Браузерный endpoint принимает cookies для каждого запроса; передавайте cookie вашей сессии самостоятельно.
  • Интерактивные проверки: FourA распознает визуальные проверки и сообщает о них в defense.present, но не проходит их автоматически. Turnstile обрабатывается через Browser.
  • Контент с региональными ограничениями: используйте exitCountries в /api/proxy/, чтобы ограничить выбор разрешенными странами. Сайты, которые дополнительно проверяют принадлежность адреса к определенной сети (некоторые лицензированные букмекеры, отдельные государственные сервисы), могут отклонять выходы даже из нужной страны. С exitClass: premium и одной страной в exitCountries премиум-выход может также использовать указанный регион, город или сеть: смотрите Exit location. Если в пуле нет выходов в разрешенных странах, запрос возвращает no_eligible_proxy.
  • Сайты с юридическими ограничениями: всегда следите за тем, чтобы сбор данных соответствовал условиям использования целевого сайта и применимому законодательству.

Следующие шаги

  • Smart Fetch (Auto): Подробный обзор /api/auto/
  • Choosing the Right Endpoint: Руководство по выбору endpoints
  • Common Issues: Устранение ошибок 403 и страниц с проверками
  • API Endpoints: Полный справочник параметров, включая exitCountries
  • Site checks: Поле defense, список систем и повторное воспроизведение clearance
  • MCP Recipes: Шаблоны рабочих процессов, включая цепочку с приоритетом proxy перед browser
Обновлено: 11 ноября 2026 г.