# Защищенные сайты

> URL: https://foura.ai/ru/docs/guides/protected-sites
> Updated: 2026-11-11
> Index: https://foura.ai/llms.txt

Современные сайты используют продвинутые системы обнаружения ботов. В этом руководстве объясняется, как FourA получает страницу на сайтах с проверкой клиента, и как повысить процент успешных запросов.

## Как работает обнаружение ботов

Сайты используют несколько уровней защиты:

- **Репутация IP**: дата-центры и известные адреса proxy блокируются
- **Сетевой фингерпринтинг**: каждый HTTP-клиент имеет уникальную сигнатуру рукопожатия, которую сайты могут определять
- **Фингерпринтинг браузера**: JavaScript проверяет признаки headless-браузера
- **Поведенческий анализ**: паттерны запросов, тайминги и логика навигации
- **Страницы верификации**: визуальное задание, которое должен выполнить посетитель

В ответе указывается система, выполнившая проверку; список приведен в [Проверки сайтов](https://foura.ai/docs/api/site-checks).

## Самый быстрый путь: Auto

Если уровень защиты пока неизвестен, вызовите `/api/auto/` с подстрокой `validate.data.accept`, присутствующей только на настоящей странице. Auto проходит по цепочке с учетом стоимости (ротируемый proxy, затем браузер через proxy; при `forceProxy: false` сначала выполняются недорогой прямой probe-запрос и прямой рендеринг в браузере) и останавливается на первом шаге, который возвращает ответ, удовлетворяющий вашим правилам. При повторных вызовах к тому же хосту воспроизводится готовая сессия, поэтому второй запрос обходится дешевле.

```bash
curl -X POST https://eu.api.foura.ai/api/auto/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://protected-site.com/product/42",
    "validate": {"data": {"accept": ["Add to cart"]}}
  }'
```

Auto распознает стандартные страницы с проверками и продолжает попытки при их обнаружении. Ваша строка `validate.data.accept` перехватывает остальное: неизвестные страницы проверок, экраны авторизации или страницы без нужного контента. Подробный разбор см. в [руководстве по Smart Fetch](https://foura.ai/docs/guides/smart-fetch).

## Как FourA помогает на каждом уровне

### Реалистичные сетевые запросы

Единый endpoint (`POST /api/single/`) генерирует характеристики handshake, в точности совпадающие с настоящим браузером. Сайты отвечают на него так же, как и на обычный браузер, но без накладных расходов на его запуск.

Включите `unblocker`, чтобы также добавлять реалистичные браузерные headers (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding). Параметр `unblocker` включен по умолчанию; устанавливайте `false`, только если отправляете собственные headers без каких-либо дополнений.

```json
{
  "method": "GET",
  "url": "https://protected-site.com/data",
  "unblocker": true
}
```

### Рендеринг в реальном браузере

Эндпоинт браузера (`POST /api/browser/`) запускает полноценный экземпляр Chrome. Он выполняет JavaScript страницы точно так же, как браузер обычного посетителя. Параметр `unblocker` в Browser проходит проверки, запрашиваемые страницей перед загрузкой (Turnstile и аналогичные шлюзы). Оставьте его включенным, если вам не нужна исходная страница с челленджем.

### Ротация прокси

Прокси-эндпоинт (`POST /api/proxy/`) выполняет ротацию через стандартный пул выходных узлов FourA. Если сайт блокирует узел или узел не отвечает, следующая попытка выполняется через другой. Используйте `ignoreProxies` в последующем запросе, чтобы пропустить уже отработанные узлы. Используйте `maxTries` (по умолчанию 5, максимум 90), чтобы ограничить число попыток.

Премиум-узлы используются только тогда, когда это явно указано в запросе. Параметр `exitClass: "premium"` позволяет Proxy переключиться на премиум-узел, если стандартный пул не может открыть страницу, при условии наличия плана с премиум-узлами. Заголовок `exitClass` в успешном ответе указывает тип узла, выполнившего запрос. Если лимит премиум-трафика на период исчерпан, запрос продолжит выполняться через стандартный пул и вернет `standard`. См. [exitClass](https://foura.ai/docs/api/endpoints#exitclass).

### Выходные узлы с привязкой к стране

Передайте `exitCountries` в `/api/proxy/`, чтобы ограничить выборку прокси только теми узлами, видимая целевому сайту страна которых входит в строгий список разрешенных. Значения представляют собой двухбуквенные коды (`["CZ", "GB"]`), очищенные от пробелов, приведенные к верхнему регистру и дедуплицированные. Стандартный пул никогда не переключается на незапрошенную страну. Если в текущем пуле нет совпадений, ответ возвращает `code: "no_eligible_proxy"` с нормализованным списком в `details.exitCountries`, что позволяет повторить попытку позже без ослабления условий. Премиум-узел также строго следует этому списку: при `exitClass: premium` премиум-узел выбирается из указанных вами стран, а `exitCountry` в ответе указывает конкретную страну. Таргетинг по странам доступен начиная с тарифного плана Startup. На тарифах без этой опции вызов с `exitCountries` отклоняется с ошибкой `403` и кодом `X-FourA-Limit: plan_limit_feature`.

```bash
curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 5,
    "exitCountries": ["CZ", "GB"],
    "request": {"method": "GET", "url": "https://target.example/pricing"}
  }'
```

Response содержит `exitCountry`, если был запрошен scoping. Убедитесь, что он входит в ваш allowlist, прежде чем доверять payload, а затем повторно используйте возвращенный ID `proxy` в любых последующих вызовах Browser, чтобы рендеринг JavaScript происходил через ту же точку выхода.

## FourA сообщает, что именно вас заблокировало

Вам не нужно угадывать, какая система заблокировала request. Когда целевой ресурс выполняет проверку на ботов, response указывает ее название.

- `POST /api/single/` и `POST /api/proxy/` возвращают объект `defense`: `defense.vendor` указывает систему, `defense.solved` сообщает, была ли пройдена проверка, а `defense.present` перечисляет все обнаруженное в этом response.
- `POST /api/browser/` возвращает `defenseSolved`, а также `defenses.present` и `defenses.cleared`.

```json
{
  "status": 200,
  "data": "<!doctype html>...",
  "defense": {
    "vendor": "sgcaptcha",
    "solved": true,
    "present": ["sgcaptcha"],
    "cookie": "_I_=<clearance>"
  }
}
```

Из этого следуют два правила:

1. **`solved: false` означает, что тело ответа может содержать challenge, а не целевую страницу.** FourA никогда не выдает страницу с проверкой за контент, поэтому проверяйте этот флаг перед парсингом.
2. **Успешное прохождение дает вам clearance.** Если присутствует `defense.cookie`, передайте его обратно в заголовке `Cookie` через ту же точку выхода с тем же User-Agent, и последующие запросы полностью обойдут проверку.

FourA распознает распространенные системы проверок, включая собственные проверки eBay, Reddit и Amazon. Распознавание шире, чем прохождение: система, которую мы можем определить, но не можем пройти, фиксируется в отчете и никогда не увеличивает стоимость запроса. Если возвращенная страница является страницей проверки такой системы, даже со статусом HTTP 200, плата за запрос не взимается, а заголовок `X-FourA-Check-Page` указывает ее название. См. раздел [Проверки сайтов](https://foura.ai/docs/api/site-checks) для описания всех полей, текущего разделения на обход и обнаружение, а также примера повторной отправки.

Страница Amazon с одной кнопкой "continue shopping" обрабатывается автоматически, а не обходится как защита. Режимы Single, Proxy и Browser нажимают кнопку через ту же точку выхода и возвращают реальную страницу. При включенном `unblocker` (по умолчанию) Single и Proxy указывают это в `defense` как `retry: "amazon-continue"` со значением `solved: false`, при этом стоимость не меняется. Простая проверка JavaScript на Reddit работает аналогично в Single и Proxy: они проходят ее через ту же точку выхода, возвращают реальную страницу и передают `retry: "reddit-js-check"` со значением `solved: false` по той же цене.

## Стратегия по уровню защиты

### Неизвестная защита

Используйте auto. Режим запускается на ротируемом proxy и эскалирует уровень ровно настолько, насколько требует целевой ресурс, поэтому вы оплачиваете подбор только один раз на хост.

### Низкий уровень защиты (большинство сайтов)

Используйте endpoint single с `unblocker`. Соответствия на сетевом уровне вполне достаточно.

```bash
curl -X POST https://eu.api.foura.ai/api/single/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'
```

### Средний уровень: страница проверки или базовый фаервол

Используйте браузерный endpoint для прохождения проверок JavaScript:

```bash
curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'
```

### Высокий уровень: проверки поведения и fingerprint

Используйте proxy endpoint с несколькими повторными попытками:

```bash
curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 10,
    "request": {
      "method": "GET",
      "url": "https://heavily-protected.com/prices",
      "unblocker": true
    }
  }'
```

Для цепочек проверок ("Just a moment", security checkpoint), когда вам нужна отрендеренная страница после прохождения проверки, смотрите [MCP Recipes](https://foura.ai/docs/mcp/recipes). Сценарий "Protected page: proxy first, browser when JavaScript is needed" демонстрирует точную передачу сессии от proxy к browser.

## Рекомендации

1. **Начинайте с auto для неизвестных целей.** Передайте правило `validate`, позвольте каскаду выбрать самый дешевый уровень, затем прочитайте `meta.rung` в ответе, чтобы узнать, какой движок сработал. Когда выбор понятен, вызывайте этот движок напрямую для повторного трафика.

2. **Используйте успешную сессию повторно.** После вызова auto возвращенный объект `session` (proxy ID + cookies + userAgent) можно воспроизвести через `/api/single/` или `/api/browser/` для следующих страниц того же хоста по собственной цене этого endpoint: 2 кредита на Single с `unblocker`, 5 на Browser (10, если вызов завершает шаг верификации, запрошенный страницей).

3. **Соблюдайте rate limits.** Даже с ротацией proxy отправка сотен запросов в секунду на один сайт вызовет поведенческое обнаружение. Делайте паузу между запросами не менее 1-2 секунд.

4. **Оставляйте `unblocker` включенным.** На Single и Proxy значение `unblocker: true` (по умолчанию) добавляет реалистичные browser headers. На Browser оно включает обработчик проверок. Отключайте его только тогда, когда вам точно нужен запрос без добавленных заголовков или необработанная страница проверки.

5. **Отслеживайте показатели успешности.** Проверяйте метрики в [Dashboard](https://foura.ai/dashboard), чтобы следить за долей успешных ответов во времени. Внезапное падение обычно означает, что целевой сайт обновил защиту.

6. **Пропускайте скомпрометированные выходы.** Если вызов `/api/proxy/` или `/api/auto/` вернул proxy ID, который затем стал давать сбои, передайте его в `ignoreProxies` при следующем вызове, чтобы FourA выбрал другой выход.

7. **Читайте `defense` перед повторной попыткой.** Имя провайдера защиты подсказывает, стоит ли пробовать другой профиль браузера, нужен ли полный рендеринг или эту проверку невозможно пройти без сервиса решения проверок.

8. **Меняйте отображаемый браузер.** Некоторые цели принимают один браузер и отклоняют другой. Укажите `browser`, `os` или `version` на Single и Proxy, а также смотрите актуальный каталог в `GET /api/profiles`. Подробности приведены в [endpoint reference](https://foura.ai/docs/api/endpoints).

## Ограничения

Некоторые сценарии требуют дополнительной обработки за пределами API:

- **Контент, защищенный авторизацией**: FourA не управляет долгоживущими сессиями за вас. Браузерный endpoint принимает `cookies` для каждого запроса; передавайте cookie вашей сессии самостоятельно.
- **Интерактивные проверки**: FourA распознает визуальные проверки и сообщает о них в `defense.present`, но не проходит их автоматически. Turnstile обрабатывается через Browser.
- **Контент с региональными ограничениями**: используйте `exitCountries` в `/api/proxy/`, чтобы ограничить выбор разрешенными странами. Сайты, которые дополнительно проверяют принадлежность адреса к определенной сети (некоторые лицензированные букмекеры, отдельные государственные сервисы), могут отклонять выходы даже из нужной страны. С `exitClass: premium` и одной страной в `exitCountries` премиум-выход может также использовать указанный регион, город или сеть: смотрите [Exit location](https://foura.ai/docs/api/endpoints#exit-location). Если в пуле нет выходов в разрешенных странах, запрос возвращает `no_eligible_proxy`.
- **Сайты с юридическими ограничениями**: всегда следите за тем, чтобы сбор данных соответствовал условиям использования целевого сайта и применимому законодательству.

## Следующие шаги

- [Smart Fetch (Auto)](https://foura.ai/docs/guides/smart-fetch): Подробный обзор `/api/auto/`
- [Choosing the Right Endpoint](https://foura.ai/docs/guides/choosing-task-type): Руководство по выбору endpoints
- [Common Issues](https://foura.ai/docs/troubleshooting/common-issues): Устранение ошибок 403 и страниц с проверками
- [API Endpoints](https://foura.ai/docs/api/endpoints): Полный справочник параметров, включая `exitCountries`
- [Site checks](https://foura.ai/docs/api/site-checks): Поле `defense`, список систем и повторное воспроизведение clearance
- [MCP Recipes](https://foura.ai/docs/mcp/recipes): Шаблоны рабочих процессов, включая цепочку с приоритетом proxy перед browser
