Проверки сайтов
Если целевой ресурс выполняет проверку на ботов на пути к запрошенной странице, FourA сообщает об этом. Каждый встретивший проверку запрос возвращает поле с указанием системы, статуса прохождения проверки и (при успешном прохождении) параметров clearance, которые можно использовать повторно, чтобы следующий вызов пропустил проверку.
Эта страница служит справочником по данным полям. О стратегиях читайте в разделе Защищенные сайты.
Где находится это поле
| Endpoint | Поле | Когда присутствует |
|---|---|---|
POST /api/single/ |
defense (object) |
В ответе была распознана проверка на ботов |
POST /api/proxy/ |
defense (object) |
То же самое, возвращается попыткой, давшей ответ |
POST /api/browser/ |
defenseSolved (boolean) и defenses (object) |
Всегда, если страница загрузилась. defenseSolved имеет значение false, а defenses пуст, если ничего не было распознано. |
POST /api/auto/ |
meta.solved (boolean) |
В каждом ответе после запуска ladder. true, если проверка была пройдена на одном из этапов ladder. Если тело ответа не проходит валидацию или хост не резолвится, ответ возвращается до запуска ladder, без meta. |
Отсутствие означает, что ничего не было распознано. Не воспринимайте отсутствие defense как ошибку.
В Single и Proxy для отчетов требуется параметр unblocker, который включен по умолчанию. При unblocker: false вы запрашиваете страницу в исходном виде, поэтому Single возвращает challenge без изменений, а Browser отображает его без попытки решения.
defense в Single и Proxy
{
"status": 200,
"data": "<!doctype html>...",
"total_time": 3.61,
"defense": {
"vendor": "sgcaptcha",
"solved": true,
"present": ["sgcaptcha"],
"ms": 3412,
"hashes": 1048576,
"complexity": 20,
"cookie": "_I_=<clearance>"
}
}
| Поле | Тип | Описание |
|---|---|---|
vendor |
string | Система, к которой относится эта запись: та, что была пройдена, или основная обнаруженная. См. список вендоров ниже. |
solved |
boolean | true означает, что проверка пройдена и data это настоящая страница. false означает, что data может быть страницей челленджа. |
present |
string[] | Все системы, распознанные в этом ответе. Может содержать больше имен, чем vendor, и имена, которые еще никто не обходит. |
ms |
number | Миллисекунды, затраченные на прохождение проверки. Только при успешном прохождении. |
hashes |
number | Объем вычислительной работы, запрошенный челленджем. Только при успешном прохождении. |
complexity |
number | Сложность, заявленная челленджем. Только при успешном прохождении и только если челлендж ее сообщает. |
answers |
number | Количество предоставленных принятых ответов для челленджей, требующих несколько ответов вместо одного. Только при успешном прохождении. |
retry |
string | Присутствует, когда тело ответа получено в результате повторной попытки, а не прохождения проверки: refusal-cookies, amazon-continue, reddit-js-check или verify-challenge. См. ниже. |
cookie |
string | Cookie jar для повторного использования: clearance, полученный при прохождении, или сессия, выданная при отказе. |
solved: false это случай, для которого имеет смысл ветвление. FourA никогда не отдает страницу челленджа как контент, поэтому флаг служит сигналом, что тело ответа требует эскалации, а не парсинга.
retry: "refusal-cookies"
Некоторые сайты не запускают вычислительные задачи. Они отклоняют первый запрос, устанавливают cookies при отказе и отдают реальную страницу любому, кто возвращает эти cookies. Страницы товаров eBay являются классическим примером.
Когда это происходит, FourA отправляет их обратно за вас и отдает готовую страницу. В таком случае ответ содержит retry: "refusal-cookies":
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "akamai",
"solved": false,
"present": ["akamai"],
"retry": "refusal-cookies",
"cookie": "bm_sv=...; dp1=..."
}
}
Интерпретировать это следует так:
solvedостаетсяfalse. Ответ на handshake не считается прохождением проверки challenge и никогда не меняет стоимость вызова. Списание происходит за фактически выполненный request.dataпредставляет собой реальный контент, а не страницу challenge. Это единственный случай, когдаsolved: falseне означает необходимость эскалации тела ответа, для чего это поле и создано.cookieсодержит сессию, выданную сайтом. Передавайте ее повторно так же, как и clearance, и последующие страницы обойдут отказ в доступе.- Retry и clear могут сработать одновременно в рамках одного request. Если в результате повторной попытки был получен challenge, который FourA может пройти, вы получите
solved: trueс полями самого провайдера иretry: "refusal-cookies"рядом с ними.
vendor содержит unknown, когда повторная попытка вернула контент и по пути не было распознано ни одной системы защиты. В этом случае present представляет собой пустой массив.
retry: "amazon-continue"
Amazon иногда отвечает проверкой на роботов в одну кнопку: это небольшая страница с предложением нажать кнопку для продолжения покупок, где ответ уже предзаполнен. При включенном unblocker (по умолчанию) Single и Proxy нажимают эту кнопку на том же выходе, внутри вашего timeout_ms, и повторно запрашивают страницу с полученными cookie. Когда это действие открывает страницу, response содержит retry: "amazon-continue":
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "akamai",
"solved": false,
"present": ["akamai", "amazon"],
"retry": "amazon-continue",
"cookie": "ak_bmsc=...; ..."
}
}
Воспринимайте это как повторную попытку при отказе в cookie. solved остается false, data является реальной страницей, оплата списывается за сделанный вами request, а cookie представляет собой cookie jar для повторного использования на последующих страницах. Ищите amazon в present, а не в vendor: страница проверки часто устанавливает cookie, который FourA также распознает, и vendor указывает первую систему в списке.
Графическая версия той же проверки, где ответ должен прочитать человек, передается в отчете и остается в исходном виде. То же касается нажатия, которое лишь снова возвращает проверку. В любом случае плата за такую страницу не взимается (см. Сколько это стоит).
retry: "reddit-js-check"
Reddit иногда возвращает легкую проверку страницы: небольшую страницу со скрытой формой и скриптом, который заполняет эту форму. При включенном unblocker (по умолчанию) Single и Proxy отправляют эту форму с того же выходного узла в пределах вашего timeout_ms и снова запрашивают вашу страницу с установленными ею cookie. Когда это открывает страницу, response содержит retry: "reddit-js-check":
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "reddit",
"solved": false,
"present": ["reddit"],
"retry": "reddit-js-check",
"cookie": "edgebucket=...; ..."
}
}
Воспринимайте это как повторную попытку amazon-continue. solved остается false, data представляет собой реальную страницу, с вас взимается плата за выполненный request, а cookie служит jar для воспроизведения на последующих страницах. Если проверка продолжает возвращаться, FourA оставляет страницу в исходном виде, и плата за нее не списывается.
retry: "verify-challenge"
Некоторые сайты сначала открывают собственную короткую страницу проверки: спиннер и скрипт, перенаправляющий вас на страницу после завершения проверки. При включенном unblocker (по умолчанию) Single и Proxy проходят эту проверку на том же выходе, в рамках вашего timeout_ms, и снова запрашивают страницу с установленным cookie. Когда страница открывается, response содержит retry: "verify-challenge":
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "verify-challenge",
"solved": false,
"present": ["verify-challenge"],
"retry": "verify-challenge",
"cookie": "token=..."
}
}
Воспринимайте это как повторную попытку reddit-js-check. solved остается false, data представляет собой реальную страницу, списание происходит за выполненный request, а cookie служит хранилищем cookie для повторного использования на последующих страницах. Если страница проверки возвращается без ответа, плата за нее не взимается.
defenses в Browser
{
"status": 200,
"body": "<!doctype html>...",
"userAgent": "Mozilla/5.0...",
"defenseSolved": true,
"defenses": {
"present": ["cloudflare"],
"cleared": ["cloudflare"]
}
}
| Поле | Тип | Описание |
|---|---|---|
defenseSolved |
boolean | true, если во время загрузки встретилась система защиты и ее clearance сохранен на итоговой странице. Этот флаг определяет, стоит ли вызов 5 или 10 кредитов. |
defenses.present |
string[] | Все системы, распознанные на любом этапе загрузки страницы, а не только в финальном ответе. Проверка произошла в процессе, и к моменту отдачи реальной страницы ответ на challenge уже давно остался позади. |
defenses.cleared |
string[] | Системы, чей clearance получен на итоговой странице. |
Имя в present, которое не попадает в cleared, означает систему, которую FourA распознал, но не получил для нее clearance: вызов пока не может быть завершен успешно или относится к тем немногим случаям, которые Browser обрабатывает иначе (см. Что проходит clearance сегодня). Такие случаи не увеличивают стоимость вызова.
Поставщики
Значение vendor |
Система |
|---|---|
cloudflare |
Cloudflare challenges и bot management |
sgcaptcha |
Проверка сайта SiteGround |
datadome |
DataDome |
perimeterx |
PerimeterX |
akamai |
Akamai Bot Manager |
incapsula |
Imperva Incapsula |
awswaf |
AWS WAF challenge |
ebay-splashui |
Собственный challenge от eBay |
reddit |
Собственные страницы проверки и отказа Reddit |
verify-challenge |
Собственная страница проверки сайта, которая перенаправляет дальше после завершения проверки |
amazon |
Проверка на роботов Amazon |
hcaptcha |
hCaptcha |
recaptcha |
reCAPTCHA |
unknown |
Система не распознана. Появляется только вместе с retry, где запись фиксирует повторную попытку, а не поставщика. |
Что проходит clearance сегодня
| Endpoint | Проходит clearance |
|---|---|
| Single, Proxy | sgcaptcha, ebay-splashui. Обе проверки являются вычислительными, а не визуальными, поэтому браузер не используется. |
| Browser | cloudflare, sgcaptcha |
Еще несколько систем обрабатываются без статуса clearance. Single и Proxy нажимают кнопку в проверке Amazon на роботов и передают это как retry: "amazon-continue", отправляют легкую проверку страниц Reddit и передают это как retry: "reddit-js-check", а также проходят собственную страницу проверки сайта и передают это как retry: "verify-challenge". Browser ожидает до 10 секунд, пока та же страница проверки не выполнит перенаправление. Browser нажимает кнопку Amazon и ждет, пока сенсорная страница Akamai, страница challenge от AWS WAF, проверка устройства DataDome или собственная страница challenge от eBay сама загрузит следующую страницу, после чего возвращает ее. Если целевая страница так и не загрузилась, Browser возвращает сохраненную страницу внутри вашего timeout_ms. В Browser такие имена отображаются в defenses.present, но никогда в cleared, а вызов стоит 5 кредитов.
Все остальное в списке лишь распознается и логируется, не более. Это распределение меняется по мере того, как FourA учится проходить новые проверки, поэтому ориентируйтесь на solved, а не на данные из этой таблицы.
Два примечания по граничным случаям:
hcaptchaиrecaptchaтакже являются обычными виджетами форм. Они фиксируются только тогда, когда response действительно заблокировал вас (403, 429 или 503), поэтому страница оформления заказа с виджетом проверки в форме не считается защитой.- Нахождение за Cloudflare само по себе не является защитой.
cloudflareпоявляется только при наличии реального challenge или артефакта bot-management в response, а не просто из-за использования Cloudflare сайтом.
Повторное использование Clearance
defense.cookie представляет собой главную цель этого поля. Clearance привязан к исходящему узлу и User-Agent, с помощью которых он был получен, поэтому при повторном использовании через эту же пару повторная проверка не запускается.
import requests
API = "https://eu.api.foura.ai"
H = {"X-API-Key": "YOUR_API_KEY", "Content-Type": "application/json"}
# 1) First call pays for the clear.
first = requests.post(f"{API}/api/proxy/", headers=H, json={
"maxTries": 5,
"request": {"method": "GET", "url": "https://example.com/catalog"},
}).json()
defense = first.get("defense", {})
if defense.get("solved"):
clearance = defense["cookie"]
exit_id = first["proxy"]
# 2) Follow-up pages skip the check: same exit, same clearance.
for page in range(2, 6):
r = requests.post(f"{API}/api/single/", headers=H, json={
"method": "GET",
"url": f"https://example.com/catalog?page={page}",
"proxy": exit_id,
"headers": [["Cookie", clearance]],
}).json()
print(page, r["status"])
Первый вызов включает стоимость прохождения проверки. Каждый повторный запрос выполняется как обычный request по стандартной цене.
Повторный запрос могут нарушить три фактора:
- Другой выходной узел. Закрепите proxy ID, возвращенный в response с пройденной проверкой. См. Reuse a Proxy Across Requests.
- Другой User-Agent. Ответы Browser возвращают использованный
userAgent. Передавайте его обратно вместе с cookie. - Истечение срока действия. Токены clearance имеют собственное время жизни, заданное целевым сайтом. У SiteGround оно составляет около 30 дней для всего сайта; clearance Cloudflare обычно живет намного меньше. Относитесь к clearance как к кэшу: когда повторные запросы снова начинают возвращать challenge, выполните один новый вызов и используйте полученные данные.
Стоимость
Пройденная проверка меняет цену только для Browser:
| Engine | Base | Cleared defense |
|---|---|---|
| Single | 1 (2 with unblocker) |
Без изменений |
| Proxy | 2 (4 with unblocker) |
Без изменений |
| Browser | 5 | 10 |
Browser списывает 10, только если solver был включен и защита была успешно пройдена. Защита, которая была распознана, но не пройдена, стоит 5, как и обычная страница вовсе без проверок.
Страница проверки или страница отказа, распознанная FourA и отданная с кодом HTTP 200 (например, robot check Amazon, страница верификации Reddit или страница challenge eBay), не тарифицируется ни на одном endpoint. Ответы Single, Proxy и Browser указывают ее в X-FourA-Check-Page.
Использование вместе с validate
defense сообщает, что была встречена проверка. validate указывает FourA, как выглядит настоящая страница, что позволяет завершить request ошибкой вместо возврата промежуточного экрана с кодом HTTP 200.
{
"method": "GET",
"url": "https://example.com/product/42",
"validate": {
"data": {"accept": ["Add to cart"], "fail": ["Just a moment"]}
}
}
В POST /api/auto/ именно validate не позволяет каскаду принять страницу с проверкой за успешный результат.
Связанные разделы
- Защищенные сайты: какой движок выбирать для каждого уровня защиты
- API Endpoints: справочник по request и response для всех четырех endpoint
- Повторное использование proxy между requests: привязка к конкретному выходу, за которым закреплен clearance
- Smart Fetch (Auto): как
meta.solvedвстраивается в каскад - Response Headers: где отображается списание кредитов за вызов