Проверки на сайтове
Когато целевият сайт изпълни bot проверка по пътя към заявената страница, FourA ви уведомява. Всяка заявка, която срещне такава, се връща с поле, посочващо системата, дали проверката е премината и (при успешно преминаване) данните за clearance, които можете да използвате повторно, така че следващото извикване да я пропусне.
Тази страница е справочник за тези полета. За стратегия вижте Protected sites.
Къде се намира полето
| Endpoint | Поле | Налично при |
|---|---|---|
POST /api/single/ |
defense (object) |
Разпозната е bot проверка в отговора |
POST /api/proxy/ |
defense (object) |
Същото, докладвано от опита, който е върнал отговор |
POST /api/browser/ |
defenseSolved (boolean) и defenses (object) |
Винаги, при заредена страница. defenseSolved е false и defenses е празен, когато нищо не е разпознато. |
POST /api/auto/ |
meta.solved (boolean) |
При всеки отговор след стартиране на стълбицата. true, когато проверка е премината някъде по стълбицата. Тяло, което не преминава валидация, или хост, който не се резолва, се връщат преди стълбицата, без meta. |
Липсата означава, че нищо не е разпознато. Не приемайте липсващо defense като грешка.
При Single и Proxy отчитането изисква unblocker, което е активно по подразбиране. С unblocker: false сте заявили страницата точно както е дошла, така че Single връща предизвикателството непроменено, а Browser го рендира без да го решава.
defense при Single и Proxy
{
"status": 200,
"data": "<!doctype html>...",
"total_time": 3.61,
"defense": {
"vendor": "sgcaptcha",
"solved": true,
"present": ["sgcaptcha"],
"ms": 3412,
"hashes": 1048576,
"complexity": 20,
"cookie": "_I_=<clearance>"
}
}
| Поле | Тип | Описание |
|---|---|---|
vendor |
string | Системата, за която се отнася този запис: тази, която е била премината, или основната засечена. Вижте списъка с доставчици по-долу. |
solved |
boolean | true означава, че проверката е премината и data е истинската страница. false означава, че data може да е страницата с предизвикателството. |
present |
string[] | Всяка система, разпозната в този response. Може да съдържа повече имена от vendor, както и имена, които все още никой не преминава. |
ms |
number | Милисекунди, прекарани в преминаване на проверката. Само при успешно преминаване. |
hashes |
number | Количество изчислителна работа, изискана от предизвикателството. Само при успешно преминаване. |
complexity |
number | Трудността, декларирана от предизвикателството. Само при успешно преминаване и само когато предизвикателството отчита такава стойност. |
answers |
number | Брой предоставени приети отговори за предизвикателства, които изискват няколко, а не само един. Само при успешно преминаване. |
retry |
string | Налично, когато тялото е върнато от повторен опит, а не от преминаване: refusal-cookies, amazon-continue, reddit-js-check или verify-challenge. Вижте по-долу. |
cookie |
string | Списъкът с cookies за повторно изпращане: разрешенията, получени при преминаване, или сесията, върната при отказ. |
solved: false е случаят, при който си струва да се направи разклонение. FourA никога не представя страница с предизвикателство като съдържание, така че флагът е вашият сигнал, че тялото изисква ескалация, а не парсване.
retry: "refusal-cookies"
Някои сайтове не изпълняват пъзел. Те отхвърлят първия request, задават cookies при отказа и предоставят истинската страница на всеки, който изпрати обратно тези cookies. Страниците на артикули в eBay са референтният случай.
Когато това се случи, FourA ги изпраща обратно вместо вас и ви връща страницата. Тогава отговорът носи retry: "refusal-cookies":
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "akamai",
"solved": false,
"present": ["akamai"],
"retry": "refusal-cookies",
"cookie": "bm_sv=...; dp1=..."
}
}
Тълкувайте го по следния начин:
solvedоставаfalse. Отговорът на handshake не е преминаване на challenge и никога не променя цената на заявката. Таксува се заявката, която сте направили.dataе реално съдържание, а не challenge страница. Това е единственият случай, в койтоsolved: falseне означава, че съдържанието изисква ескалация, поради което това поле съществува.cookieе сесията, предоставена от сайта. Използвайте я повторно по същия начин, както бихте повторили clearance, и следващите страници ще пропуснат отказа.- Retry и clear могат да се случат едновременно при една заявка. Ако отговорът на повторния опит се окаже challenge, който FourA може да премине, получавате
solved: trueс полетата на самия вендор иretry: "refusal-cookies"до тях.
vendor има стойност unknown, когато повторен опит е върнал съдържанието и по пътя не е била разпозната система. Тогава present е празен масив.
retry: "amazon-continue"
Amazon понякога отговаря с проверка за ботове с един бутон: малка страница, която изисква да кликнете, за да продължите пазаруването, като отговорът вече е попълнен. При включен unblocker (по подразбиране), Single и Proxy натискат този бутон от същия exit възел, в рамките на вашия timeout_ms, и заявяват страницата ви отново със зададените бисквитки. Когато това отвори страницата, отговорът съдържа retry: "amazon-continue":
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "akamai",
"solved": false,
"present": ["akamai", "amazon"],
"retry": "amazon-continue",
"cookie": "ak_bmsc=...; ..."
}
}
Третирайте го като повторен опит при отказ за бисквитки. solved остава false, data е реалната страница, таксувате се за направения request, а cookie е контейнерът, който да използвате отново при следващите страници. Търсете amazon в present, а не в vendor: страницата за проверка често задава cookie, което FourA също разпознава, а vendor посочва първата система в списъка.
Графичната версия на същата проверка, при която човек трябва да разчете отговора, се отчита и остава в оригиналния си вид. Същото важи и за действие, което само връща проверката обратно. И в двата случая тази страница не се таксува (вижте Колко струва).
retry: "reddit-js-check"
Reddit понякога отговаря с лека проверка на страницата: малка страница със скрита форма и скрипт, който я попълва. При включен unblocker (по подразбиране), Single и Proxy изпращат тази форма от същия изходен адрес, в рамките на вашия timeout_ms, и заявяват страницата ви отново със зададените бисквитки. Когато това отвори страницата, полученият response съдържа retry: "reddit-js-check":
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "reddit",
"solved": false,
"present": ["reddit"],
"retry": "reddit-js-check",
"cookie": "edgebucket=...; ..."
}
}
Приемете го като повторен опит от amazon-continue. solved остава false, data е истинската страница, таксува се направената от вас заявка, а cookie е контейнерът за бисквитки, който да предавате за следващите страници. Когато проверката продължава да се появява отново, FourA оставя страницата във вида, в който е получена, и тази страница не се таксува.
retry: "verify-challenge"
Някои сайтове се отварят с кратка собствена страница за проверка: въртящ се индикатор и скрипт, който ви препраща към страницата след приключване на проверката. При включен unblocker (по подразбиране), Single и Proxy изпълняват тази проверка от същия изходен IP адрес, в рамките на вашия timeout_ms, и заявяват страницата ви отново със зададената бисквитка. Когато това отвори страницата, полученият response съдържа retry: "verify-challenge":
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "verify-challenge",
"solved": false,
"present": ["verify-challenge"],
"retry": "verify-challenge",
"cookie": "token=..."
}
}
Възприемайте го като retry на reddit-js-check. solved остава false, data е истинската страница, таксувате се за направената request, а cookie е jar, който да преизползвате за следващите страници. Когато страницата за проверка се върне без отговор, тя не се таксува.
defenses в Browser
{
"status": 200,
"body": "<!doctype html>...",
"userAgent": "Mozilla/5.0...",
"defenseSolved": true,
"defenses": {
"present": ["cloudflare"],
"cleared": ["cloudflare"]
}
}
| Поле | Тип | Описание |
|---|---|---|
defenseSolved |
boolean | true, когато по време на зареждането е срещната система и нейното разрешение се съдържа във финалната страница. Това е флагът, който определя дали заявката струва 5 или 10 кредита. |
defenses.present |
string[] | Всяка система, разпозната в произволен момент по време на зареждането на страницата, а не само при финалния отговор. Проверката е събитие, което се е случило, и до момента на пристигане на истинската страница отговорът на предизвикателството отдавна го няма. |
defenses.cleared |
string[] | Системите, чието разрешение се съдържа във финалната страница. |
Име в present, което никога не достига cleared, е система, която FourA е разпознал, без да получи разрешение за нея: такава, която все още не може да изпълни, или една от малкото, които Browser обработва по друг начин (вижте Какво се разрешава днес). Те никога не увеличават цената на заявката.
Доставчици
Стойност на vendor |
Системата |
|---|---|
cloudflare |
Cloudflare предизвикателства и управление на ботове |
sgcaptcha |
Проверка на сайта от SiteGround |
datadome |
DataDome |
perimeterx |
PerimeterX |
akamai |
Akamai Bot Manager |
incapsula |
Imperva Incapsula |
awswaf |
AWS WAF предизвикателство |
ebay-splashui |
Собствено предизвикателство на eBay |
reddit |
Собствени страници за проверка и отказ на Reddit |
verify-challenge |
Собствена страница за проверка на даден сайт, която ви пренасочва след приключване на проверката |
amazon |
Проверка за роботи на Amazon |
hcaptcha |
hCaptcha |
recaptcha |
reCAPTCHA |
unknown |
Не е разпозната система. Появява се само заедно с retry, където записът съществува, за да отчете повторния опит, а не доставчик. |
Какво се разрешава днес
| Endpoint | Разрешава |
|---|---|
| Single, Proxy | sgcaptcha, ebay-splashui. И двете са изчислителни, а не визуални, така че не се използва браузър. |
| Browser | cloudflare, sgcaptcha |
Още няколко се обработват без разрешение. Single и Proxy натискат проверката за роботи с един бутон на Amazon и я отчитат като retry: "amazon-continue", изпращат леката проверка на страницата на Reddit и я отчитат като retry: "reddit-js-check", и изпълняват собствената страница за проверка на даден сайт и я отчитат като retry: "verify-challenge". Browser изчаква до 10 секунди същата тази страница за проверка да го пренасочи. Browser натиска бутона на Amazon и изчаква, докато сензорната страница на Akamai, страницата с предизвикателство на AWS WAF, проверката на устройството на DataDome или собствената страница с предизвикателство на eBay зареди следващата страница сама, след което връща тази страница. Ако тази страница така и не пристигне, Browser връща тази, която е задържал, във вашия timeout_ms. При Browser тези имена се показват в defenses.present, никога в cleared, а заявката струва 5.
Всичко останало в списъка се разпознава и отчита, и нищо повече. Това разпределение се променя с усвояването от FourA на повече решения, затова четете solved, вместо да правите предположения от тази таблица.
Две бележки относно граничните случаи:
hcaptchaиrecaptchaсъщо са обикновени компоненти на формуляри. Те се отчитат само когато отговорът действително ви е блокирал (403, 429 или 503), така че страница за плащане с компонент за потвърждение във формуляр не отчита защита.- Престоят зад Cloudflare не е защита.
cloudflareсе появява, когато има реален challenge или артефакт за bot-management в отговора, а не просто защото даден сайт използва Cloudflare.
Повторно използване на Clearance
defense.cookie е целият смисъл на полето. Даден clearance е обвързан с изхода, който го е получил, и с User-Agent, който го е получил, така че го подайте отново през същата двойка и проверката няма да се изпълни повторно.
import requests
API = "https://eu.api.foura.ai"
H = {"X-API-Key": "YOUR_API_KEY", "Content-Type": "application/json"}
# 1) First call pays for the clear.
first = requests.post(f"{API}/api/proxy/", headers=H, json={
"maxTries": 5,
"request": {"method": "GET", "url": "https://example.com/catalog"},
}).json()
defense = first.get("defense", {})
if defense.get("solved"):
clearance = defense["cookie"]
exit_id = first["proxy"]
# 2) Follow-up pages skip the check: same exit, same clearance.
for page in range(2, 6):
r = requests.post(f"{API}/api/single/", headers=H, json={
"method": "GET",
"url": f"https://example.com/catalog?page={page}",
"proxy": exit_id,
"headers": [["Cookie", clearance]],
}).json()
print(page, r["status"])
Първото извикване поема цената за преминаване на защитата. Всяко повторно изпращане е обикновена request на стандартна цена.
Три неща провалят повторното изпращане:
- Различен изход. Фиксирайте proxy ID, върнато от отговора за преминаване на проверката. Вижте Reuse a Proxy Across Requests.
- Различен User-Agent. Browser отговорите връщат
userAgent, който са използвали. Изпратете го обратно заедно с cookie. - Изтичане на валидността. Преминатите проверки имат собствен жизнен цикъл, зададен от целта. При SiteGround валидността е около 30 дни за целия сайт; при Cloudflare обикновено е много по-кратка. Третирайте преминатата проверка като кеш: когато повторните изпращания отново започнат да връщат предизвикателства, направете едно ново извикване и вземете новото разрешение.
Колко струва
Успешно премината защита променя цената единствено при Browser:
| Engine | Base | Cleared defense |
|---|---|---|
| Single | 1 (2 с unblocker) |
Без промяна |
| Proxy | 2 (4 с unblocker) |
Без промяна |
| Browser | 5 | 10 |
Browser таксува 10 само когато solver е бил включен и дадена система е реално преодоляна. Система, която е разпозната, но не е преодоляна, струва 5, колкото и страница без никаква проверка.
Страница с проверка или отказ, разпозната от FourA и върната с HTTP 200 (например проверката за ботове на Amazon, страницата за верификация на Reddit или challenge страницата на eBay), не се таксува на нито един endpoint. Отговорите от Single, Proxy и Browser я посочват в X-FourA-Check-Page.
Комбинирайте го с validate
defense ви уведомява, че е засечена проверка. validate посочва на FourA как изглежда истинската страница, което позволява на дадена request да се провали, вместо да ви върне междинна страница, която случайно носи HTTP 200.
{
"method": "GET",
"url": "https://example.com/product/42",
"validate": {
"data": {"accept": ["Add to cart"], "fail": ["Just a moment"]}
}
}
При POST /api/auto/, validate спира стълбицата от това да приеме страница с предизвикателство и да я отчете като завършена.
Свързани
- Защитени сайтове: Кой engine да изберете за всяко ниво на защита
- API endpoints: Справочник за request и response за всички четири endpoint-а
- Повторно използване на proxy при заявки: Закачане на изхода, към който е обвързан clearance-ът
- Smart Fetch (Auto): Как
meta.solvedсе вписва в стълбицата - Response headers: Къде се показва цената в кредити за дадено повикване