Защитени сайтове
Съвременните уебсайтове използват усъвършенствана защита срещу ботове. Това ръководство обяснява как FourA извлича страницата от сайтове, които проверяват кой прави заявката, и как да увеличите успеваемостта си.
Как работи засичането на ботове
Уебсайтовете използват няколко слоя защита:
- Репутация на IP: Центрове за данни и известни proxy адреси биват блокирани
- Wire fingerprinting: Всеки HTTP клиент има уникален handshake подпис, който сайтовете могат да засекат
- Browser fingerprinting: JavaScript проверява за индикатори за headless браузър
- Поведенчески анализ: Модели на заявките, времеви интервали и навигационен поток
- Страници за проверка: визуална задача, която посетителят трябва да изпълни
В отговора се посочва системата, извършила проверката; Проверки на сайтове ги описва подробно.
Най-бързият подход: Auto
Ако все още не знаете нивото на защита, извикайте /api/auto/ с подниз validate.data.accept, който присъства само в истинската страница. Auto преминава през оптимизирана по разход последователност (ротирано proxy, след това браузър през proxy; с forceProxy: false първо се изпълняват евтина директна проверка и директен browser render) и спира на първата стъпка, която връща response, приет от вашите правила. При повторни извиквания към същия хост вместо това се преизползва топла сесия, така че вторият hit е евтин.
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://protected-site.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Auto разпознава стандартните страници с предизвикателства и продължава изпълнението, когато срещне такава. Вашият validate.data.accept низ прихваща останалите: непозната страница за проверка, екран за вход или страница без необходимото съдържание. Вижте ръководството за Smart Fetch за пълните инструкции.
Как FourA помага на всяко ниво
Реалистични заявки на мрежово ниво
Единственият endpoint (POST /api/single/) излъчва характеристики на handshake, съвпадащи с тези на реален браузър. Сайтовете отговарят както на браузър, без разходите за ресурси при реалното му стартиране.
Активирайте unblocker, за да добавите и реалистични браузърни хедъри (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding). unblocker е включен по подразбиране; задайте false само ако искате да изпратите единствено свои собствени хедъри без добавени други.
{
"method": "GET",
"url": "https://protected-site.com/data",
"unblocker": true
}
Рендериране с реален браузър
Браузърният endpoint (POST /api/browser/) стартира пълна Chrome браузър инстанция. Той изпълнява JavaScript кода на страницата по същия начин, както браузърът на реален потребител. unblocker при Browser преминава проверките, изисквани от страницата преди зареждане (Turnstile и сходни защити); оставете го включен, освен ако не искате да получите страницата с предизвикателството в оригиналния й вид.
Ротация на проксита
Прокси endpoint-ът (POST /api/proxy/) ротира през стандартния пул от изходни точки на FourA. Когато даден сайт отхвърли изходна точка или тя не отговори, следващият опит се извършва през различна. Използвайте ignoreProxies при последваща заявка, за да пропуснете вече изразходвани изходни точки; използвайте maxTries (по подразбиране 5, максимум 90), за да определите броя на опитите.
Премиум изходни точки се използват само когато заявката изрично ги изисква. exitClass: "premium" позволява на Proxy да премине към премиум изходна точка, след като стандартният пул не успее да достигне страницата, при абонаментен план, включващ премиум точки. Заглавката exitClass при успешен отговор посочва какъв тип изходна точка е извършила доставката, а след като премиум трафикът ви за периода бъде изчерпан, заявката продължава през стандартния пул и връща standard. Вижте exitClass.
Изходни точки по държава
Подайте exitCountries към /api/proxy/, за да ограничите избора само до проксита, чиято видима за целта държава съвпада със стриктен списък с разрешени локации. Стойностите са двубуквени кодове (["CZ", "GB"]), изчистени от интервали, преобразувани в главни букви и с премахнати дубликати. Стандартният пул никога не преминава към незаявена държава; ако в текущия пул няма съвпадение, отговорът връща code: "no_eligible_proxy" с нормализирания обхват в details.exitCountries, за да можете да опитате отново по-късно, без да смекчавате изискването. Премиум изходните точки също се придържат към списъка: с exitClass: premium премиум изходната точка се избира измежду вашите държави, а exitCountry в отговора посочва името й. Филтрирането по държава е включено в план Startup и по-високи. При план без тази функционалност заявка с exitCountries се отхвърля с 403 и X-FourA-Limit: plan_limit_feature.
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"exitCountries": ["CZ", "GB"],
"request": {"method": "GET", "url": "https://target.example/pricing"}
}'
Отговорът включва exitCountry, когато е поискано определяне на обхват. Проверете дали принадлежи към вашия allowlist, преди да се доверите на payload данните, след което използвайте повторно върнатия proxy ID при всяко последващо Browser извикване, за да може JavaScript рендирането да се извърши през същия изход.
FourA ви показва какво ви е спряло
Не е нужно да гадаете коя система е блокирала дадена заявка. Когато целевият сайт изпълнява проверка за ботове, отговорът я посочва.
POST /api/single/иPOST /api/proxy/връщат обектdefense:defense.vendorе системата,defense.solvedуказва дали проверката е премината, аdefense.presentизброява всичко разпознато в този отговор.POST /api/browser/връщаdefenseSolvedплюсdefenses.presentиdefenses.cleared.
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "sgcaptcha",
"solved": true,
"present": ["sgcaptcha"],
"cookie": "_I_=<clearance>"
}
}
От това следват две правила:
solved: falseозначава, че тялото може да е предизвикателството, а не страницата. FourA никога не представя страница с предизвикателство като съдържание, затова проверете флага преди парсване.- Успешното решаване ви дава разрешението. Когато
defense.cookieе наличен, изпратете го обратно като заглавкаCookieна същия изход със същия User-Agent и последващите заявки ще пропуснат проверката изцяло.
FourA разпознава често срещаните системи за проверка, включително собствените проверки на eBay, Reddit и Amazon. Разпознаването е по-широко от преминаването: система, която можем да назовем, но не и да преминем, се докладва и никога не увеличава цената на заявката. Когато върнатата страница е страницата за проверка на тази система, дори при HTTP 200, заявката не се таксува и заглавката X-FourA-Check-Page я посочва. Вижте Проверки на сайтове за всяко поле, текущото разделение между преминаване и разпознаване, както и пример за повторно изпълнение.
Страницата на Amazon с един бутон "continue shopping" се обработва вместо вас, вместо да се заобикаля. Single, Proxy и Browser натискат бутона на същия изход и връщат истинската страница. При включен unblocker (по подразбиране), Single и Proxy го докладват в defense като retry: "amazon-continue" с solved: false, а цената остава същата. Леката JavaScript проверка на Reddit работи по същия начин при Single и Proxy: те отговарят на нея на същия изход, връщат истинската страница и докладват retry: "reddit-js-check" с solved: false на същата цена.
Стратегия според нивото на защита
Неизвестна защита
Използвайте auto. Започва с ротирано прокси и ескалира само дотолкова, доколкото целта изисква, така че плащате за откриването еднократно на хост.
Ниска защита (повечето сайтове)
Използвайте Single endpoint с unblocker. Съвпадението на мрежово ниво е достатъчно.
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'
Средно: страница с предизвикателство или базов firewall
Използвайте endpoint-а на браузъра за преминаване на JavaScript предизвикателства:
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'
Високо: проверки на поведението и fingerprint
Използвайте proxy endpoint с множество опити за повторение:
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 10,
"request": {
"method": "GET",
"url": "https://heavily-protected.com/prices",
"unblocker": true
}
}'
За страници с навързани предизвикателства ("Just a moment", контролен пункт за сигурност), където ви е необходима рендираната страница след преминаване на проверката, вижте MCP Recipes. Рецептата "Protected page: proxy first, browser when JavaScript is needed" показва точното прехвърляне от proxy към browser.
Добри практики
Започвайте с auto за непознати цели. Подайте правило за
validate, оставете стълбицата да избере най-евтиното стъпало, след което проверетеmeta.rungв отговора, за да видите кой engine е сработил. След като разберете, извиквайте този engine директно за последващ трафик.Преизползвайте успешната сесия. След auto извикване върнатият
session(proxy ID + cookies + userAgent) може да бъде приложен отново чрез/api/single/или/api/browser/за следващи страници на същия хост, на цената на съответния endpoint: 2 кредита за Single сunblocker, 5 за Browser (10, когато извикването завърши стъпка за потвърждение, изисквана от страницата).Спазвайте rate limits. Дори при ротация на проксита, изпращането на стотици заявки в секунда към един сайт ще задейства поведенческа защита. Разпределяйте заявките си с интервал от поне 1 до 2 секунди.
Дръжте
unblockerвключен. При Single и Proxy стойносттаunblocker: true(по подразбиране) добавя реалистични browser заглавки. При Browser тя активира модула за решаване на предизвикателства. Изключвайте го само когато изрично изисквате заявка без добавени заглавки или сурова страница с предизвикателство.Следете нивата на успеваемост. Преглеждайте метриките в Dashboard, за да следите процента на успешни заявки във времето. Внезапен спад обикновено означава, че целевият сайт е обновил защитата си.
Пропускайте компрометирани изходи. Ако извикване на
/api/proxy/или/api/auto/върне proxy ID, което впоследствие спре да работи, подайте го вignoreProxiesпри следващото извикване, за да може FourA да избере друг изход.Четете
defense, преди да опитате отново. Името на доставчика показва дали си струва да тествате различен browser профил, дали ви е необходимо пълно рендиране, или проверката е от тип, който никой не преминава без външна услуга за решаване.Променяйте браузъра, който представяте. Някои цели приемат един браузър и отхвърлят друг. Задайте
browser,osилиversionза Single и Proxy и прегледайтеGET /api/profilesза актуалния списък. Подробности ще намерите в endpoint reference.
Ограничения
Някои сценарии изискват допълнителна обработка извън API:
- Съдържание, защитено с вход: FourA не управлява дълготрайни сесии за вход вместо вас. Endpoint-ът за браузър приема
cookiesза всяка заявка; подавайте своите session cookies сами. - Интерактивни проверки: FourA разпознава визуалните задачи и ги отчита в
defense.present, но не ги решава. Turnstile се обработва от Browser. - Съдържание, ограничено до определени държави: използвайте
exitCountriesв/api/proxy/, за да ограничите избора до разрешени държави. Сайтове, които проверяват и към коя мрежа принадлежи даден адрес (някои лицензирани букмейкъри, определени държавни услуги), все пак могат да откажат изходни точки от правилната държава. СexitClass: premiumи една държава вexitCountries, премиум изходна точка може също да излиза от посочен от вас регион, град или мрежа: вижте Exit location. Когато в пула няма изходна точка в разрешените от вас държави, заявката връщаno_eligible_proxy. - Сайтове с правни ограничения: Винаги се уверявайте, че събирането на данни съответства на условията за ползване на целевия сайт и приложимите закони.
Следващи стъпки
- Smart Fetch (Auto): Подробен преглед на
/api/auto/ - Избор на правилния endpoint: Ръководство за избор на endpoints
- Чести проблеми: Отстраняване на грешки 403 и страници за проверка
- API Endpoints: Пълен справочник за параметрите, включително
exitCountries - Проверки на сайтове: Полето
defense, списъкът със системи и преизползване на clearance - MCP Рецепти: Шаблони за работни процеси, включително веригата първо proxy, след това browser