Защитени сайтове

Съвременните уебсайтове използват усъвършенствана защита срещу ботове. Това ръководство обяснява как FourA извлича страницата от сайтове, които проверяват кой прави заявката, и как да увеличите успеваемостта си.

Как работи засичането на ботове

Уебсайтовете използват няколко слоя защита:

  • Репутация на IP: Центрове за данни и известни proxy адреси биват блокирани
  • Wire fingerprinting: Всеки HTTP клиент има уникален handshake подпис, който сайтовете могат да засекат
  • Browser fingerprinting: JavaScript проверява за индикатори за headless браузър
  • Поведенчески анализ: Модели на заявките, времеви интервали и навигационен поток
  • Страници за проверка: визуална задача, която посетителят трябва да изпълни

В отговора се посочва системата, извършила проверката; Проверки на сайтове ги описва подробно.

Най-бързият подход: Auto

Ако все още не знаете нивото на защита, извикайте /api/auto/ с подниз validate.data.accept, който присъства само в истинската страница. Auto преминава през оптимизирана по разход последователност (ротирано proxy, след това браузър през proxy; с forceProxy: false първо се изпълняват евтина директна проверка и директен browser render) и спира на първата стъпка, която връща response, приет от вашите правила. При повторни извиквания към същия хост вместо това се преизползва топла сесия, така че вторият hit е евтин.

curl -X POST https://eu.api.foura.ai/api/auto/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://protected-site.com/product/42",
    "validate": {"data": {"accept": ["Add to cart"]}}
  }'

Auto разпознава стандартните страници с предизвикателства и продължава изпълнението, когато срещне такава. Вашият validate.data.accept низ прихваща останалите: непозната страница за проверка, екран за вход или страница без необходимото съдържание. Вижте ръководството за Smart Fetch за пълните инструкции.

Как FourA помага на всяко ниво

Реалистични заявки на мрежово ниво

Единственият endpoint (POST /api/single/) излъчва характеристики на handshake, съвпадащи с тези на реален браузър. Сайтовете отговарят както на браузър, без разходите за ресурси при реалното му стартиране.

Активирайте unblocker, за да добавите и реалистични браузърни хедъри (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding). unblocker е включен по подразбиране; задайте false само ако искате да изпратите единствено свои собствени хедъри без добавени други.

{
  "method": "GET",
  "url": "https://protected-site.com/data",
  "unblocker": true
}

Рендериране с реален браузър

Браузърният endpoint (POST /api/browser/) стартира пълна Chrome браузър инстанция. Той изпълнява JavaScript кода на страницата по същия начин, както браузърът на реален потребител. unblocker при Browser преминава проверките, изисквани от страницата преди зареждане (Turnstile и сходни защити); оставете го включен, освен ако не искате да получите страницата с предизвикателството в оригиналния й вид.

Ротация на проксита

Прокси endpoint-ът (POST /api/proxy/) ротира през стандартния пул от изходни точки на FourA. Когато даден сайт отхвърли изходна точка или тя не отговори, следващият опит се извършва през различна. Използвайте ignoreProxies при последваща заявка, за да пропуснете вече изразходвани изходни точки; използвайте maxTries (по подразбиране 5, максимум 90), за да определите броя на опитите.

Премиум изходни точки се използват само когато заявката изрично ги изисква. exitClass: "premium" позволява на Proxy да премине към премиум изходна точка, след като стандартният пул не успее да достигне страницата, при абонаментен план, включващ премиум точки. Заглавката exitClass при успешен отговор посочва какъв тип изходна точка е извършила доставката, а след като премиум трафикът ви за периода бъде изчерпан, заявката продължава през стандартния пул и връща standard. Вижте exitClass.

Изходни точки по държава

Подайте exitCountries към /api/proxy/, за да ограничите избора само до проксита, чиято видима за целта държава съвпада със стриктен списък с разрешени локации. Стойностите са двубуквени кодове (["CZ", "GB"]), изчистени от интервали, преобразувани в главни букви и с премахнати дубликати. Стандартният пул никога не преминава към незаявена държава; ако в текущия пул няма съвпадение, отговорът връща code: "no_eligible_proxy" с нормализирания обхват в details.exitCountries, за да можете да опитате отново по-късно, без да смекчавате изискването. Премиум изходните точки също се придържат към списъка: с exitClass: premium премиум изходната точка се избира измежду вашите държави, а exitCountry в отговора посочва името й. Филтрирането по държава е включено в план Startup и по-високи. При план без тази функционалност заявка с exitCountries се отхвърля с 403 и X-FourA-Limit: plan_limit_feature.

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 5,
    "exitCountries": ["CZ", "GB"],
    "request": {"method": "GET", "url": "https://target.example/pricing"}
  }'

Отговорът включва exitCountry, когато е поискано определяне на обхват. Проверете дали принадлежи към вашия allowlist, преди да се доверите на payload данните, след което използвайте повторно върнатия proxy ID при всяко последващо Browser извикване, за да може JavaScript рендирането да се извърши през същия изход.

FourA ви показва какво ви е спряло

Не е нужно да гадаете коя система е блокирала дадена заявка. Когато целевият сайт изпълнява проверка за ботове, отговорът я посочва.

  • POST /api/single/ и POST /api/proxy/ връщат обект defense: defense.vendor е системата, defense.solved указва дали проверката е премината, а defense.present изброява всичко разпознато в този отговор.
  • POST /api/browser/ връща defenseSolved плюс defenses.present и defenses.cleared.
{
  "status": 200,
  "data": "<!doctype html>...",
  "defense": {
    "vendor": "sgcaptcha",
    "solved": true,
    "present": ["sgcaptcha"],
    "cookie": "_I_=<clearance>"
  }
}

От това следват две правила:

  1. solved: false означава, че тялото може да е предизвикателството, а не страницата. FourA никога не представя страница с предизвикателство като съдържание, затова проверете флага преди парсване.
  2. Успешното решаване ви дава разрешението. Когато defense.cookie е наличен, изпратете го обратно като заглавка Cookie на същия изход със същия User-Agent и последващите заявки ще пропуснат проверката изцяло.

FourA разпознава често срещаните системи за проверка, включително собствените проверки на eBay, Reddit и Amazon. Разпознаването е по-широко от преминаването: система, която можем да назовем, но не и да преминем, се докладва и никога не увеличава цената на заявката. Когато върнатата страница е страницата за проверка на тази система, дори при HTTP 200, заявката не се таксува и заглавката X-FourA-Check-Page я посочва. Вижте Проверки на сайтове за всяко поле, текущото разделение между преминаване и разпознаване, както и пример за повторно изпълнение.

Страницата на Amazon с един бутон "continue shopping" се обработва вместо вас, вместо да се заобикаля. Single, Proxy и Browser натискат бутона на същия изход и връщат истинската страница. При включен unblocker (по подразбиране), Single и Proxy го докладват в defense като retry: "amazon-continue" с solved: false, а цената остава същата. Леката JavaScript проверка на Reddit работи по същия начин при Single и Proxy: те отговарят на нея на същия изход, връщат истинската страница и докладват retry: "reddit-js-check" с solved: false на същата цена.

Стратегия според нивото на защита

Неизвестна защита

Използвайте auto. Започва с ротирано прокси и ескалира само дотолкова, доколкото целта изисква, така че плащате за откриването еднократно на хост.

Ниска защита (повечето сайтове)

Използвайте Single endpoint с unblocker. Съвпадението на мрежово ниво е достатъчно.

curl -X POST https://eu.api.foura.ai/api/single/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'

Средно: страница с предизвикателство или базов firewall

Използвайте endpoint-а на браузъра за преминаване на JavaScript предизвикателства:

curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'

Високо: проверки на поведението и fingerprint

Използвайте proxy endpoint с множество опити за повторение:

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 10,
    "request": {
      "method": "GET",
      "url": "https://heavily-protected.com/prices",
      "unblocker": true
    }
  }'

За страници с навързани предизвикателства ("Just a moment", контролен пункт за сигурност), където ви е необходима рендираната страница след преминаване на проверката, вижте MCP Recipes. Рецептата "Protected page: proxy first, browser when JavaScript is needed" показва точното прехвърляне от proxy към browser.

Добри практики

  1. Започвайте с auto за непознати цели. Подайте правило за validate, оставете стълбицата да избере най-евтиното стъпало, след което проверете meta.rung в отговора, за да видите кой engine е сработил. След като разберете, извиквайте този engine директно за последващ трафик.

  2. Преизползвайте успешната сесия. След auto извикване върнатият session (proxy ID + cookies + userAgent) може да бъде приложен отново чрез /api/single/ или /api/browser/ за следващи страници на същия хост, на цената на съответния endpoint: 2 кредита за Single с unblocker, 5 за Browser (10, когато извикването завърши стъпка за потвърждение, изисквана от страницата).

  3. Спазвайте rate limits. Дори при ротация на проксита, изпращането на стотици заявки в секунда към един сайт ще задейства поведенческа защита. Разпределяйте заявките си с интервал от поне 1 до 2 секунди.

  4. Дръжте unblocker включен. При Single и Proxy стойността unblocker: true (по подразбиране) добавя реалистични browser заглавки. При Browser тя активира модула за решаване на предизвикателства. Изключвайте го само когато изрично изисквате заявка без добавени заглавки или сурова страница с предизвикателство.

  5. Следете нивата на успеваемост. Преглеждайте метриките в Dashboard, за да следите процента на успешни заявки във времето. Внезапен спад обикновено означава, че целевият сайт е обновил защитата си.

  6. Пропускайте компрометирани изходи. Ако извикване на /api/proxy/ или /api/auto/ върне proxy ID, което впоследствие спре да работи, подайте го в ignoreProxies при следващото извикване, за да може FourA да избере друг изход.

  7. Четете defense, преди да опитате отново. Името на доставчика показва дали си струва да тествате различен browser профил, дали ви е необходимо пълно рендиране, или проверката е от тип, който никой не преминава без външна услуга за решаване.

  8. Променяйте браузъра, който представяте. Някои цели приемат един браузър и отхвърлят друг. Задайте browser, os или version за Single и Proxy и прегледайте GET /api/profiles за актуалния списък. Подробности ще намерите в endpoint reference.

Ограничения

Някои сценарии изискват допълнителна обработка извън API:

  • Съдържание, защитено с вход: FourA не управлява дълготрайни сесии за вход вместо вас. Endpoint-ът за браузър приема cookies за всяка заявка; подавайте своите session cookies сами.
  • Интерактивни проверки: FourA разпознава визуалните задачи и ги отчита в defense.present, но не ги решава. Turnstile се обработва от Browser.
  • Съдържание, ограничено до определени държави: използвайте exitCountries в /api/proxy/, за да ограничите избора до разрешени държави. Сайтове, които проверяват и към коя мрежа принадлежи даден адрес (някои лицензирани букмейкъри, определени държавни услуги), все пак могат да откажат изходни точки от правилната държава. С exitClass: premium и една държава в exitCountries, премиум изходна точка може също да излиза от посочен от вас регион, град или мрежа: вижте Exit location. Когато в пула няма изходна точка в разрешените от вас държави, заявката връща no_eligible_proxy.
  • Сайтове с правни ограничения: Винаги се уверявайте, че събирането на данни съответства на условията за ползване на целевия сайт и приложимите закони.

Следващи стъпки

Обновено: 11 ноември 2026 г.