Chronione witryny

Nowoczesne strony internetowe stosują zaawansowane wykrywanie botów. W tym przewodniku wyjaśniono, jak FourA pobiera stronę w serwisach weryfikujących tożsamość klienta oraz jak zwiększyć wskaźnik sukcesu.

Jak działa wykrywanie botów

Strony internetowe korzystają z kilku warstw ochrony:

  • Reputacja IP: centra danych i znane adresy proxy są blokowane
  • Fingerprinting warstwy sieciowej: każdy klient HTTP ma unikalną sygnaturę handshake, którą serwisy mogą wykryć
  • Fingerprinting przeglądarki: kod JavaScript sprawdza wskaźniki obecności przeglądarki headless
  • Analiza behawioralna: wzorce żądań, timing i przebieg nawigacji
  • Strony weryfikacyjne: zadanie wizualne, które użytkownik musi rozwiązać

W odpowiedzi podawana jest nazwa systemu, który przeprowadził weryfikację; Weryfikacje stron zawiera ich listę.

Najszybsza ścieżka: Auto

Jeśli nie znasz jeszcze poziomu zabezpieczeń, wywołaj /api/auto/ z podciągiem validate.data.accept, który zawiera wyłącznie właściwa strona. Tryb Auto przechodzi przez zoptymalizowaną pod kątem kosztów ścieżkę (rotowane proxy, następnie przeglądarka przez proxy; przy forceProxy: false najpierw wykonywane są tania bezpośrednia próba oraz bezpośrednie renderowanie w przeglądarce) i zatrzymuje się na pierwszym etapie, który zwróci odpowiedź akceptowaną przez Twoje reguły. Przy kolejnych wywołaniach tego samego hosta odtwarzana jest rozgrzana sesja, dzięki czemu drugie żądanie jest tanie.

curl -X POST https://eu.api.foura.ai/api/auto/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://protected-site.com/product/42",
    "validate": {"data": {"accept": ["Add to cart"]}}
  }'

Auto rozpoznaje typowe strony weryfikacyjne challenge i kontynuuje działanie po ich napotkaniu. Twój ciąg validate.data.accept wyłapuje resztę: nierozpoznaną stronę kontrolną, login wall lub stronę pozbawioną potrzebnej zawartości. Zobacz przewodnik Smart Fetch, aby zapoznać się z pełnym opisem.

Jak FourA pomaga na każdej warstwie

Realistyczne żądania na poziomie sieci (Wire-Level)

Pojedynczy endpoint (POST /api/single/) generuje parametry handshake zgodne z prawdziwą przeglądarką. Strony odpowiadają na niego tak samo jak na przeglądarkę, bez narzutu związanego z jej uruchamianiem.

Włącz unblocker, aby wstrzykiwać również realistyczne nagłówki przeglądarki (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding). unblocker jest domyślnie włączone; ustaw false tylko wtedy, gdy chcesz wysyłać wyłącznie własne nagłówki bez żadnych dodatków.

{
  "method": "GET",
  "url": "https://protected-site.com/data",
  "unblocker": true
}

Renderowanie w rzeczywistej przeglądarce

Endpoint przeglądarki (POST /api/browser/) uruchamia pełną instancję przeglądarki Chrome. Wykonuje JavaScript strony w taki sam sposób, jak przeglądarka odwiedzającego. Parametr unblocker w Browser wykonuje weryfikacje wymagane przez stronę przed jej załadowaniem (Turnstile i podobne zabezpieczenia); pozostaw go włączonym, chyba że chcesz otrzymać bezpośrednią stronę z wyzwaniem.

Rotacja proxy

Endpoint proxy (POST /api/proxy/) rotuje zapytania przez standardową pulę węzłów wyjściowych FourA. Gdy strona odrzuci węzeł wyjściowy lub węzeł nie odpowiada, kolejna próba jest wysyłana przez inny. Użyj ignoreProxies w kolejnym wywołaniu, aby pominąć wykorzystane wcześniej węzły wyjściowe; użyj maxTries (domyślnie 5, maks. 90), aby kontrolować liczbę ponowień.

Węzły wyjściowe premium są używane tylko wtedy, gdy żądanie jawnie ich wymaga. exitClass: "premium" pozwala Proxy przejść na węzeł wyjściowy premium, gdy standardowa pula nie może połączyć się ze stroną, w ramach planu obejmującego węzły premium. Nagłówek exitClass w udanej odpowiedzi wskazuje typ węzła, który obsłużył ruch, a po wyczerpaniu limitu transferu premium dla danego okresu zapytanie jest kontynuowane w puli standardowej z wartością standard. Zobacz exitClass.

Węzły wyjściowe ograniczone do kraju

Przekaż exitCountries w /api/proxy/, aby ograniczyć wybór do proxy, których widoczny dla celu kraj jest zgodny ze ścisłą listą dozwolonych. Wartości to dwuliterowe kody (["CZ", "GB"]), przycięte, przekształcone na wielkie litery i pozbawione duplikatów. Standardowa pula nigdy nie przełącza się awaryjnie na niezażądany kraj; jeśli bieżąca pula nie zawiera dopasowania, odpowiedź zwraca code: "no_eligible_proxy" ze znormalizowanym zakresem w details.exitCountries, dzięki czemu możesz ponowić próbę później bez łagodzenia wymagań. Węzeł wyjściowy premium również pozostaje na liście: z exitClass: premium węzeł wyjściowy premium pochodzi z jednego z wybranych krajów, a exitCountry w odpowiedzi wskazuje go z nazwy. Ograniczanie do kraju jest dostępne od planu Startup wzwyż. W planie bez tej funkcji wywołanie wysyłające exitCountries jest odrzucane z kodem 403 oraz X-FourA-Limit: plan_limit_feature.

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 5,
    "exitCountries": ["CZ", "GB"],
    "request": {"method": "GET", "url": "https://target.example/pricing"}
  }'

Odpowiedź zawiera exitCountry, gdy żądano ograniczenia zakresu (scoping). Sprawdź, czy należy do Twojej allowlisty przed uznaniem payloadu za zaufany, a następnie użyj zwróconego identyfikatora proxy w kolejnym wywołaniu Browser, aby renderowanie JavaScriptu odbyło się przez ten sam węzeł wyjściowy.

FourA informuje, co Cię zablokowało

Nie musisz zgadywać, który system zablokował request. Gdy cel uruchamia weryfikację antybotową, odpowiedź podaje jej nazwę.

  • POST /api/single/ i POST /api/proxy/ zwracają obiekt defense: defense.vendor wskazuje system, defense.solved określa, czy weryfikacja zakończyła się sukcesem, a defense.present wymienia wszystkie mechanizmy rozpoznane w tej odpowiedzi.
  • POST /api/browser/ zwraca defenseSolved oraz defenses.present i defenses.cleared.
{
  "status": 200,
  "data": "<!doctype html>...",
  "defense": {
    "vendor": "sgcaptcha",
    "solved": true,
    "present": ["sgcaptcha"],
    "cookie": "_I_=<clearance>"
  }
}

Wynikają z tego dwie zasady:

  1. solved: false oznacza, że body może być wyzwaniem, a nie właściwą stroną. FourA nigdy nie przedstawia strony z wyzwaniem jako treści, więc sprawdź tę flagę przed parsowaniem.
  2. Rozwiązanie wyzwania daje clearance. Gdy defense.cookie jest obecny, odeślij go jako header Cookie na tym samym węźle wyjściowym z tym samym User-Agent, a kolejne żądania całkowicie pominą weryfikację.

FourA rozpoznaje popularne systemy weryfikacji, w tym natywne mechanizmy serwisów eBay, Reddit i Amazon. Zakres rozpoznawania jest szerszy niż omijania: system, który potrafimy nazwać, ale którego nie możemy ominąć, jest raportowany i nigdy nie zwiększa kosztu żądania. Gdy zwrócona strona jest stroną weryfikacji takiego systemu, nawet przy kodzie HTTP 200, żądanie nie jest rozliczane, a header X-FourA-Check-Page podaje jego nazwę. Zobacz Weryfikacje witryn, aby sprawdzić wszystkie pola, bieżący podział na omijanie i wykrywanie oraz przykład powtórzenia żądania.

Strona Amazona z pojedynczym przyciskiem "kontynuuj zakupy" jest obsługiwana automatycznie, a nie omijana. Single, Proxy oraz Browser klikają przycisk na tym samym węźle wyjściowym i zwracają właściwą stronę. Przy włączonym unblocker (opcja domyślna), Single i Proxy zgłaszają to w defense jako retry: "amazon-continue" z solved: false, a cena nie ulega zmianie. Lekka weryfikacja JavaScript w serwisie Reddit działa w ten sam sposób w Single i Proxy: obsługują ją na tym samym węźle wyjściowym, zwracają właściwą stronę i raportują retry: "reddit-js-check" z solved: false w tej samej cenie.

Strategia według poziomu zabezpieczeń

Nieznane zabezpieczenia

Użyj auto. Rozpoczyna działanie na rotowanym proxy i eskaluje tylko do poziomu wymaganego przez cel, więc za wykrycie płacisz raz na host.

Niskie zabezpieczenia (większość witryn)

Użyj pojedynczego endpointu z unblocker. Dopasowanie na poziomie sieciowym jest wystarczające.

curl -X POST https://eu.api.foura.ai/api/single/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'

Średni: strona z wyzwaniem lub podstawowy firewall

Użyj endpointu przeglądarki, aby przejść weryfikacje JavaScript:

curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'

Wysoki: weryfikacja zachowania i fingerprintingu

Użyj endpointu proxy z wieloma próbami ponowienia:

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 10,
    "request": {
      "method": "GET",
      "url": "https://heavily-protected.com/prices",
      "unblocker": true
    }
  }'

W przypadku stron z sekwencją wyzwań ("Just a moment", punkt kontrolny bezpieczeństwa), gdzie potrzebujesz wyrenderowanej strony po ukończeniu weryfikacji, zobacz Przepisy MCP. Przepis "Protected page: proxy first, browser when JavaScript is needed" pokazuje dokładne przekazanie z proxy do przeglądarki.

Najlepsze praktyki

  1. Zacznij od auto dla nieznanych celów. Przekaż regułę validate, pozwól drabince wybrać najtańszy poziom, a następnie odczytaj meta.rung w odpowiedzi, aby sprawdzić, który silnik zadziałał. Gdy już to wiesz, wywołuj ten silnik bezpośrednio dla kolejnych zapytań.

  2. Używaj ponownie zwycięskiej sesji. Po wywołaniu auto zwrócony obiekt session (proxy ID + cookies + userAgent) można odtworzyć przez /api/single/ lub /api/browser/ dla kolejnych stron na tym samym hoście, w cenie danego endpointu: 2 kredyty w Single z unblocker, 5 w Browser (10, gdy wywołanie ukończy krok weryfikacji wymagany przez stronę).

  3. Przestrzegaj rate limitów. Nawet przy rotacji proxy, wysyłanie setek requestów na sekundę do pojedynczej witryny wywoła detekcję behawioralną. Rozmieść swoje requesty w odstępie co najmniej 1 do 2 sekund.

  4. Pozostaw unblocker włączone. W Single i Proxy wartość unblocker: true (domyślna) dodaje realistyczne nagłówki przeglądarki. W Browser włącza moduł rozwiązywania wyzwań. Wyłączaj tę opcję tylko wtedy, gdy celowo potrzebujesz requestu bez dodatkowych nagłówków lub surowej strony z wyzwaniem.

  5. Monitoruj wskaźniki sukcesu. Sprawdzaj metryki w Panelu, aby śledzić swój współczynnik sukcesu w czasie. Nagły spadek oznacza zazwyczaj, że docelowa witryna zaktualizowała swoje zabezpieczenia.

  6. Pomijaj spalone węzły wyjściowe. Jeśli wywołanie /api/proxy/ lub /api/auto/ zwróciło proxy ID, które następnie zaczęło zawodzić, przekaż je w ignoreProxies przy kolejnym wywołaniu, aby FourA wybrało inny węzeł wyjściowy.

  7. Odczytaj defense przed ponowieniem próby. Nazwa dostawcy wskazuje, czy warto wypróbować inny profil przeglądarki, czy potrzebujesz pełnego renderowania, czy też weryfikacja należy do takich, których nikt nie przechodzi bez usługi rozwiązującej.

  8. Zmień prezentowaną przeglądarkę. Niektóre cele akceptują jedną przeglądarkę, a odrzucają inną. Ustaw browser, os lub version w Single i Proxy oraz odczytaj GET /api/profiles, aby sprawdzić aktualny katalog. Szczegóły znajdują się w dokumentacji endpointów.

Ograniczenia

Niektóre scenariusze wymagają dodatkowej obsługi poza API:

  • Treści chronione logowaniem: FourA nie zarządza za Ciebie długotrwałymi sesjami logowania. Endpoint przeglądarki akceptuje cookies dla każdego requestu; przekaż własne cookie sesyjne.
  • Interaktywne zadania weryfikacyjne: FourA rozpoznaje weryfikacje wizualne i zgłasza je w defense.present, ale ich nie rozwiązuje. Turnstile jest obsługiwany przez Browser.
  • Treści ograniczone do wybranych krajów: użyj exitCountries w /api/proxy/, aby ograniczyć wybór do dozwolonych krajów. Witryny, które weryfikują również sieć adresu (niektórzy bukmacherzy z licencją krajową, wybrane serwisy rządowe), mogą nadal odrzucać węzły wyjściowe z właściwego kraju. Przy użyciu exitClass: premium i jednego kraju w exitCountries, węzeł wyjściowy premium może również pochodzić ze wskazanego regionu, miasta lub sieci: zobacz Lokalizacja wyjścia. Gdy pula nie zawiera wyjścia w dozwolonych krajach, request zwraca no_eligible_proxy.
  • Serwisy z ograniczeniami prawnymi: Zawsze upewnij się, że zbieranie danych jest zgodne z regulaminem docelowej witryny oraz obowiązującym prawem.

Kolejne kroki

Aktualizacja: 11 listopada 2026