Chronione witryny
Nowoczesne strony internetowe stosują zaawansowane wykrywanie botów. W tym przewodniku wyjaśniono, jak FourA pobiera stronę w serwisach weryfikujących tożsamość klienta oraz jak zwiększyć wskaźnik sukcesu.
Jak działa wykrywanie botów
Strony internetowe korzystają z kilku warstw ochrony:
- Reputacja IP: centra danych i znane adresy proxy są blokowane
- Fingerprinting warstwy sieciowej: każdy klient HTTP ma unikalną sygnaturę handshake, którą serwisy mogą wykryć
- Fingerprinting przeglądarki: kod JavaScript sprawdza wskaźniki obecności przeglądarki headless
- Analiza behawioralna: wzorce żądań, timing i przebieg nawigacji
- Strony weryfikacyjne: zadanie wizualne, które użytkownik musi rozwiązać
W odpowiedzi podawana jest nazwa systemu, który przeprowadził weryfikację; Weryfikacje stron zawiera ich listę.
Najszybsza ścieżka: Auto
Jeśli nie znasz jeszcze poziomu zabezpieczeń, wywołaj /api/auto/ z podciągiem validate.data.accept, który zawiera wyłącznie właściwa strona. Tryb Auto przechodzi przez zoptymalizowaną pod kątem kosztów ścieżkę (rotowane proxy, następnie przeglądarka przez proxy; przy forceProxy: false najpierw wykonywane są tania bezpośrednia próba oraz bezpośrednie renderowanie w przeglądarce) i zatrzymuje się na pierwszym etapie, który zwróci odpowiedź akceptowaną przez Twoje reguły. Przy kolejnych wywołaniach tego samego hosta odtwarzana jest rozgrzana sesja, dzięki czemu drugie żądanie jest tanie.
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://protected-site.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Auto rozpoznaje typowe strony weryfikacyjne challenge i kontynuuje działanie po ich napotkaniu. Twój ciąg validate.data.accept wyłapuje resztę: nierozpoznaną stronę kontrolną, login wall lub stronę pozbawioną potrzebnej zawartości. Zobacz przewodnik Smart Fetch, aby zapoznać się z pełnym opisem.
Jak FourA pomaga na każdej warstwie
Realistyczne żądania na poziomie sieci (Wire-Level)
Pojedynczy endpoint (POST /api/single/) generuje parametry handshake zgodne z prawdziwą przeglądarką. Strony odpowiadają na niego tak samo jak na przeglądarkę, bez narzutu związanego z jej uruchamianiem.
Włącz unblocker, aby wstrzykiwać również realistyczne nagłówki przeglądarki (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding). unblocker jest domyślnie włączone; ustaw false tylko wtedy, gdy chcesz wysyłać wyłącznie własne nagłówki bez żadnych dodatków.
{
"method": "GET",
"url": "https://protected-site.com/data",
"unblocker": true
}
Renderowanie w rzeczywistej przeglądarce
Endpoint przeglądarki (POST /api/browser/) uruchamia pełną instancję przeglądarki Chrome. Wykonuje JavaScript strony w taki sam sposób, jak przeglądarka odwiedzającego. Parametr unblocker w Browser wykonuje weryfikacje wymagane przez stronę przed jej załadowaniem (Turnstile i podobne zabezpieczenia); pozostaw go włączonym, chyba że chcesz otrzymać bezpośrednią stronę z wyzwaniem.
Rotacja proxy
Endpoint proxy (POST /api/proxy/) rotuje zapytania przez standardową pulę węzłów wyjściowych FourA. Gdy strona odrzuci węzeł wyjściowy lub węzeł nie odpowiada, kolejna próba jest wysyłana przez inny. Użyj ignoreProxies w kolejnym wywołaniu, aby pominąć wykorzystane wcześniej węzły wyjściowe; użyj maxTries (domyślnie 5, maks. 90), aby kontrolować liczbę ponowień.
Węzły wyjściowe premium są używane tylko wtedy, gdy żądanie jawnie ich wymaga. exitClass: "premium" pozwala Proxy przejść na węzeł wyjściowy premium, gdy standardowa pula nie może połączyć się ze stroną, w ramach planu obejmującego węzły premium. Nagłówek exitClass w udanej odpowiedzi wskazuje typ węzła, który obsłużył ruch, a po wyczerpaniu limitu transferu premium dla danego okresu zapytanie jest kontynuowane w puli standardowej z wartością standard. Zobacz exitClass.
Węzły wyjściowe ograniczone do kraju
Przekaż exitCountries w /api/proxy/, aby ograniczyć wybór do proxy, których widoczny dla celu kraj jest zgodny ze ścisłą listą dozwolonych. Wartości to dwuliterowe kody (["CZ", "GB"]), przycięte, przekształcone na wielkie litery i pozbawione duplikatów. Standardowa pula nigdy nie przełącza się awaryjnie na niezażądany kraj; jeśli bieżąca pula nie zawiera dopasowania, odpowiedź zwraca code: "no_eligible_proxy" ze znormalizowanym zakresem w details.exitCountries, dzięki czemu możesz ponowić próbę później bez łagodzenia wymagań. Węzeł wyjściowy premium również pozostaje na liście: z exitClass: premium węzeł wyjściowy premium pochodzi z jednego z wybranych krajów, a exitCountry w odpowiedzi wskazuje go z nazwy. Ograniczanie do kraju jest dostępne od planu Startup wzwyż. W planie bez tej funkcji wywołanie wysyłające exitCountries jest odrzucane z kodem 403 oraz X-FourA-Limit: plan_limit_feature.
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"exitCountries": ["CZ", "GB"],
"request": {"method": "GET", "url": "https://target.example/pricing"}
}'
Odpowiedź zawiera exitCountry, gdy żądano ograniczenia zakresu (scoping). Sprawdź, czy należy do Twojej allowlisty przed uznaniem payloadu za zaufany, a następnie użyj zwróconego identyfikatora proxy w kolejnym wywołaniu Browser, aby renderowanie JavaScriptu odbyło się przez ten sam węzeł wyjściowy.
FourA informuje, co Cię zablokowało
Nie musisz zgadywać, który system zablokował request. Gdy cel uruchamia weryfikację antybotową, odpowiedź podaje jej nazwę.
POST /api/single/iPOST /api/proxy/zwracają obiektdefense:defense.vendorwskazuje system,defense.solvedokreśla, czy weryfikacja zakończyła się sukcesem, adefense.presentwymienia wszystkie mechanizmy rozpoznane w tej odpowiedzi.POST /api/browser/zwracadefenseSolvedorazdefenses.presentidefenses.cleared.
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "sgcaptcha",
"solved": true,
"present": ["sgcaptcha"],
"cookie": "_I_=<clearance>"
}
}
Wynikają z tego dwie zasady:
solved: falseoznacza, że body może być wyzwaniem, a nie właściwą stroną. FourA nigdy nie przedstawia strony z wyzwaniem jako treści, więc sprawdź tę flagę przed parsowaniem.- Rozwiązanie wyzwania daje clearance. Gdy
defense.cookiejest obecny, odeślij go jako headerCookiena tym samym węźle wyjściowym z tym samym User-Agent, a kolejne żądania całkowicie pominą weryfikację.
FourA rozpoznaje popularne systemy weryfikacji, w tym natywne mechanizmy serwisów eBay, Reddit i Amazon. Zakres rozpoznawania jest szerszy niż omijania: system, który potrafimy nazwać, ale którego nie możemy ominąć, jest raportowany i nigdy nie zwiększa kosztu żądania. Gdy zwrócona strona jest stroną weryfikacji takiego systemu, nawet przy kodzie HTTP 200, żądanie nie jest rozliczane, a header X-FourA-Check-Page podaje jego nazwę. Zobacz Weryfikacje witryn, aby sprawdzić wszystkie pola, bieżący podział na omijanie i wykrywanie oraz przykład powtórzenia żądania.
Strona Amazona z pojedynczym przyciskiem "kontynuuj zakupy" jest obsługiwana automatycznie, a nie omijana. Single, Proxy oraz Browser klikają przycisk na tym samym węźle wyjściowym i zwracają właściwą stronę. Przy włączonym unblocker (opcja domyślna), Single i Proxy zgłaszają to w defense jako retry: "amazon-continue" z solved: false, a cena nie ulega zmianie. Lekka weryfikacja JavaScript w serwisie Reddit działa w ten sam sposób w Single i Proxy: obsługują ją na tym samym węźle wyjściowym, zwracają właściwą stronę i raportują retry: "reddit-js-check" z solved: false w tej samej cenie.
Strategia według poziomu zabezpieczeń
Nieznane zabezpieczenia
Użyj auto. Rozpoczyna działanie na rotowanym proxy i eskaluje tylko do poziomu wymaganego przez cel, więc za wykrycie płacisz raz na host.
Niskie zabezpieczenia (większość witryn)
Użyj pojedynczego endpointu z unblocker. Dopasowanie na poziomie sieciowym jest wystarczające.
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'
Średni: strona z wyzwaniem lub podstawowy firewall
Użyj endpointu przeglądarki, aby przejść weryfikacje JavaScript:
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'
Wysoki: weryfikacja zachowania i fingerprintingu
Użyj endpointu proxy z wieloma próbami ponowienia:
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 10,
"request": {
"method": "GET",
"url": "https://heavily-protected.com/prices",
"unblocker": true
}
}'
W przypadku stron z sekwencją wyzwań ("Just a moment", punkt kontrolny bezpieczeństwa), gdzie potrzebujesz wyrenderowanej strony po ukończeniu weryfikacji, zobacz Przepisy MCP. Przepis "Protected page: proxy first, browser when JavaScript is needed" pokazuje dokładne przekazanie z proxy do przeglądarki.
Najlepsze praktyki
Zacznij od auto dla nieznanych celów. Przekaż regułę
validate, pozwól drabince wybrać najtańszy poziom, a następnie odczytajmeta.rungw odpowiedzi, aby sprawdzić, który silnik zadziałał. Gdy już to wiesz, wywołuj ten silnik bezpośrednio dla kolejnych zapytań.Używaj ponownie zwycięskiej sesji. Po wywołaniu auto zwrócony obiekt
session(proxy ID + cookies + userAgent) można odtworzyć przez/api/single/lub/api/browser/dla kolejnych stron na tym samym hoście, w cenie danego endpointu: 2 kredyty w Single zunblocker, 5 w Browser (10, gdy wywołanie ukończy krok weryfikacji wymagany przez stronę).Przestrzegaj rate limitów. Nawet przy rotacji proxy, wysyłanie setek requestów na sekundę do pojedynczej witryny wywoła detekcję behawioralną. Rozmieść swoje requesty w odstępie co najmniej 1 do 2 sekund.
Pozostaw
unblockerwłączone. W Single i Proxy wartośćunblocker: true(domyślna) dodaje realistyczne nagłówki przeglądarki. W Browser włącza moduł rozwiązywania wyzwań. Wyłączaj tę opcję tylko wtedy, gdy celowo potrzebujesz requestu bez dodatkowych nagłówków lub surowej strony z wyzwaniem.Monitoruj wskaźniki sukcesu. Sprawdzaj metryki w Panelu, aby śledzić swój współczynnik sukcesu w czasie. Nagły spadek oznacza zazwyczaj, że docelowa witryna zaktualizowała swoje zabezpieczenia.
Pomijaj spalone węzły wyjściowe. Jeśli wywołanie
/api/proxy/lub/api/auto/zwróciło proxy ID, które następnie zaczęło zawodzić, przekaż je wignoreProxiesprzy kolejnym wywołaniu, aby FourA wybrało inny węzeł wyjściowy.Odczytaj
defenseprzed ponowieniem próby. Nazwa dostawcy wskazuje, czy warto wypróbować inny profil przeglądarki, czy potrzebujesz pełnego renderowania, czy też weryfikacja należy do takich, których nikt nie przechodzi bez usługi rozwiązującej.Zmień prezentowaną przeglądarkę. Niektóre cele akceptują jedną przeglądarkę, a odrzucają inną. Ustaw
browser,oslubversionw Single i Proxy oraz odczytajGET /api/profiles, aby sprawdzić aktualny katalog. Szczegóły znajdują się w dokumentacji endpointów.
Ograniczenia
Niektóre scenariusze wymagają dodatkowej obsługi poza API:
- Treści chronione logowaniem: FourA nie zarządza za Ciebie długotrwałymi sesjami logowania. Endpoint przeglądarki akceptuje
cookiesdla każdego requestu; przekaż własne cookie sesyjne. - Interaktywne zadania weryfikacyjne: FourA rozpoznaje weryfikacje wizualne i zgłasza je w
defense.present, ale ich nie rozwiązuje. Turnstile jest obsługiwany przez Browser. - Treści ograniczone do wybranych krajów: użyj
exitCountriesw/api/proxy/, aby ograniczyć wybór do dozwolonych krajów. Witryny, które weryfikują również sieć adresu (niektórzy bukmacherzy z licencją krajową, wybrane serwisy rządowe), mogą nadal odrzucać węzły wyjściowe z właściwego kraju. Przy użyciuexitClass: premiumi jednego kraju wexitCountries, węzeł wyjściowy premium może również pochodzić ze wskazanego regionu, miasta lub sieci: zobacz Lokalizacja wyjścia. Gdy pula nie zawiera wyjścia w dozwolonych krajach, request zwracano_eligible_proxy. - Serwisy z ograniczeniami prawnymi: Zawsze upewnij się, że zbieranie danych jest zgodne z regulaminem docelowej witryny oraz obowiązującym prawem.
Kolejne kroki
- Smart Fetch (Auto): Szczegółowe omówienie
/api/auto/ - Wybór właściwego endpointu: Przewodnik ułatwiający wybór endpointu
- Typowe problemy: Rozwiązywanie błędów 403 i stron weryfikacyjnych
- Endpointy API: Pełna dokumentacja parametrów, w tym
exitCountries - Weryfikacje serwisów: Pole
defense, lista systemów oraz ponowne użycie clearance - Szablony MCP: Szablony przepływów pracy, w tym łańcuch proxy-first-then-browser