Wszystkie wpisy

Detekcja botów przeszła na analizę behawioralną. Większość scraperów nie.

Detekcja botów przeszła od blokowania IP do fingerprintów TLS, sygnałów z przeglądarki i analizy behawioralnej. Większość architektur do scrapingu toczy niewłaściwą bitwę.

W styczniu 16 milionów requestów udowodniło, że blokowanie IP jest martwe

Atak typu scalping uderzył w dużą platformę e-commerce w styczniu 2026 roku. Szesnaście milionów requestów rozłożyło się na 3,9 miliona unikalnych adresów IP. Rate limit per IP nie był w stanie tego powstrzymać. Atak nie powiódł się z powodu sprytnego kodu. Powiódł się, ponieważ sama liczba IP sprawiła, że tradycyjna detekcja straciła sens (SecurityBoulevard, marzec 2026).

Ten incydent udowodnił to, co branża anti-bot powtarza od jakiegoś czasu: sama reputacja IP nie odróżni człowieka od bota. A jeśli obrońcy poszli naprzód, scrapery też muszą.

Trzy warstwy, które zastąpiły blokowanie IP

Nowoczesna detekcja botów działa na trzech warstwach. Tylko pierwsza z nich dotyczy twojego IP.

Fingerprinting połączenia. Zanim twój request dotrze do serwera, pierwszy pakiet połączenia niesie charakterystyczny kształt, który identyfikuje bibliotekę HTTP wykonującą request. Biblioteka requests z Pythona, domyślny klient Go, fetch z Node.js, każdy z nich generuje unikalny fingerprint. Systemy anti-bot sprawdzają to, zanim odczytają choćby jeden header. Jeśli twoja sygnatura nie pasuje do prawdziwej przeglądarki, zostajesz zablokowany na poziomie połączenia (Reddit r/programming).

Fingerprinting przeglądarki. Strony sprawdzają teraz ponad 300 sygnałów ze środowiska przeglądarki. Renderowanie Canvas, wyjście WebGL, kontekst audio, zainstalowane czcionki, rozdzielczość ekranu, strefa czasowa, informacje o GPU. Twój User-Agent to najmniej interesujący sygnał w całym stosie. Cloudflare, Akamai i DataDome zbierają je pasywnie przez wyzwania JavaScript, które uruchamiają się przed załadowaniem strony (ScrapingBee, 2026).

Analiza behawioralna. To najnowsza warstwa i najtrudniejsza do podrobienia. Systemy anti-bot śledzą teraz ruchy myszy, prędkość scrollowania, wzorce kliknięć, tempo pisania i czas między interakcjami. Prawdziwi ludzie nie poruszają myszą w idealnie prostych liniach. Robią pauzy, omijają przyciski, scrollują chaotycznie. Boty nie robią żadnej z tych rzeczy, lub robią to wszystko zbyt idealnie (r/webdev, 2026).

Większość zespołów od scrapingu toczy niewłaściwą bitwę

Oto niewygodna prawda: większość zespołów od scrapingu nadal inwestuje głównie w infrastrukturę IP. Większe pule proxy, domowe IP, rotujące bramki. Jest na to miejsce. Reputacja IP nadal ma znaczenie jako jeden z wielu sygnałów.

Ale zakup 10 000 domowych IP nie pomoże, jeśli twój fingerprint na poziomie połączenia krzyczy "skrypt w Pythonie" lub twoja przeglądarka headless zdradza flagi automatyzacji przez navigator.webdriver. Wydajesz pieniądze na niewłaściwą warstwę.

Programista, który zbudował 34 scrapery produkcyjne, napisał o tym problemie (Dev|Journal, marzec 2026): przepaść między scrapingiem z tutoriali a tym, co działa na produkcji, jest definiowana przez systemy anti-bot, które analizują fingerprinty połączeń i ruchy myszy, a nie selektory DOM. Tutoriale uczą parsowania HTML. Produkcja uczy, jak przetrwać detekcję.

I jest coraz gorzej. Raport State of Web Scraping 2026 firmy Browserless wykazał, że standardowe przeglądarki headless są oznaczane częściej niż prawdziwe przeglądarki, ponieważ systemy anti-bot skatalogowały specyficzne różnice w fingerprintach między instancjami przeglądarek headless a standardowymi. Ta przepaść się nie zmniejsza.

Jeśli twój scraper ciągle się psuje i patrzysz tylko na rotację proxy, być może naprawiasz całkowicie złą rzecz.

Czynnik Cloudflare

Cloudflare zasługuje na specjalną uwagę, ponieważ znajduje się po obu stronach tej zmiany.

Ich produkt Bot Management uruchamia analizę behawioralną dla każdego requestu, oceniając odwiedzających w skali 1-99 na podstawie dziesiątek sygnałów. Turnstile (ich niewidoczny zamiennik dla CAPTCHA) dynamicznie dostosowuje trudność wyzwania w zależności od tego, jak bardzo ludzko wygląda odwiedzający (dokumentacja Cloudflare).

Jednocześnie Cloudflare uruchomiło własną infrastrukturę do crawlingu AI. Społeczność zauważyła tę ironię (Reddit r/cybersecurity).

Co to oznacza w praktyce: strony chronione przez Cloudflare są najtrudniejsze do scrapowania w 2026 roku, a około 20% wszystkich witryn internetowych znajduje się za ich siecią. Jeśli twoja strategia scrapingu nie uwzględnia detekcji behawioralnej, straciłeś jedną piątą dostępnego internetu.

Co faktycznie działa w 2026 roku

Scrapery, które odnoszą sukces, mają trzy wspólne cechy.

Po pierwsze, pasują do sygnatury aktualnej przeglądarki na poziomie sieciowym. Rzeczywisty kształt połączenia na poziomie bajtów musi pasować do tego, co wygenerowałaby aktualna sesja Chrome lub Firefox. Żadna ilość spoofingu headerów nie naprawi niedopasowanego fingerprintu połączenia.

Po drugie, uruchamiają prawdziwe (lub przekonująco prawdziwe) środowiska przeglądarek. Nie instancje headless z domyślnymi ustawieniami. Prawdziwe instancje przeglądarek ze spójnymi fingerprintami, które pasują do User-Agent, za którego się podają.

Po trzecie, w przypadku chronionych stron, dodają szum behawioralny przypominający ludzkie zachowanie. Losowe opóźnienia nie wystarczą. Czas między akcjami musi podążać za realistycznymi rozkładami, a ścieżki ruchu myszy potrzebują krzywych i zawahań, które wyglądają organicznie.

Więc architektura uległa zmianie. Nie chodzi o posiadanie większej liczby IP. Chodzi o to, aby każdy request był nie do odróżnienia od prawdziwej osoby przeglądającej strony w prawdziwej przeglądarce.

Wyścig zbrojeń w detekcji przyspiesza

Dostawcy rozwiązań anti-bot zaczęli udostępniać informacje o zagrożeniach w całej swojej bazie klientów w czasie rzeczywistym. Kiedy jedna strona oznaczy nowy wzorzec bota, każda inna strona w sieci uczy się o tym w ciągu kilku minut (SecurityBoulevard, marzec 2026). To fundamentalna zmiana w stosunku do starego modelu, w którym mechanizmy obronne każdej strony działały niezależnie.

Uważamy, że oznacza to, iż koszt samodzielnie budowanej infrastruktury do scrapingu będzie nadal rósł. Każdy nowy sygnał detekcji wymaga czasu inżynieryjnego, aby mu przeciwdziałać, a ten cykl przyspiesza. Zespoły, które zajmują się detekcją na poziomie infrastruktury (inteligentny routing proxy, fingerprinting przeglądarki, dopasowywanie na poziomie połączenia), będą osiągać lepsze wyniki niż te, które wciąż zasypują problem adresami IP.

Pytanie nie brzmi, czy potrzebujesz więcej proxy. Chodzi o to, czy twoje requesty wyglądają jak ludzkie, zanim w ogóle dotrą do docelowego serwera.