Wszystkie wpisy

Post-Quantum TLS i fingerprinty warstwy sieciowej popsuły podstawowe scrapery

Twój nagłówek User-Agent nie ma już znaczenia. Fingerprinty na poziomie połączenia klasyfikują boty z dokładnością 98,6% przed odczytaniem nagłówków. Oto, co zmieniło się w 2026 roku.

Sygnał na poziomie połączenia to podstawa detekcji botów

98,6%.

Taką dokładność klasyfikacji osiągnął model CatBoost używając tylko cech z poziomu połączenia. Żadnych nagłówków. Żadnych adresów IP. Żadnej analizy zachowania. Tylko kształt początkowego handshake'u. Praca na arXiv pojawiła się w lutym 2026 roku, a ten wynik nie jest anomalią. Cloudflare, AWS, VirusTotal i Akamai używają fingerprintingu na poziomie połączenia na produkcji. Jeśli w 2026 roku scrapujesz za pomocą zwykłego klienta HTTP, werdykt zapadł zanim twój request dotarł do warstwy aplikacji.

To część, którą pomija większość tutoriali o detekcji botów. Większość artykułów o omijaniu systemów anti-bot wciąż skupia się na rotacji User-Agent, mechanizmach cookie i CAPTCHA. To te łatwe warstwy. Ale warstwa połączenia to ta, w której nie zablefujesz nagłówkiem.

Co tak naprawdę widzi fingerprint

Fingerprint na poziomie połączenia to hash początkowej wiadomości handshake. Koduje on protokół (TCP lub QUIC), wersję, obecność SNI, uporządkowane pakiety szyfrów, rozszerzenia, algorytmy podpisów i ALPN. Dwaj klienci podający się za tę samą przeglądarkę wygenerują ten sam hash. Skrypt w Pythonie requests podający się za Chrome tworzy fingerprint, który nie występuje nigdzie na świecie poza scraperami.

Obecna generacja tych fingerprintów rozwiązała największą słabość poprzedniej generacji, czyli permutację rozszerzeń, którą główne przeglądarki wprowadziły w 2023 roku, aby zepsuć naiwny fingerprinting. Nowy projekt sortuje rozszerzenia i je zlicza, więc randomizacja tu nie pomoże. Nie ma łatwej drogi ucieczki.

Akamai ujawniło dokładność klasyfikacji botów na poziomie 92-98% dzięki analizie międzywarstwowej. Część międzywarstwowa ma znaczenie. Sam sygnał na poziomie połączenia jest dominujący, ale połączenie go z kolejnością ramek HTTP/2, kolejnością nagłówków i czasem requestu spycha wskaźnik false-positive znacznie poniżej poziomu tolerowanego przez większość scraperów.

Post-kwantowy zwrot akcji

To część, której nikt nie przewidział. 31 stycznia 2026 roku Akamai ustawiło post-kwantową wymianę kluczy jako domyślną dla wszystkich połączeń. Na początku 2026 roku 57,4% prawdziwych połączeń inicjowanych przez przeglądarki zawierało element klucza X25519MLKEM768. Udział Chrome ze wsparciem PQ wynosi około 93%. Firefox to 85%. Safari jest w trakcie wdrożenia.

Element klucza PQ jest duży. To 1124 bajty w porównaniu do 36 bajtów dla klasycznego X25519. Początkowa wiadomość handshake urosła z 300-500 bajtów do ponad 1400. Ten wzrost widać w fingerprincie na poziomie połączenia, w zrzutach pakietów i w pasywnej obserwacji na WAF.

Jeśli twój klient do scrapowania nie zawiera elementu klucza PQ, deklarujesz coś, czego nie zrobiłaby żadna aktualna przeglądarka Chrome lub Firefox. Dwie podatności CVE z pierwszego kwartału 2026 roku wskazują dokładnie na tę niezgodność. CVE-2026-26995 (rozszerzenie padding) niesie za sobą 25-50% prawdopodobieństwa detekcji na jeden request, a CVE-2026-27017 (niezgodność ECH i GREASE) oscyluje wokół 50%. W połączeniu w ramach jednej sesji ryzyko demaskacji zbliża się do niemal stu procent.

To 12-miesięczny problem, który zamienia się w 3-miesięczny problem. Większość narzędzi open-source do scrapowania nie dostarczyła jeszcze handshake'ów kompatybilnych z PQ. Te, które to zrobiły, są o wiele tygodni w tyle za aktualnymi wersjami przeglądarek.

Dlaczego proxy tego nie rozwiązują

Krąży pocieszająca teoria, że większe pule proxy rozwiązują problem nowoczesnej detekcji botów. Wcale tak nie jest. Incydent ze scalpingiem ze stycznia 2026 roku opisany przez Security Boulevard wykorzystał 16 milionów requestów z 3,9 miliona unikalnych adresów IP. Blokowanie po IP było bezużyteczne. Obroną, która zadziałała, był w dużej mierze fingerprinting na poziomie połączenia oraz analiza behawioralna.

Ekonomia w obrębie residential proxy również załamała się w tym kwartale. Help Net Security poinformowało w kwietniu 2026 roku, że zakłócenie sieci IPIDEA w styczniu z dnia na dzień zmniejszyło przepustowość usług residential w branży o około 40%. Spór patentowy między Bright Data a Oxylabs (Sąd Najwyższy odrzucił petycję Bright Data 23 lutego 2026 roku, a proces wyznaczono na 18 maja) to tylko wątek poboczny w obliczu tego spadku przepustowości. Kupujący, którzy gonią za adresami IP typu residential jako obroną przed fingerprintingiem, płacą więcej za odpowiedź, która dla WAF nie ma znaczenia.

Serwery proxy nadal mają znaczenie, ale z innych powodów niż myśli większość ludzi. Rozkład geograficzny i typ ISP kształtują decyzje routingowe oraz profile rate limit. Nie pomogą ci one jednak przetrwać handshake'u.

Co to oznacza dla zespołów danych

Jeśli w 2026 roku budujesz lub kupujesz infrastrukturę do scrapowania, zmieniają się trzy rzeczy.

Po pierwsze, stack na poziomie połączenia to teraz twardy wymóg. Każdy klient, który nie pasuje do handshake'u aktualnej przeglądarki (element klucza PQ, kolejność rozszerzeń, ALPN, algorytmy podpisów), generuje fingerprint klasyfikujący go jako bot z dużą dozą pewności. Opakowanie Pythona requests w lepsze nagłówki niczego nie rozwiązuje. Zdradza cię transport.

Po drugie, detekcja przeglądarek headless uległa pogorszeniu z punktu widzenia atakującego. Raport Browserless State of Web Scraping 2026 podaje, że luka między instancjami przeglądarek headless a klasycznymi stale się powiększa. Dostawcy anti-bot skatalogowali różnice w fingerprintach i w czasie zbliżonym do rzeczywistego dzielą się informacjami o zagrożeniach z witrynami klientów. Instancja headless, która działała w grudniu, może zostać sklasyfikowana jako bot w maju. Sygnały behawioralne nakładają się na transport, a obie te rzeczy to ruchome cele.

Po trzecie, kalkulacja decyzji o budowie lub zakupie uległa zmianie. Utrzymanie sygnatury połączenia pasującej do ruchomego celu (przeglądarki dostarczają aktualizacje PQ co kilka tygodni, kolejność rozszerzeń zmienia się między wersjami, preferencje pakietów szyfrów ulegają zmianie) to teraz praca na pełen etat. Zespoły, które w 2024 roku poświęcały 20% czasu inżyniera na utrzymanie scrapera, w 2026 roku poświęcają na to ponad połowę etatu. Już wcześniej pisaliśmy, dlaczego scrapery ciągle się psują. W 2026 roku odpowiedzią znacznie częściej jest "transport" niż "DOM".

Najtańszy scraper to taki, który nie zostaje sklasyfikowany

Ciekawa prognoza nie dotyczy tego, czy dostawcy anti-bot będą dalej podnosić poprzeczkę. Będą to robić. Ciekawa prognoza dotyczy tego, które narzędzia do scrapowania przetrwają na rynku, gdzie dokładność 98% stanowi absolutne minimum w detekcji.

Większość nie przetrwa. Ale te, którym się to uda, będą traktować handshake jako część requestu, a nie szczegół transportu. A kupujący zaczną zadawać dostawcom pytanie, którego 12 miesięcy temu nie było na liście ewaluacyjnej, czyli jaką sygnaturę połączenia dostarczacie i jak szybko ją aktualizujecie?

Handshake rozstrzyga wszystko, zanim request dostanie szansę na obronę swojej sprawy.