← Всички публикации

Post-Quantum TLS и Wire-Level Fingerprints счупиха базовия скрейпър

Вашият User-Agent хедър вече няма значение. Отпечатъците на ниво връзка класифицират ботове с 98.6% точност, преди хедърите да бъдат прочетени. Ето какво се промени през 2026 г.

Сигналът на ниво връзка е основата на бот детекцията

98.6%.

Това е точността на класификация, която модел на CatBoost постигна, използвайки единствено характеристики на ниво връзка. Без headers. Без IP адреси. Без анализ на поведението. Само формата на първоначалния handshake. Публикацията в arXiv излезе през февруари 2026 г., като този резултат не е изключение. Cloudflare, AWS, VirusTotal и Akamai използват фингърпринтинг на ниво връзка в продукционна среда. Ако правите scraping през 2026 г. с обикновен HTTP клиент, присъдата е факт още преди заявката ви да е достигнала до приложния слой.

Това е частта, която повечето ръководства за бот детекция пропускат. Повечето статии по темата все още се въртят около ротация на User-Agent, cookies и страници за верификация. Това са леките нива. Но слоят на връзката е мястото, което не може да се подправи с един header.

Какво всъщност вижда фингърпринтът

Фингърпринтът на ниво връзка представлява хеш на първоначалното handshake съобщение. Той кодира протокола (TCP или QUIC), версията, наличието на SNI, подредените cipher suites, разширенията, алгоритмите за подпис и ALPN. Два клиента, които твърдят, че са един и същ браузър, ще генерират еднакъв хеш. Python requests скрипт, представящ се за Chrome, произвежда фингърпринт, който не съществува никъде по света освен при scraper-ите.

Текущото поколение на тези фингърпринти адресира най-голямата слабост на предишното поколение: пермутацията на разширенията, която основните браузъри въведоха през 2023 г., за да компрометират базовия фингърпринтинг. Новият дизайн сортира разширенията и ги брои, така че рандомизацията не помага. Няма лесен изход.

Akamai съобщи за 92-98% точност при класификацията на ботове чрез анализ на множество слоеве едновременно. Ключова е крос-слойната част. Сигналът на ниво връзка сам по себе си е доминиращ, но комбинацията му с подредбата на HTTP/2 фреймовете, реда на headers и тайминга на заявките свежда фалшиво положителните резултати далеч под нивата, които повечето scraper-и могат да понесат.

Постквантовият обрат

Ето частта, която никой не очакваше. На 31 януари 2026 г. Akamai направи постквантовия обмен на ключове по подразбиране за всички връзки. До началото на 2026 г. 57.4% от реалните връзки, инициирани от браузъри, включват X25519MLKEM768 key share. Делът на PQ съвместимостта при Chrome е около 93%. Firefox е на 85%. Safari в момента го внедрява.

PQ key share е голям: 1124 байта спрямо 36 байта при класическия X25519. Първоначалното handshake съобщение нарасна от 300-500 байта до над 1400. Този ръст се вижда ясно във фингърпринта на ниво връзка, при прихващане на пакети и при пасивно наблюдение от страна на WAF.

Ако вашият scraping клиент не включва PQ key share, вие изпращате заявка с профил, какъвто нито един съвременен Chrome или Firefox не би генерирал. Две CVE уязвимости от първото тримесечие на 2026 г. отчитат точно това несъответствие: CVE-2026-26995 (padding extension) носи 25-50% вероятност за засичане на заявка, а CVE-2026-27017 (ECH и GREASE несъответствие) достига около 50%. В рамките на цялата сесия рискът от разкриване се доближава до пълна сигурност.

Това е проблем за 12 месеца, който се превръща в проблем за 3 месеца. Повечето софтуерни пакети с отворен код за scraping все още не поддържат PQ-съвместими handshakes. Тези, които ги поддържат, изостават със седмици от актуалните версии на браузърите.

Защо прокситата не решават това

Съществува успокояваща заблуда, че по-големите proxy pools решават съвременното засичане на ботове. Това не е така. Инцидентът със scalping от януари 2026 г., отразен от Security Boulevard, използва 16 милиона requests през 3.9 милиона уникални IP адреса. Блокирането по IP беше безполезно. Защитата, която проработи, беше предимно fingerprinting на ниво връзка и поведение.

Икономическият модел на residential proxies също се срина това тримесечие. Help Net Security съобщи през април 2026 г., че спирането на мрежата IPIDEA през януари намали капацитета на residential прокситата в индустрията с около 40% за една нощ. Патентната битка между Bright Data и Oxylabs (Върховният съд отхвърли петицията на Bright Data на 23 февруари 2026 г., като процесът е насрочен за 18 май) е второстепенна на фона на този спад в капацитета. Купувачите, които търсят residential IP адреси като защита срещу fingerprinting, плащат повече за решение, което не интересува WAF.

Прокситата все още имат значение, но не по причината, която повечето хора смятат. Географското разпределение и типът ISP влияят върху решенията за маршрутизиране и профилите за rate limit. Те обаче не помагат за преминаване на TLS handshake.

Какво означава това за екипите за данни

Три неща се променят, ако изграждате или купувате инфраструктура за scraping през 2026 г.

Първо, софтуерният стек на ниво връзка вече е абсолютно изискване. Всеки клиент, който не съответства на handshake на съвременен браузър (PQ key share, подредба на разширения, ALPN, алгоритми за подписване), генерира fingerprint, който се класифицира като бот с висока степен на увереност. Добавянето на по-добри headers към Python requests не решава нищо. Транспортният слой издава бота.

Второ, разпознаването на headless браузъри се влоши, вместо да се подобри. Докладът State of Web Scraping 2026 на Browserless показва, че разликата между headless и headed браузърни инстанции се увеличава. Доставчиците на системи за защита от ботове са каталогизирали разликите във fingerprints и споделят данни за заплахите между клиентските сайтове почти в реално време. Headless инстанция, която е работила през декември, може да бъде класифицирана като бот през май. Поведенческите сигнали се натрупват върху транспортния слой и двата фактора са постоянно променящи се цели.

Трето, сметката „build-vs-buy“ се промени. Поддръжката на connection signature, която да съответства на постоянно променяща се цел (браузърите пускат PQ актуализации на всеки няколко седмици, редът на разширенията се променя между минорни версии, предпочитанията за cipher suite се изместват), вече е постоянна работа на пълен работен ден. Екипи, които през 2024 г. отделяха 20% от времето на един инженер за поддръжка на scraper-и, през 2026 г. изразходват повече от половин щатна бройка. Вече сме писали за това защо scraper-ите продължават да се чупят. През 2026 г. отговорът по-често е „transport“, а не „DOM“.

Най-евтиният scraper е този, който не бива класифициран

Интересната прогноза не е дали доставчиците на bot-detection ще продължат да вдигат летвата. Те ще го направят. Интересната прогноза е кои scraping инструменти ще оцелеят на пазар, където 98% точност е базовият праг за откриване.

Повечето няма да успеят. Но тези, които оцелеят, ще третират handshake-а като част от request-а, а не като детайл от transport слоя. И купувачите ще започнат да задават на доставчиците въпрос, който не присъстваше в списъка за оценка преди дванадесет месеца: какъв connection signature предоставяте и колко бързо го актуализирате?

Handshake-ът решава всичко още преди request-ът да получи шанс да покаже съдържанието си.