Все статьи

Постквантовый TLS и отпечатки на уровне соединения сломали базовый скрейпинг

Ваш заголовок User-Agent больше не имеет значения. Отпечатки на уровне соединения классифицируют ботов с точностью 98.6% еще до чтения заголовков. Вот что изменилось в 2026 году.

Сигнал на уровне соединения, это базовый уровень обнаружения ботов

98.6%.

Именно такой точности классификации достигла модель CatBoost, используя только признаки уровня соединения. Никаких заголовков. Никаких IP. Никакого поведения. Только форма первоначального рукопожатия. Статья на arXiv появилась в феврале 2026 года, и этот результат не является выбросом. Cloudflare, AWS, VirusTotal и Akamai используют снятие отпечатков на уровне соединения в продакшене. Если в 2026 году вы занимаетесь скрейпингом с помощью обычного HTTP-клиента, приговор выносится до того, как ваш запрос достигнет прикладного уровня.

Это та часть, которую пропускает большинство руководств по обнаружению ботов. Большинство статей об обходе антибот-систем по-прежнему вращаются вокруг ротации User-Agent, cookie и CAPTCHA. Это простые уровни. Но уровень соединения, это тот уровень, который вы не сможете обмануть заголовком.

Что на самом деле видит отпечаток

Отпечаток уровня соединения представляет собой хеш первоначального сообщения рукопожатия. Он кодирует протокол (TCP или QUIC), версию, наличие SNI, упорядоченные наборы шифров, расширения, алгоритмы подписи и ALPN. Два клиента, выдающие себя за один и тот же браузер, дадут одинаковый хеш. Скрипт Python requests, выдающий себя за Chrome, создает отпечаток, который не существует нигде в мире, кроме как в скрейперах.

Текущее поколение этих отпечатков устранило самую большую слабость предыдущего поколения: перестановку расширений, которую основные браузеры внедрили в 2023 году, чтобы сломать наивное снятие отпечатков. Новый дизайн сортирует расширения и подсчитывает их, поэтому рандомизация не помогает. Простого пути отхода нет.

Akamai заявила о точности классификации ботов 92-98% с помощью межуровневого анализа. Межуровневая часть имеет значение. Сигнал уровня соединения сам по себе является доминирующим, но его объединение с порядком фреймов HTTP/2, порядком заголовков и временем запроса снижает уровень ложноположительных срабатываний намного ниже того, что может выдержать большинство скрейперов.

Постквантовый поворот

Это та часть, которую никто не предвидел. 31 января 2026 года Akamai сделала постквантовый обмен ключами по умолчанию для всех соединений. К началу 2026 года 57.4% реальных соединений, инициированных браузерами, включают долю ключа X25519MLKEM768. Доля Chrome с поддержкой PQ составляет около 93%. Firefox находится на уровне 85%. Safari находится в процессе развертывания.

Доля ключа PQ велика. 1,124 байта против 36 байтов для классического X25519. Первоначальное сообщение рукопожатия выросло с 300-500 байтов до более чем 1,400. Этот рост проявляется в отпечатке уровня соединения, в перехвате пакетов и в пассивном наблюдении на WAF.

Если ваш клиент для скрейпинга не включает долю ключа PQ, вы делаете заявление, которое не сделал бы ни один современный Chrome или Firefox. Две CVE первого квартала 2026 года отмечают именно это несоответствие: CVE-2026-26995 (расширение заполнения) несет вероятность обнаружения 25-50% на запрос, а CVE-2026-27017 (несоответствие ECH и GREASE) приземляется около 50%. В совокупности за сеанс риск возрастает почти до полной уверенности.

Это 12-месячная проблема, превращающаяся в 3-месячную. Большинство стеков скрейпинга с открытым исходным кодом еще не поставляют PQ-совместимые рукопожатия. Те, что поставляют, отстают на недели от актуальных сборок браузеров.

Почему прокси это не исправляют

Ходит утешительная история о том, что более крупные пулы proxy решают проблему современного обнаружения ботов. Это не так. В инциденте со скальпингом в январе 2026 года, освещенном Security Boulevard, было использовано 16 миллионов запросов через 3.9 миллиона уникальных IP. Блокировка по IP была бесполезной. Защитой, которая сработала, было, в основном, снятие отпечатков на уровне соединения и поведенческое снятие отпечатков.

Экономика резидентных proxy также рухнула в этом квартале. Help Net Security сообщил в апреле 2026 года, что сбой в работе сети IPIDEA в январе сократил мощности отрасли резидентных proxy примерно на 40% за ночь. Патентный спор Bright Data и Oxylabs (Верховный суд отклонил петицию Bright Data 23 февраля 2026 года, назначив судебное разбирательство на 18 мая) является интермедией на фоне этого удара по мощностям. Покупатели, гоняющиеся за резидентными IP-адресами в качестве защиты от снятия отпечатков, платят больше за ответ, который WAF не волнует.

Прокси по-прежнему имеют значение, просто не по той причине, о которой думает большинство людей. Географическое распределение и тип ISP формируют решения о маршрутизации и профили ограничения скорости (rate limit). Они не помогут вам пережить рукопожатие.

Что это значит для команд данных

Три вещи изменятся, если вы строите или покупаете инфраструктуру скрейпинга в 2026 году.

Во-первых, стек уровня соединения теперь является обязательным требованием. Любой клиент, который не соответствует рукопожатию текущего браузера (доля ключа PQ, порядок расширений, ALPN, алгоритмы подписи), создает отпечаток, который классифицируется как бот с высокой степенью уверенности. Обертывание Python requests в лучшие заголовки ничего не решает. Транспорт, это подсказка.

Во-вторых, обнаружение headless-браузеров стало хуже, а не лучше. Отчет Browserless State of Web Scraping 2026 сообщает, что разрыв между экземплярами headless- и headed-браузеров увеличивается. Поставщики антибот-систем каталогизировали различия в отпечатках и обмениваются информацией об угрозах на сайтах клиентов почти в реальном времени. Headless-экземпляр, который работал в декабре, может классифицироваться как бот в мае. Поведенческие сигналы накладываются поверх транспорта, и оба они являются движущимися целями.

В-третьих, математика сборки против покупки изменилась. Поддержание сигнатуры соединения, которая соответствует движущейся цели (браузеры выпускают обновления PQ каждые несколько недель, порядок расширений меняется между минорными версиями, предпочтения наборов шифров меняются), теперь является работой на полный рабочий день. Команды, которые в 2024 году тратили 20% времени инженера на обслуживание скрейпера, в 2026 году тратят больше половины штатной единицы. Мы уже писали о том, почему скрейперы продолжают ломаться. В 2026 году ответом чаще является "транспорт", чем "DOM".

Самый дешевый скрейпер, это тот, который не классифицируется

Интересный прогноз заключается не в том, продолжат ли поставщики антибот-систем повышать планку. Они будут. Интересный прогноз заключается в том, какие инструменты скрейпинга выживут на рынке, где 98% точности является базовым уровнем обнаружения.

Большинство не выживут. Но те, кто выживет, будут относиться к рукопожатию как к части запроса, а не как к детали транспорта. А покупатели начнут задавать поставщикам вопрос, которого не было в контрольном списке оценки двенадцать месяцев назад: какую сигнатуру соединения вы поставляете и как быстро вы ее обновляете?

Рукопожатие решает все до того, как запрос получит шанс доказать свою правоту.