Headless больше не скрыть
Семь дней назад cside опубликовал технический разбор обнаружения headless браузеров в 2026 году. Суть: теперь детекторы ловят headless сессии на уровне пикселей. Тот же номинальный браузер, та же операционная система, другой вывод WebGL. Другие тайминги AudioContext. Другое перечисление шрифтов. Мелкие сигналы, но достаточно стабильные для оценки.
Этот пост вышел через неделю после обзора WebDecoy Browser Fingerprinting 2026, который пришел к тому же выводу другим путем. Отчет Browserless State of Web Scraping 2026 (опубликованный в начале года) сказал прямо: headless браузеры блокируются чаще, чем пользовательские, и разрыв продолжает расти.
Если вы используете Puppeteer или Playwright в продакшене, это меняет вашу кривую затрат.
Что на самом деле изменилось
Старая история об обнаружении headless заключалась в navigator.webdriver === true, пустых массивах плагинов и HeadlessChrome в User-Agent. Любой stealth плагин из 2020 года исправляет это. Поэтому детекторы спустились ниже по стеку.
Программный рендеринг является главной причиной. Браузер пользователя использует GPU. Среды headless, работающие в контейнерах, обычно переключаются на программный растеризатор. Строка рендерера WebGL читается иначе. Вывод пикселей отличается при одинаковом номинальном вводе. Отпечатки Canvas расходятся при идентичных вводах. Ничто из этого не вызывает проверку логического типа, это формирует вероятностную оценку.
AudioContext является вторым фактором. Когда страница создает аудиоконтекст и запрашивает частоту дискретизации или количество каналов, headless среды отвечают с едва заметными отличиями от обычных десктопных сессий. Тайминги одних и тех же операций предсказуемо смещаются.
Перечисление шрифтов является третьим фактором. На машинах пользователей установлены шрифты, накопленные со временем. Образы контейнеров имеют ограниченный (и небольшой) набор. Когда скрипт фингерпринтинга измеряет ширину сотни обычных строк с использованием пятидесяти шрифтов, паттерн отсутствующих шрифтов становится диагностическим.
Любой из них является слабым сигналом. Вместе, в сочетании со старыми сигналами, которые детекторы все еще проверяют, они складываются в оценку, которая отделяет автоматизированные сессии от пользовательских с достаточной уверенностью для принятия мер.
Почему детекторы инвестируют сейчас
Потому что цифры наконец оправдали бюджет на R&D.
Отчет F5 2026 Advanced Persistent Bot Report оценил трафик скрейперов в 10.2% от мирового веб-трафика после применения существующих мер защиты от ботов. Это остаток: та доля, которую защитники не могут свести к нулю с помощью имеющихся у них инструментов. Каждый дополнительный процент этой доли стоит того, чтобы его закрыть.
Cloudflare выпустила Precursor 13 июля. Precursor собирает непрерывные поведенческие сигналы на стороне клиента (движение указателя, тайминги клавиатуры, фокус, видимость) и передает их в текущую оценку бота, которая сохраняется при обновлениях страницы. Мы писали об этом две недели назад: поведение сессии теперь оценивается так же, как отпечатки оценивались год назад.
Precursor и волна специфичных для headless сигналов не являются независимыми шагами. Это одна и та же игра. Хватит оценивать один запрос изолированно. Оценивайте всю сессию по каждой оси, которую можете измерить.
Два налога, которые вы на самом деле платите
Запуск headless внутри компании всегда был дешевым на бумаге. Фреймворк бесплатен, браузер бесплатен, а контейнеры дешевы. Но 2026 год добавил две статьи расходов, которые не отображаются в счете.
Налог на обслуживание замечают все. Раньше Puppeteer-extra-stealth давал месяцы спокойствия между патчами. На любом сайте с реальной защитой в 2026 году он дает недели. Между обновлениями headless, браузера, защиты и stealth-плагинов один инженер может тратить целую неделю в месяц на поддержание стека в рабочем состоянии. Никто не вносит это в roadmap. Это просто съедает roadmap.
Налог на обнаружение люди не замечают, потому что он скрывается в графике успешных запросов. Частота блокировок на защищенных целях ползет вверх. Количество повторных попыток растет. Затраты на каждый успешный fetch растут вместе с ними. Вы списываете это на "сайт стал сложнее" и двигаетесь дальше. Часть этого реальна. Часть этого является растущим разрывом между тем, как выглядит ваш стек и как выглядит нормальный браузер. Обе тенденции идут в одном направлении.
Ни один из налогов не убивает проект. Вместе они меняют математику выбора между разработкой и покупкой.
Что это значит для команд обработки данных
Не для каждого скрапинга нужен браузер. Эта часть не изменилась. Но стоит повторить это, потому что множество headless-развертываний начались со страницы, которая могла бы быть простым вызовом HTTP.
Если данные цели поступают через XHR или endpoint JSON, пропустите браузер. Запросы HTTP дешевле, быстрее и в первую очередь не несут никаких сигналов отпечатков. Статья okhlopkov за июль расставляет приоритеты в правильном порядке: сначала API и XHR, затем встроенный JSON, браузер только тогда, когда страница действительно этого требует, извлечение с помощью LLM только после проверки всего остального.
Для сайтов, которым действительно нужен браузер, вопрос заключается в уровне защиты. Легкая защита (rate limit, фильтры User-Agent, проверки referer): хорошо настроенный headless-стек все еще работает, а налог низок. Тяжелая защита (Cloudflare, PerimeterX, DataDome с полной оценкой сессии): налог реален, и он накапливается. Именно здесь расчеты меняются.
Существует также средняя зона, о которой никто не говорит. Сайты, которые не блокируют напрямую, а незаметно урезают данные. Другая цена, скудная выдача, отсутствующие изображения, пропавшие отзывы. Ваш парсер сообщает об успехе. Данные тихо оказываются неверными. Этот сценарий сбоя становится все более частым по мере того, как оценки фингерпринтинга становятся входными данными для решений о контенте, а не для решений о блокировке.
Если вы не можете сказать, находитесь ли вы в этой зоне, скорее всего, вы в ней.
К чему это приведет
Headless был хаком, который работал десятилетие, потому что никто особо не присматривался. Последние два года это изменили. Поставщики систем обнаружения наконец решили, что оставшуюся долю парсеров стоит отсечь, и они выбрали тот уровень, где автоматизацию легче всего изолировать.
В следующем раунде речь пойдет не о более умных стелс-плагинах. Речь пойдет о том, какие сайты решат, что точность обнаружения стоит процента ложноположительных срабатываний на легитимных пользователях с нестандартными настройками: инструментами доступности, старыми GPU, корпоративными прокси, приватными DNS. Каждый купленный пункт точности обнаружения headless стоит какую-то долю процента реальных пользователей. Именно в этом компромиссе на самом деле разворачивается гонка вооружений, а не в вашем конфиге Puppeteer.
Если вы уже платите налог на headless, по крайней мере измеряйте его. Иначе это просто статья расходов, на которую вы подписались, сами того не зная.