← Все статьи

Cloudflare Verified Bots: оценка для бота, отзыв для компании

Cloudflare теперь оценивает Verified bots по robots.txt и ответам 429. Оценка присваивается конкретному боту, но по правилам санкции могут затронуть всю компанию.

Репутация одного бота может стоить компании всего

Cloudflare объяснила свою новую оценку ботов на примере водительских прав: они говорят, кто перед вами, но не гарантируют, что человек будет водить аккуратно в следующем году. Хорошая аналогия. Правда, в ней не хватает одной детали. Лишение прав убирает с дороги одного водителя, а по правилам Cloudflare плохая репутация может остановить каждого бота компании.

16 октября Cloudflare заявила, что теперь оценивает Verified ботов непрерывно, пока по двум сигналам: соответствует ли их трафик robots.txt сайта с течением времени и замедляются ли они после HTTP 429. Результаты формируют "trust band". Инженеры после этих слов сразу пойдут переписывать логику повторных попыток, и подробная статья Crawlbase о цикле сбора данных с высокими баллами будет хорошей отправной точкой.

Мы считаем, что логика повторных попыток это лишь меньшая часть проблемы. Если вы создаете скраперы для других, главный вопрос заключается в том, чье имя указано в реестре.

Что вышло на самом деле

Меньше, чем кажется по заголовкам. Cloudflare заявляет, что "уже использует эту систему внутри", пока накапливается история. Публичные оценки на Radar и порог, который смогут выбирать владельцы сайтов, описаны в будущем времени без конкретных дат. Ничто из опубликованного Cloudflare пока не позволяет сайту блокировать ваш краулер на основе trust band.

Охват тоже узкий. Оцениваются только боты из списка Verified, все остальные не получают оценок вовсе. А это почти весь трафик: на Cloudflare Connect в октябре компания заявила, что менее одного из десяти автоматических запросов исходит от бота, который открыто сообщает о себе.

Так что если вашего скрапера нет в этом списке, этот анонс вас не оценивает.

Что это значит: реестр пока закрыт для владельцев сайтов, и большая часть автоматического трафика туда не входит. Беспокоиться сейчас стоит тем, у кого краулер уже в списке, или тем, кто планирует его туда добавить.

Радиус наказания шире, чем у оценки

Вот деталь, которую упускают прочитанные нами обзоры. Trust band описывает одного бота. Но последствия могут пойти дальше. Документация по Verified ботам Cloudflare, обновленная 2 ноября, говорит, что компания "может отозвать статус Verified для всех ботов и агентов, принадлежащих организации или управляемых ею", после повторных нарушений. Там прямо указан случай компании, которая "соблюдает правила для одного бота или агента, нарушая их другим".

Представьте это на примере небольшого агентства. Одна компания, несколько клиентских проектов, одно имя в каталоге. Клиенту нужен каталог к пятнице, и он просит вас поднять скорость. Если эта задача продолжает слать запросы с той же скоростью, несмотря на получаемые 429 ошибки, и делает это регулярно, последствия не ограничатся одной задачей. Они могут ударить по всей компании и по каждому проекту под ее именем.

Та же страница показывает, почему это внезапно стало актуально для коммерческих задач. В BotBase, каталоге Cloudflare, теперь есть категория поведения "Data Collection", определяемая как "price scraping, competitive intelligence gathering, and third-party analytics". Она соседствует с Search и Training. Коммерческий сбор данных теперь может быть официально заявленной деятельностью, и мы считаем это хорошей новостью.

Но обратите внимание на метки рядом. Бот классифицируется либо как Direct (один оператор, обычно на собственной инфраструктуре), либо как Intermediary ("an agentic service that a wide range of end users can operate"). Проблему со второй группой Cloudflare называет транзитивным доверием: вы можете доверять оператору, но не доверять тем, кто им управляет, поэтому сервис тестирует передачу сведений о конечном пользователе. Агентство по скрапингу является посредником во всем, кроме юридических документов.

Ошибка 429 не всегда связана со скоростью

Второй сигнал кажется простым. Cloudflare называет 429 "директивой для посетителя снизить частоту запросов" и отслеживает, замедляется ли трафик или берет паузу после этого.

Но сайты используют этот статус не только при перегрузке. Crawl Readiness протестировал топ 1000 Tranco 12 октября, запрашивая каждую главную страницу сначала как браузер, а затем от лица четырех ИИ краулеров, примерно по десять запросов на сайт без повторов. Из 78 сайтов, заблокировавших краулера вопреки собственному robots.txt, 14 ответили кодом 429 и больше ничем (один проход, проверялись только строки user-agent, так что это лишь ориентир).

Авторы сочли это возможным rate limit, что вполне разумно для осторожной оценки. Мы трактуем это иначе. Сайт, который отдает браузеру 200, а известному краулеру 429 всего после нескольких запросов, вряд ли сообщает о перегрузке. Он выражает отказ языком перегрузки.

Поэтому алгоритм оценки, считающий каждый 429 одной и той же инструкцией, иногда измеряет не то, а сайт редко сообщает причину. Ограничение конкурентных соединений, лимит запросов в минуту и категорический отказ выглядят одинаково, в виде тех же трех цифр.

Стандартный клиент здесь не помогает. Большинство механизмов повтора выжидают паузу Retry-After и продолжают слать запросы с прежней скоростью, вызвавшей отказ. Локальный тест Crawlbase подтверждает это цифрами: при лимите в два запроса в секунду цикл, сохранивший прежнюю скорость, получил 13 отказов на 40 запросов, а цикл, снизивший планку, получил всего 3 отказа и загрузил больше страниц в секунду (1.11 против 0.94). Это тестовый сервер, но тенденция очевидна.

Что это значит: если ваш бот находится в списке Verified, снижение скорости идет на пользу рейтингу и обходится дешевле, чем кажется. Но обязательно логируйте ответы, потому что часть этих ответов 429 вообще не зависит от вашей скорости.

Идентификация и соблюдение правил разделяются

Документация Google наглядно показывает это противоречие. На странице Web Bot Auth, обновленной 13 октября, указано, что часть запросов Google-Agent подписывается в качестве эксперимента. При этом на странице о user-triggered fetchers, где числится Google-Agent, сказано: поскольку загрузку запросил пользователь, эти сборщики "как правило, игнорируют правила robots.txt".

То есть Google подтверждает авторство запроса, но отказывается соблюдать файл, по которому могут оценивать всех остальных. В публикации Cloudflare не уточняется, как именно будут оцениваться запросы, инициированные пользователем. Если вы создаете агентов, следите именно за этой гранью, поскольку формулировка "это запросил человек" скоро будет иметь огромный вес.

Что это значит для разработчиков скрейперов под заказ

Разделяйте задачи по тому, чье имя за ними стоит. Продукт с собственным публичным краулером и одной понятной целью отлично подходит для статуса Verified. Инфраструктура, выполняющая клиентские задачи под именем вашей компании, несет больше рисков, так как задача одного клиента может поставить под удар репутацию всего пула.

Фиксируйте правила краулинга в договоре. Если клиент может требовать более высокую частоту запросов, в контракте должно быть четко прописано, кто отвечает за последствия. Когда статус 429 превращается в запись в истории, требование "собирать быстрее" перестает быть бесплатным.

Ведите собственные логи. Фиксируйте статус, Retry-After, частоту запросов до и после, отдельно по каждому хосту. Cloudflare обещает прозрачные диапазоны оценок, но пока не объясняет, как их оспаривать. Без собственных метрик версия проверяющей стороны останется единственной. К такой же дисциплине подталкивают проекты руководств EDPB: нужно уметь показать, что именно вы собрали, откуда и когда.

Перестаньте воспринимать robots.txt как прямое разрешение. В посте Cloudflare это сказано прямо: "нет никаких оснований считать, что разрешено все, что прямо не запрещено". Стандарт RFC 9309 никогда не был лицензией, а теперь за его соблюдением еще и следят с начислением штрафных баллов.

Выпадающий список, который никто не открывает

В августе мы писали, что веб начал классифицировать ботов по целям, а не по поведению, и что именно настройки по умолчанию превращают правила в стандарт. Оценка поведения подоспела через два месяца. И эффект дефолтных настроек уже заметен: анализ топ-2000 сайтов Tranco, проведенный Crawlbase 30 октября, выявил 71 сайт с директивой Content-Signal в robots.txt, причем 39 из них содержат абсолютно одинаковую стандартную конфигурацию от Cloudflare. Модели Pay-per-crawl требовалось ровно то же самое, что и этой схеме: покупатель с конкретным именем.

Наш прогноз: когда пороги доверия выйдут в релиз, большинство сайтов оставит значение по умолчанию, а отношение сайта к вашему краулеру чаще всего сведется к выпадающему списку, который никто не открывал. Мы сами находимся по обе стороны этого статус-кода. Когда лимит тарифа блокирует вызов, FourA API указывает этот лимит и отправляет Retry-After только тогда, когда ожидание имеет смысл, а Proxy Finder временно исключает ограниченный по rate limit узел выхода для этого сайта на время ожидания, указанное в Retry-After. Статус 429 всегда был просьбой. Теперь он становится записью.