# Cloudflare Verified Bots: оценявани по бот, отнемани за цялата компания

> URL: https://foura.ai/bg/blog/cloudflare-verified-bots-trust-bands
> Updated: 2026-11-11
> Index: https://foura.ai/llms.txt

## Досието на един бот може да струва скъпо на цялата компания

Cloudflare обясни новото си оценяване на ботове с шофьорска книжка: тя [показва кой е човекът](https://blog.cloudflare.com/verified-bots-accountability/), а не дали ще шофира отговорно през следващата година. Добра аналогия. Липсва обаче един детайл. Отнетата книжка спира от движение един шофьор, а според правилата на Cloudflare лошото досие може да спре всеки бот, управляван от дадена компания.

На 16 октомври Cloudflare обяви, че вече оценява ботовете със статус Verified непрекъснато, като засега следи два сигнала: дали трафикът им остава съобразен с robots.txt на даден сайт във времето и дали намаляват темпото след HTTP 429. Резултатите образуват "trust band". Инженерите, които четат това, първо ще се насочат към retry логиката, а [подробният материал на Crawlbase за fetch цикъл с добра оценка](https://crawlbase.com/blog/the-web-has-started-grading-crawlers/) е добра отправна точка.

Ние смятаме, че retry логиката е по-малката част. Ако изграждате скрапери за клиенти, важният въпрос е чие име стои в списъка.

### Какво всъщност беше пуснато

По-малко, отколкото заглавията подсказват. Cloudflare твърди, че "вече използва тази система вътрешно", докато трупа история. Публичните оценки в Radar и прагът, който собствениците на сайтове могат да избират, са описани в бъдеще време, без посочена дата. Нищо от публикуваното от Cloudflare все още не позволява на даден сайт да отхвърли вашия crawler заради trust band.

Обхватът също е тесен. Само ботовете в списъка Verified са включени, а всичко останало изобщо не се оценява. Това е почти всичко: на Cloudflare Connect през октомври компанията заяви, че [по-малко от една на десет автоматизирани заявки](https://www.shashi.co/2026/10/cloudflare-warns-ai-agents-will-make.html) идва от бот, който се идентифицира.

Така че, ако вашият скрапер не е в този списък, това съобщение не ви засяга с оценка.

**Какво означава това:** регистърът все още не е достъпен за собствениците на сайтове, а по-голямата част от автоматизирания трафик не присъства в него. Хората, които трябва да обърнат внимание сега, са тези с вписан crawler или с план да включат такъв.

### Наказанието има по-широк обхват от самата оценка

Ето частта, която прегледаните от нас анализи пропускат. Оценката trust band описва един бот. Последствията обаче не спират задължително дотук. Документацията за [Verified bots на Cloudflare](https://developers.cloudflare.com/bots/concepts/bot/verified-bots/), обновена на 2 ноември, посочва, че компанията "може да отнеме статуса Verified за всички ботове и агенти, притежавани или управлявани от дадена организация" след повторни нарушения, като изрично посочва случая на компания, която "спазва правилата за един бот или агент, но ги нарушава с друг".

Погледнете на това като малка агенция. Една компания, няколко клиентски проекта, едно име в регистъра. Даден клиент иска каталог до петък и настоява да увеличите скоростта. Ако тази задача поддържа темпото си въпреки получените 429 грешки и продължава да го прави, цената няма да остане само за нея. Тя може да засегне цялата компания и всеки друг проект, работещ под нейно име.

Същата страница показва защо това внезапно засяга комерсиалната работа. BotBase, директорията на Cloudflare, вече посочва поведение "Data Collection", дефинирано като "price scraping, competitive intelligence gathering, and third-party analytics." То стои редом до Search и Training. Комерсиалното събиране на данни може да бъде декларирана, именувана дейност, и ние приемаме това за добра новина.

Но погледнете етикетите до него. Един бот е или Direct (един оператор, обикновено на собствена инфраструктура), или Intermediary ("an agentic service that a wide range of end users can operate"). Cloudflare нарича проблема с втората група преходно доверие: може да имате доверие на оператора, без да имате доверие на всеки, който го управлява, затова експериментира с препращане на данни за крайния потребител. Агенция за скрапване е посредник във всичко освен по документи.

### 429 невинаги е свързан със скоростта

Вторият сигнал звучи просто. Cloudflare нарича 429 "директива към посетителя да намали честотата на своите заявки" и наблюдава дали трафикът се забавя или спира след това.

Сайтовете обаче използват този статус за повече от просто натоварване. [Crawl Readiness тества Tranco топ 1000](https://www.crawlreadiness.com/research/ai-crawler-access-october-2026) на 12 октомври, като поиска начална страница от всеки сайт като браузър и след това като четири AI crawler-а, около десет заявки на сайт без повторни опити. От 78-те сайта, които отказаха достъп на crawler, позволен от собствения им robots.txt, 14 отговориха с 429 и нищо друго (едно преминаване, само User-Agent низове, така че го приемайте като ориентир).

Авторите ги оставиха настрана като възможни rate limit ограничения, което е предпазливият подход. Ние ги тълкуваме по друг начин. Сайт, който връща 200 на браузър и 429 на именуван crawler след едва няколко заявки, най-вероятно не съобщава за претоварване. Той заявява предпочитание чрез речника на претоварването.

Така че система за оценка, която третира всеки 429 като една инструкция, понякога ще измерва грешното нещо, а сайтът рядко ви казва в кой случай се намирате. Ограничение за едновременни заявки, лимит за минута и категоричен отказ пристигат като едни и същи три цифри.

Масовият клиент не помага. Много код за повторни опити изчаква `Retry-After` и след това продължава със същия темп, който е предизвикал отказа. Локалният тест на Crawlbase дава конкретни числа: при лимит от две заявки в секунда, цикъл, който запазва стария си темп, получава 13 отказа при 40 заявки, докато цикъл, който сваля тавана си, получава 3 и все пак извлича повече страници в секунда (1.11 срещу 0.94). Това е тестов сървър. Посоката обаче остава вярна.

**Какво означава това:** ако вашият бот е в списъка Verified, забавянето е отговорът, който оценката възнаграждава, и е по-евтино, отколкото изглежда. Но записвайте в лога какво сте получили, защото част от тези 429 статуси изобщо не бяха заради скоростта ви.

### Подписването и спазването започват да се разминават

Документацията на Google прави това напрежение видимо. Нейната страница [Web Bot Auth](https://developers.google.com/crawling/docs/crawlers-fetchers/web-bot-auth), последно обновена на 13 октомври, посочва, че част от заявките на Google-Agent са подписани като експеримент. Страницата за [user-triggered fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers), където Google-Agent е описан, гласи, че понеже потребител е инициирал извличането, тези fetcher програми "по правило игнорират правилата в robots.txt."

Така Google доказва кой е изпратил дадена заявка, като в същото време отказва да спазва файла, по който всички останали може би ще бъдат оценявани. Публикацията на Cloudflare не пояснява как ще се оценява извличане, инициирано от потребител. Ако изграждате агенти, точно тази граница трябва да следите, защото условието "човек поиска това" е напът да придобие огромна тежест.

## Какво означава това за хората, които разработват скрапери за клиенти

**Разпределете работата си според това чие име стои зад нея.** Продукт със собствен публичен crawler и една ясна цел е добър кандидат за Verified статус. Инфраструктура, изпълняваща чужди задачи под името на вашата компания, е много по-сложен казус, тъй като задачата на един клиент може да застраши репутацията на целия списък за всички останали.

**Включете правилата за обхождане в договора.** Ако клиент може да изиска по-висока скорост на заявките, договорът трябва да определя кой поема последствията. След като статус 429 се записва в историята, "просто вдигнете темпото" вече не е безобидно искане.

**Поддържайте собствен лог.** Статус, `Retry-After`, скоростта, която сте поддържали преди и след това, по хостове. Cloudflare обещава обясним диапазон, но не посочва как оператор може да го оспори, а без ваши собствени данни версията на оценяващия остава единствената валидна. Това е същият навик, който [проектът за насоки на EDPB](https://foura.ai/blog/edpb-web-scraping-guidelines-targeted) възнаграждава: да можете да докажете какво сте събрали, откъде и кога.

**Спрете да четете robots.txt като разрешително.** Публикацията на Cloudflare го заявява директно: "няма предположение, че всичко, което не е изрично описано, е разрешено." [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309.html) никога не е бил лиценз, а сега някой води отчет на негова база.

## Падащото меню, което никой не отваря

През август писахме, че [уеб пространството разделя ботовете по цел, а не по поведение](https://foura.ai/blog/search-agent-training-bot-rules), и че настройките по подразбиране превръщат политиките в норма. Поведението се появи два месеца по-късно. Ефектът от настройките по подразбиране вече е видим: анализът на Crawlbase от 30 октомври върху водещите 2000 сайта от Tranco откри 71 сайта с ред Content-Signal в robots.txt, като 39 от тях бяха с напълно идентичната стойност по подразбиране, управлявана от Cloudflare. Моделът [Pay-per-crawl](https://foura.ai/blog/pay-per-crawl-splits-the-web) се нуждаеше от същото, от което и този: купувач с конкретно име.

Нашето предположение: когато праговете на доверие станат факт, повечето сайтове ще приемат стойността по подразбиране, а отношението на даден сайт към вашия crawler най-често ще се свежда до падащо меню, което никой не е отварял. Самите ние сме и от двете страни на този статус код. Когато лимитът на даден план спре повикване, FourA API [посочва лимита](https://foura.ai/docs/api/rate-limits) и изпраща `Retry-After` само там, където изчакването помага, а Proxy Finder временно спира изходната точка с наложен rate limit само за този сайт, за времето, което неговият `Retry-After` посочва. Статус кодът 429 винаги е бил заявка. На път е да се превърне в запис.
