← Tous les articles

Bots vérifiés de Cloudflare : évalués par bot, révoqués par entreprise

Cloudflare évalue désormais les bots vérifiés selon robots.txt et les erreurs 429. La note vise un bot spécifique, mais sa documentation permet d'étendre la sanction à toute votre entreprise.

L'historique d'un seul bot peut pénaliser toute l'entreprise

Cloudflare a illustré sa nouvelle évaluation des bots avec l'analogie du permis de conduire: il indique qui est une personne, pas si elle conduira prudemment l'année prochaine. L'analogie est bonne. Il y manque cependant un détail. Un permis suspendu retire un conducteur de la route, alors que selon les règles de Cloudflare, un mauvais historique peut bloquer l'ensemble des bots exploités par une entreprise.

Le 16 octobre, Cloudflare a annoncé évaluer désormais les bots Verified en continu, sur deux signaux à ce jour: la conformité de leur trafic avec le robots.txt d'un site au fil du temps, et leur capacité à ralentir après une erreur HTTP 429. Les résultats forment un niveau de confiance (« trust band »). Les ingénieurs qui découvrent cela vont d'abord vérifier leur logique de retry, et l'article détaillé de Crawlbase sur une boucle de fetch bien notée constitue un bon point de départ.

Nous pensons que la logique de retry n'est que la partie la plus simple. Si vous développez des scrapers pour des tiers, la question essentielle est de savoir quel nom figure sur l'enregistrement.

Ce qui a réellement été déployé

Moins de choses que ne le laissent penser les gros titres. Cloudflare indique « déjà utiliser ce système en interne » le temps d'accumuler de l'historique. Les scores publics sur Radar ainsi que le seuil configurable par les propriétaires de sites sont tous deux annoncés au futur, sans date précise. Rien de ce que Cloudflare a publié ne permet encore à un site de bloquer votre crawler sur la base d'un trust band.

Le périmètre est également restreint. Seuls les bots figurant sur la liste Verified sont concernés, et tout le reste n'est pas évalué du tout. C'est-à-dire l'immense majorité: lors de Cloudflare Connect en octobre, l'entreprise a indiqué que moins d'une requête automatisée sur dix provient d'un bot qui s'identifie.

Si votre scraper ne figure pas sur cette liste, cette annonce ne vous note donc pas.

Ce que cela implique: le registre n'est pas encore accessible aux propriétaires de sites, et la majorité du trafic automatisé n'y figure pas. Les personnes concernées aujourd'hui sont celles qui possèdent un crawler répertorié, ou qui prévoient d'en enregistrer un.

La sanction a un rayon d'action plus large que le score

Voici le point omis par les analyses que nous avons lues. Le trust band qualifie un seul bot. Les conséquences ne s'arrêtent pas nécessairement là. La documentation des bots Verified de Cloudflare, mise à jour le 2 novembre, précise qu'elle « peut révoquer le statut Verified pour tous les bots et agents détenus ou exploités par une organisation » après des infractions répétées, et mentionne explicitement le cas d'une entreprise qui « respecterait la politique pour un bot ou agent tout en l'enfreignant avec un autre ».

Analysez cela du point de vue d'une petite agence. Une seule structure, plusieurs projets clients, un seul nom dans l'annuaire. Un client exige un catalogue d'ici vendredi et vous demande d'augmenter le débit. Si ce job maintient sa cadence malgré les erreurs 429 qu'il génère, et continue ainsi, le coût ne se limitera pas forcément à ce seul job. Il peut frapper l'entreprise, ainsi que tous les autres projets exécutés sous son nom.

La même page montre pourquoi cela s'applique soudainement aux activités commerciales. BotBase, l'annuaire de Cloudflare, liste désormais un comportement de type « Data Collection », défini comme « price scraping, competitive intelligence gathering, and third-party analytics ». Il figure aux côtés de Search et Training. La collecte commerciale peut devenir une activité déclarée et identifiée, et nous considérons cela comme une bonne nouvelle.

Mais observez les labels situés juste à côté. Un bot est soit Direct (un seul opérateur, généralement sur sa propre infrastructure), soit Intermediary (« an agentic service that a wide range of end users can operate »). Cloudflare qualifie le problème de ce second groupe de confiance transitive: vous pouvez faire confiance à l'opérateur sans faire confiance à tous ceux qui l'utilisent, donc Cloudflare teste la transmission de détails sur l'utilisateur final. Une agence de scraping est un intermédiaire à tous égards, sauf sur le plan contractuel.

Un 429 n'est pas toujours une question de vitesse

Le second signal semble simple. Cloudflare définit un 429 comme « a directive for the visitor to reduce its request rate » et surveille si le trafic ralentit ou s'arrête ensuite.

Mais les sites utilisent ce statut pour bien plus que la seule charge. Crawl Readiness a testé le top 1 000 Tranco le 12 octobre, en demandant à chaque page d'accueil une page en tant que navigateur puis en tant que quatre crawlers IA, soit environ dix requests par site sans aucun nouvel essai. Sur les 78 sites qui ont refusé un crawler pourtant autorisé par leur propre robots.txt, 14 ont répondu avec un 429 et rien d'autre (une seule passe, chaînes User-Agent uniquement, considérez donc cela comme un indice).

Les auteurs ont mis ces cas de côté en tant que rate limits potentiels, ce qui est une approche prudente. Nous les interprétons différemment. Un site qui renvoie un 200 à un navigateur et un 429 à un crawler désigné, après une poignée de requests, ne signale probablement pas un encombrement. Il exprime une préférence avec le vocabulaire de la congestion.

Ainsi, un système d'évaluation qui traite chaque 429 comme une instruction unique mesurera parfois la mauvaise chose, et le site vous indique rarement dans quel cas vous vous trouvez. Un plafond de concurrence, une limite par minute et un refus catégorique arrivent tous sous la forme de ces mêmes trois chiffres.

Le client classique n'aide pas. De nombreux codes de retry attendent la fin de Retry-After puis reprennent au rate limit qui a provoqué le refus. Le test local de Crawlbase donne des chiffres précis: face à une limite de deux requests par seconde, une boucle qui a maintenu son rythme initial a essuyé 13 refus sur 40 requests, tandis qu'une boucle ayant abaissé son plafond en a essuyé 3 tout en récupérant davantage de pages par seconde (1,11 contre 0,94). C'est un serveur de test. La tendance reste néanmoins valable.

Ce que cela signifie: si votre bot est sur la liste Verified, ralentir est la réponse que le score récompense, et cela coûte moins cher qu'il n'y paraît. Mais consignez ce que vous avez reçu dans vos logs, car certains de ces 429 n'ont jamais concerné votre vitesse.

Signer et obéir se dissocient

La documentation de Google rend cette tension visible. Sa page Web Bot Auth, mise à jour pour la dernière fois le 13 octobre, indique qu'un sous-ensemble des requêtes de Google-Agent est signé, à titre expérimental. Sa page sur les collecteurs déclenchés par l'utilisateur, où figure Google-Agent, précise que puisqu'un utilisateur a demandé la récupération, ces agents « ignorent généralement les règles du fichier robots.txt ».

Google prouve donc qui a émis une requête tout en ignorant le fichier sur lequel tous les autres risquent d'être évalués. L'article de Cloudflare ne précise pas comment une récupération ordonnée par l'utilisateur sera jugée. Si vous concevez des agents, cette limite est celle qu'il faut surveiller, car l'argument « une personne a demandé cela » s'apprête à peser très lourd.

Ce que cela implique pour les créateurs de scrapers pour le compte de clients

Triez vos projets selon le nom qui y est associé. Un produit doté de son propre crawler public et d'un objectif clair est un bon candidat pour le statut Verified. Une flotte exécutant les tâches de tiers sous le nom de votre entreprise est un choix plus complexe, car la tâche d'un seul client peut mettre en péril l'enregistrement de l'ensemble.

Intégrez les règles de crawl au contrat. Si un client peut exiger un débit plus élevé, le contrat doit stipuler qui assume les conséquences. Dès lors qu'un code 429 devient un historique enregistré, « aller plus vite » n'est plus une simple demande sans frais.

Conservez vos propres journaux. Le statut, Retry-After, le débit maintenu avant et après, par hôte. Cloudflare promet un intervalle explicable, mais n'a pas précisé comment un opérateur peut le contester, et sans vos propres métriques, la version de l'évaluateur sera la seule référence. C'est la même habitude que récompensent les lignes directrices du projet de l'EDPB : pouvoir prouver ce que vous avez collecté, depuis quelle source et à quel moment.

Cessez de considérer le robots.txt comme une autorisation d'accès. L'article de Cloudflare le dit explicitement : « rien n'indique que ce qui n'est pas mentionné soit autorisé ». Le RFC 9309 n'a jamais été une licence, et désormais, quelqu'un tient les comptes à son sujet.

Le menu déroulant que personne n'ouvre

En août, nous écrivions que le web classait les bots par finalité, et non par comportement, et que les configurations par défaut permettent à une politique de s'imposer comme la norme. Le comportement est apparu deux mois plus tard. Et l'impact de ce choix par défaut est déjà mesurable : l'analyse menée par Crawlbase le 30 octobre sur le top 2 000 de Tranco a révélé 71 sites intégrant une ligne Content-Signal dans leur robots.txt, dont 39 utilisaient la valeur par défaut gérée de Cloudflare à l'identique. Le modèle Pay-per-crawl nécessitait la même chose : un acheteur clairement identifié.

Notre hypothèse : lorsque les seuils de confiance seront déployés, la plupart des sites adopteront la valeur présélectionnée par défaut, et l'opinion d'un site sur votre crawler se résumera souvent à un menu déroulant que personne n'a ouvert. Nous nous trouvons nous-mêmes des deux côtés de ce code d'état. Lorsqu'une limite de forfait interrompt un appel, l'API FourA names the limit et envoie Retry-After uniquement lorsque patienter est utile, et Proxy Finder met en pause une sortie limitée par le rate limit pour ce site précis, pendant la durée d'attente spécifiée par son Retry-After. Un 429 a toujours été une requête. Il est sur le point de devenir un enregistrement.