Le Web classe désormais les bots par finalité, et non par comportement
Tous les systèmes anti-bot conçus ces quinze dernières années posent la même question : ce trafic semble-t-il automatisé ? Ordre des headers, empreintes réseau, mouvements de souris, timing de session. Tout cela tente de déduire la nature du client à partir de la forme de la request.
Le 1er juillet 2026, Cloudflare a changé la question. Le trafic de bots est désormais réparti en trois catégories qui n'ont rien à voir avec l'apparence d'une request sur le réseau. Search couvre les « crawlers qui indexent votre contenu pour répondre à des questions plus tard ». Agent couvre « l'activité automatisée agissant en temps réel pour le compte d'une personne ». Training couvre les « crawlers qui récupèrent votre contenu pour entraîner ou affiner un modèle ».
Imaginez trois requests arrivant sur le même serveur. Même client, mêmes headers, même timing, identiques à l'octet près. Sous ce modèle, elles peuvent obtenir trois verdicts différents, déterminés entièrement par ce que vous prévoyez de faire de la page une fois reçue.
Ce n'est pas un meilleur détecteur. C'est une primitive différente.
L'échéance du 15 septembre est plus restreinte que la panique ambiante
La version de cette histoire qui circule sur les forums de développeurs affirme que Cloudflare bloque les agents IA sur un cinquième du web à compter du 15 septembre.
Le changelog indique quelque chose de bien plus limité. Les nouveaux paramètres par défaut s'appliquent aux « nouveaux domaines intégrés à Cloudflare ». Sur ces domaines, « les bots classés comme Training ou Agent sont bloqués sur les pages affichant des publicités, tandis que Search reste autorisé ». Tous les utilisateurs déjà présents sur Cloudflare choisissent leur propre configuration, et peuvent le faire à tout moment avant cette date.
En résumé : nouveaux domaines uniquement, pages monétisées par la publicité uniquement, et l'une des trois catégories passe toujours par défaut. C'est un réel changement, mais ce n'est pas un mur dressé sur tout Internet.
Mais cette portée restreinte est précisément ce qui est intéressant. Cloudflare n'a pas publié une politique, il a publié un paramètre par défaut, et c'est par les valeurs par défaut qu'une politique devient la norme sans que personne n'ait à voter. La métrique à surveiller n'est pas la date du 15 septembre. C'est le nombre de ces domaines qui ne modifieront jamais ce réglage par la suite.
Ce que cela signifie : si vous collectez des données, la question pertinente n'est plus « puis-je contourner la protection de ce site », mais « dans quelle catégorie ce site me classe-t-il ». Ces questions ont des réponses distinctes, et une seule d'entre elles peut être testée techniquement.
L'intention ne se mesure pas. Elle doit être déclarée.
Voici le problème mécanique posé par le tri du trafic selon l'intention : l'intention ne se trouve pas dans le paquet.
Une empreinte peut être mesurée. Les mouvements de la souris peuvent être mesurés. « Pourquoi récupérez-vous cette page ? » ne peut pas l'être. Le système a donc besoin que le client l'exprime explicitement, et il lui faut une raison de croire la réponse. C'est précisément le rôle de Web Bot Auth. L'agent signe ses requêtes avec une clé privée, publie un répertoire de clés, et l'edge vérifie la signature par rapport à celui-ci, en s'appuyant sur RFC 9421 HTTP Message Signatures. La documentation de Cloudflare définit le critère d'un bot vérifié comme une « auto-identification honnête ».
Regardez maintenant ce qui applique cela à grande échelle. La spécification est draft-meunier-webbotauth-httpsig-protocol-02, révisée pour la dernière fois le 18 août 2026. Statut prévu : Standards Track. Statut réel : un « Active Internet-Draft (individual) » qui n'est « pas approuvé par l'IETF » et n'a « aucun statut formel dans le processus de normalisation de l'IETF ». Elle compte deux auteurs. L'un travaille chez Cloudflare, l'autre chez Google.
Nous pensons que la conception est bonne, et cela mérite d'être souligné avant d'aborder les critiques. L'identité signée l'emporte sur la course aux armements des CAPTCHA pour quiconque a l'intention de bien se comporter. Un crawler qui s'identifie peut être autorisé, limité en débit ou facturé de manière délibérée plutôt qu'au jugé, et les propriétaires de sites disposent d'un contrôle qui n'élimine pas les vrais visiteurs par dommage collatéral. Comparez cela à une décennie passée à bloquer des plages d'IP en espérant que cela fonctionne.
Ce qu'elle ne peut pas faire, c'est arrêter qui que ce soit. Un système fondé sur l'intention déclarée ne classe que le trafic qui se déclare. Tout le reste bascule sur la stack de détection déjà en place, et cette stack ne cesse de s'affiner : le scoring comportemental à l'échelle de la session de Cloudflare a été déployé douze jours après les nouvelles catégories.
Les deux approches ne sont donc pas en concurrence. L'identité trie les acteurs honnêtes, la détection gère tous les autres, et c'est dans cette seconde catégorie que votre trafic atterrit par défaut si vous ne déclarez rien.
Aucune catégorie pour la collecte de données publiques
Voici la partie qui devrait préoccuper quiconque exploite un pipeline de collecte.
Prenez les travaux que nous avons publiés cette année. Un indice du prix du bois d'œuvre établi à partir d'annonces publiques. La détection des violations de prix minimum annoncé (MAP) sur six marketplaces, ce qui implique de récupérer la même page produit depuis six points d'observation distincts et de comparer les résultats. Le classement sur les app stores et l'analyse des sentiments des avis. Des vérifications d'emplacement publicitaire exécutées depuis le pays où la campagne a réellement été achetée.
Classez tout cela dans Search, Agent ou Training.
Search ne convient pas : la définition même de Cloudflare implique une attente de « trafic de référence ou autre compensation équitable en retour », et une vérification nocturne des prix n'envoie de trafic à personne. Agent ne convient pas non plus, car aucun humain n'attend ce fetch devant son écran. Et Training est tout simplement faux, puisque rien n'est absorbé dans un modèle.
Cette taxonomie a été conçue pour décrire le trafic d'IA apparu ces trois dernières années, mais on l'applique aujourd'hui à un secteur qui la précède d'une décennie. Veille tarifaire, données alternatives, suivi de SERP, protection de marque, vérification publicitaire, contrôle de conformité : rien de tout cela n'est nouveau, rien n'est agentique, et rien n'a de case dédiée à cocher.
Le trafic sans case attitrée est classé par celui qui a dessiné les cases. Généralement dans la plus proche.
Ce que cela implique pour les équipes de données
Quatre mesures à prendre tant que les règles sont encore souples.
Déterminez la catégorie que vous pourriez honnêtement revendiquer. Pas celle qui vous ouvre les portes. Celle que vous défendriez par écrit si un éditeur vous posait la question directement. Si la réponse honnête est « aucune », vous faites partie du groupe qui a le plus à perdre lorsque la taxonomie se durcira, et le plus à gagner à le faire savoir tant que le débat reste ouvert.
Consultez les paramètres de la cible, pas les gros titres. La politique de gestion des bots est désormais propre à chaque site, configurable par chemin, et change sans préavis. Considérer que « Cloudflare bloque les agents en septembre » s'applique aveuglément à votre pipeline vous poussera à reconstruire des éléments qui n'ont jamais été menacés.
Partez du principe que le test des pages avec publicité va se généraliser. Cloudflare a indexé son comportement par défaut sur les pages diffusant des annonces, un indicateur pertinent pour « cette page génère des revenus grâce à l'attention humaine ». Cette limite va évoluer, et Cloudflare n'est pas le seul à la tracer. AWS WAF a déployé la monétisation du trafic d'IA le 15 juin 2026, répondant par un code 402 et des conditions de paiement lisibles par machine. Akamai a choisi la voie du partenariat avec TollBit et Skyfire. Trois des plus grands fournisseurs d'edge vendent désormais la même surface de contrôle, que nous avons analysée sous l'angle tarifaire lors du lancement du pay-per-crawl.
Faites en sorte que votre collecte puisse fonctionner sur les deux voies. La voie identifiée (signer, déclarer, être autorisé ou être facturé) et la voie non identifiée (être évalué sur son comportement, comme toujours) vont coexister pendant des années. Concevoir vos systèmes comme si une seule d'entre elles existait constitue une erreur coûteuse, dans un sens comme dans l'autre.
Les cases vont être redessinées
Une prédiction que nous assumons pleinement : une quatrième catégorie apparaîtra d'ici un an.
La première version de toute taxonomie est rédigée par ceux qui sont sous pression, et les personnes classifiées ne sont pas dans la pièce lorsque cela se produit. Search, Agent et Training décrivent ce que les entreprises d'IA font subir aux éditeurs. Ils ne décrivent pas un cabinet d'études de marché, une équipe de conformité ou un détaillant qui vérifie le prix en rayon d'un concurrent, alors que ces trois acteurs récupèrent poliment des pages publiques depuis bien avant qu'"agent" ne veuille dire quoi que ce soit dans ce contexte.
La bataille pour savoir comment nommer cette quatrième case, et qui a le droit de la cocher, comptera davantage pour l'industrie de la data que n'importe quel benchmark anti-bot publié cette année. Celle-là vaut la peine de se déplacer.
Car la solution par défaut est assez simple. Si votre trafic ne peut pas se nommer lui-même, quelqu'un d'autre le nommera pour vous.