Das Web sortiert Bots nach Zweck, nicht nach Verhalten
Jedes Anti-Bot-System der letzten fünfzehn Jahre stellt eine Frage: Sieht dieser Traffic automatisiert aus? Header-Reihenfolge, Fingerprints auf Protokollebene, Mausbewegungen, Session-Timing. All das versucht, aus der Form des Requests Rückschlüsse auf den Client zu ziehen.
Am 1. Juli 2026 hat Cloudflare die Frage geändert. Bot-Traffic wird nun in drei Kategorien unterteilt, die nichts damit zu tun haben, wie ein Request auf der Leitung aussieht. Search umfasst "Crawler, die deine Inhalte indexieren, um später Fragen dazu zu beantworten." Agent umfasst "automatisierte Aktivitäten, die in Echtzeit im Auftrag einer Person handeln." Training umfasst "Crawler, die deine Inhalte nutzen, um ein Modell zu trainieren oder per Fine-Tuning anzupassen."
Stell dir drei Requests vor, die auf demselben Server eingehen. Derselbe Client, dieselben Header, dasselbe Timing, bis auf das Byte identisch. Unter diesem Modell können sie drei unterschiedliche Ergebnisse erhalten, die rein davon abhängen, was du mit der Seite nach dem Empfang vorhast.
Das ist kein besserer Detektor. Es ist ein anderes Primitiv.
Die Frist am 15. September ist enger gefasst als die Panik
In Entwicklerforen kursiert die Version, dass Cloudflare am 15. September KI-Agents auf einem Fünftel des Webs blockiert.
Das Changelog beschreibt etwas deutlich Kleineres. Die neuen Standardwerte gelten für "neue Domains, die bei Cloudflare eingerichtet werden." Auf diesen Domains werden "Bots, die als Training oder Agent klassifiziert sind, auf Seiten mit Werbung blockiert, während Search erlaubt bleibt." Alle, die bereits Cloudflare nutzen, wählen ihre eigene Einstellung selbst und können dies jederzeit vor dem Datum tun.
Also: nur neue Domains, nur werbefinanzierte Seiten, und eine der drei Kategorien kommt standardmäßig weiterhin durch. Das ist eine echte Änderung, aber keine Mauer quer durch das Internet.
Der enge Rahmen ist jedoch der interessante Teil. Cloudflare hat keine Richtlinie veröffentlicht, sondern einen Standardwert, und Standardwerte machen Richtlinien zur Norm, ohne dass jemand darüber abstimmt. Die relevante Kennzahl ist nicht der 15. September. Es ist der Anteil dieser Domains, der die Einstellung danach nie wieder anfasst.
Was das bedeutet: Wenn du Daten sammelst, lautet die relevante Frage nicht mehr "Komme ich durch den Schutz dieser Seite", sondern "In welcher Kategorie sieht mich diese Seite". Das sind unterschiedliche Antworten, und nur eine davon lässt sich direkt testen.
Zweck lässt sich nicht messen. Er muss deklariert werden.
Hier ist das technische Problem bei der Sortierung von Traffic nach Absicht: Die Absicht steckt nicht im Paket.
Ein Fingerprint lässt sich messen. Mausbewegungen lassen sich messen. "Warum rufst du diese Seite ab" lässt sich nicht messen, also muss der Client es explizit angeben, und das System braucht einen Grund, der Antwort zu glauben. Genau das ist die Aufgabe von Web Bot Auth. Der Agent signiert seine Requests mit einem Private Key, veröffentlicht ein Key-Verzeichnis, und die Edge verifiziert die Signatur dagegen, basierend auf RFC 9421 HTTP Message Signatures. Die Cloudflare-Dokumentation definiert die Messlatte für einen verifizierten Bot als "ehrliche Selbstidentifikation".
Schau dir nun an, wer das in großem Maßstab durchsetzt. Die Spezifikation ist draft-meunier-webbotauth-httpsig-protocol-02, zuletzt überarbeitet am 18. August 2026. Angestrebter Status: Standards Track. Tatsächlicher Status: ein "Active Internet-Draft (individual)", der "vom IETF nicht gebilligt" wird und "keinen formalen Status im IETF-Standardisierungsprozess" hat. Er hat zwei Autoren. Einer arbeitet bei Cloudflare, einer bei Google.
Wir halten das Design für richtig, und das sollte man vor der Kritik erwähnen. Eine signierte Identität schlägt das CAPTCHA-Wettrüsten für jeden, der sich korrekt verhalten will. Ein Crawler, der sich identifiziert, kann gezielt zugelassen, gedrosselt oder abgerechnet werden, statt geraten zu werden. Website-Betreiber erhalten eine Steuerung, die echte Besucher nicht als Kollateralschaden trifft. Vergleiche das mit einem Jahrzehnt des Blockierens von IP-Bereichen auf gut Glück.
Was es nicht kann: jemanden aufhalten. Ein System, das auf deklarierter Absicht basiert, sortiert nur den Traffic, der sich selbst deklariert. Alles andere fällt auf den bestehenden Detection-Stack zurück, und dieser Stack wird stetig schärfer: Cloudflares Session-bezogenes Verhaltens-Scoring erschien zwölf Tage nach den neuen Kategorien.
Die beiden konkurrieren also nicht. Identität sortiert die ehrlichen Akteure, Detection kümmert sich um den Rest, und bei Letzterem landet dein Traffic standardmäßig, wenn du gar nichts deklarierst.
Es gibt keine Kategorie für das Sammeln öffentlicher Daten
Nun zu dem Teil, der jeden stören sollte, der eine Collection-Pipeline betreibt.
Nimm die Arbeit, die wir dieses Jahr veröffentlicht haben. Ein Holzpreisindex, erstellt aus öffentlichen Inseraten. Erkennung von MAP-Verstößen über sechs Marktplätze hinweg, was bedeutet, dieselbe Produktseite von sechs verschiedenen Standorten abzurufen und die Ergebnisse zu vergleichen. App-Store-Rankings und Review-Sentiment. Prüfungen von Anzeigenplatzierungen aus dem Land, in dem die Kampagne tatsächlich gebucht wurde.
Ordne das mal in Search, Agent oder Training ein.
Search passt nicht: Cloudflares eigene Definition setzt eine Erwartung an „Referral-Traffic oder eine andere angemessene Gegenleistung“ voraus, und ein naechtlicher Preisabgleich schickt niemandem Referrals. Agent passt ebenfalls nicht, da kein Mensch vor einem Bildschirm sitzt und auf diesen Fetch wartet. Und Training ist schlichtweg falsch, da nichts in ein Modell einfliesst.
Diese Taxonomie wurde erstellt, um den KI-Traffic der letzten drei Jahre zu beschreiben. Nun wird sie auf ein Geschaeftsmodell angewendet, das ein Jahrzehnt aelter ist. Price Intelligence, Alternative Data, SERP-Tracking, Brand Protection, Ad Verification, Compliance-Monitoring: Nichts davon ist neu, nichts davon ist agentisch, und fuer nichts davon gibt es ein passendes Haekchen.
Traffic ohne passende Kategorie wird von demjenigen eingeordnet, der die Kategorien festgelegt hat. Meistens in die naechstbeste.
Was das fuer Datenteams bedeutet
Vier Dinge, die du tun solltest, solange die Regeln noch nicht feststehen.
Entscheide, welche Kategorie du ehrlich beanspruchen wuerdest. Nicht diejenige, die dir Zutritt verschafft. Sondern die, die du schriftlich verteidigen wuerdest, wenn ein Publisher dich direkt fragt. Wenn die ehrliche Antwort „keine davon“ lautet, gehoerst du zu der Gruppe, die am meisten verliert, wenn sich die Taxonomie verfestigt. Du hast aber auch am meisten zu gewinnen, wenn du jetzt Stellung beziehst, solange noch Raum fuer Diskussionen ist.
Lies die Einstellungen des Ziels, nicht die Schlagzeilen. Die Bot-Policy einer Site ist jetzt eine Eigenschaft dieser spezifischen Site, pro Pfad konfigurierbar, und sie aendert sich ohne Vorankuendigung. Wer „Cloudflare blockiert Agents im September“ als feste Tatsache fuer die eigene Pipeline behandelt, baut unnoetig Dinge um, die nie gefaehrdet waren.
Gehe davon aus, dass sich der Test fuer werbefinanzierte Seiten durchsetzt. Cloudflare hat seinen Standard an Seiten gekoppelt, die Werbung anzeigen. Das ist ein brauchbarer Indikator fuer „Diese Seite verdient Geld mit menschlicher Aufmerksamkeit“. Diese Grenze wird sich verschieben, und Cloudflare ist nicht der einzige Anbieter, der sie zieht. AWS WAF hat am 15. Juni 2026 AI traffic monetization veroeffentlicht und antwortet mit einem 402 sowie maschinenlesbaren Zahlungsbedingungen. Akamai hat den Partnerschaftsweg mit TollBit und Skyfire gewaehlt. Drei der groessten Edge-Provider bieten nun dieselbe Steuerungsebene an, die wir uns beim Start von Pay-per-Crawl aus der Pricing-Perspektive angesehen haben.
Sorge dafuer, dass deine Datenerfassung auf beiden Wegen funktioniert. Der identifizierte Weg (signieren, deklarieren, zugelassen oder abgerechnet werden) und der nicht identifizierte Weg (nach Verhalten beurteilt werden, wie bisher) werden noch jahrelang nebeneinander existieren. So zu bauen, als gaebe es nur einen davon, ist in beiden Faellen der teure Fehler.
Die Kategorien werden neu definiert
Eine Prognose, an der wir uns gerne messen lassen: Innerhalb eines Jahres wird eine vierte Kategorie auftauchen.
Die erste Version jeder Taxonomie schreibt derjenige, der unter Druck steht. Diejenigen, die klassifiziert werden, sitzen dabei nicht am Tisch. Search, Agent und Training beschreiben, was KI-Unternehmen mit Publishern tun. Sie beschreiben kein Marktforschungsunternehmen, kein Compliance-Team und keinen Händler, der die Preise von Mitbewerbern prüft. Diese drei rufen öffentliche Seiten schon höflich ab, seitdem "Agent" in diesem Kontext noch gar nichts bedeutete.
Der Kampf darum, wie dieses vierte Kästchen heißt und wer es ankreuzen darf, wird für die Datenbranche wichtiger sein als jeder Anti-Bot-Benchmark dieses Jahres. Dafür lohnt es sich, anzutreten.
Denn der Fallback ist simpel. Wenn dein Traffic sich nicht selbst benennen kann, übernimmt das jemand anderes für dich.