← Alle Beiträge

Cloudflare Verified Bots: Bewertet pro Bot, entzogen pro Unternehmen

Cloudflare bewertet Verified Bots jetzt nach robots.txt und 429-Fehlern. Das Ranking gilt für einen Bot, aber die Strafe kann laut Dokumentation dein gesamtes Unternehmen treffen.

Die Historie eines Bots kann das gesamte Unternehmen kosten

Cloudflare hat sein neues Bot-Bewertungssystem mit einem Führerschein verglichen: Er zeigt, wer jemand ist, aber nicht, ob er nächstes Jahr verantwortungsvoll fährt. Gute Analogie. Es fehlt jedoch ein Detail: Ein entzogener Führerschein nimmt einen einzelnen Fahrer von der Straße, nach den Regeln von Cloudflare kann ein schlechter Eintrag jedoch jeden Bot sperren, den ein Unternehmen betreibt.

Am 16. Oktober gab Cloudflare bekannt, dass verifizierte Bots nun kontinuierlich anhand von zwei Signalen bewertet werden: Ob ihr Traffic dauerhaft mit der robots.txt einer Website konform ist und ob sie nach einem HTTP 429 drosseln. Das Ergebnis ist ein "Trust Band". Engineers werden zuerst an ihre Retry-Logik denken, und der ausführliche Artikel von Crawlbase über einen Fetch-Loop mit gutem Score ist ein guter Ausgangspunkt.

Wir glauben, dass die Retry-Logik der kleinere Teil ist. Wenn du Scraper für andere baust, ist die entscheidende Frage, auf welchen Namen der Eintrag läuft.

Was tatsächlich veröffentlicht wurde

Weniger, als die Schlagzeilen vermuten lassen. Cloudflare gibt an, dieses System intern bereits zu nutzen, während Historie aufgebaut wird. Öffentliche Scores auf Radar und ein Schwellenwert, den Website-Betreiber wählen können, sind beide für die Zukunft angekündigt, ohne festes Datum. Bisher erlaubt nichts von dem, was Cloudflare veröffentlicht hat, einer Website, deinen Crawler aufgrund eines Trust Bands abzuweisen.

Der Scope ist ebenfalls eng gefasst. Nur Bots auf der Verified-Liste werden bewertet, alles andere überhaupt nicht. Das betrifft fast alles: Auf der Cloudflare Connect im Oktober erklärte das Unternehmen, dass weniger als jede zehnte automatisierte Anfrage von einem Bot stammt, der sich zu erkennen gibt.

Wenn dein Scraper also nicht auf dieser Liste steht, bewertet dich diese Ankündigung nicht.

Bedeutung: Das Register ist für Website-Betreiber noch nicht einsehbar, und der meiste automatisierte Traffic taucht darin gar nicht auf. Betroffen sind aktuell nur diejenigen, die einen gelisteten Crawler betreiben oder planen, einen eintragen zu lassen.

Die Strafe trifft einen größeren Kreis als der Score

Hier ist der Punkt, den die Berichte übergehen. Das Trust Band bewertet einen einzelnen Bot. Die Konsequenzen müssen dort nicht enden. Cloudflares Dokumentation zu verifizierten Bots, aktualisiert am 2. November, besagt, dass der Status als verifizierter Bot für alle Bots und Agenten einer Organisation entzogen werden kann, wenn wiederholt Verstöße auftreten. Ausdrücklich genannt wird der Fall eines Unternehmens, das sich mit einem Bot an die Richtlinie hält, während es mit einem anderen dagegen verstößt.

Betrachte das aus der Sicht einer kleinen Agentur. Ein Unternehmen, mehrere Kundenprojekte, ein einzelner Name im Verzeichnis. Ein Kunde möchte bis Freitag einen Katalog und bittet dich, die Rate zu erhöhen. Wenn dieser Job trotz 429-Fehlern sein Tempo beibehält, bleibt der Schaden nicht auf diesen einen Job beschränkt. Er kann das gesamte Unternehmen treffen und jedes andere Projekt, das darunter läuft.

Dieselbe Seite zeigt, warum dies plötzlich für kommerzielle Projekte relevant wird. BotBase, das Verzeichnis von Cloudflare, listet nun das Verhalten "Data Collection", definiert als "Price Scraping, Competitive Intelligence Gathering und Third-Party Analytics". Es steht direkt neben Search und Training. Kommerzielle Datenerfassung kann nun eine deklarierte, benannte Aktivität sein, und das werten wir als gute Nachricht.

Sieh dir aber die Labels daneben an. Ein Bot ist entweder Direct (ein Betreiber, meist auf eigener Infrastruktur) oder Intermediary ("ein agentischer Dienst, den viele verschiedene Endnutzer bedienen können"). Cloudflare nennt das Problem der zweiten Gruppe transitives Vertrauen: Du vertraust vielleicht dem Betreiber, aber nicht jedem, der ihn nutzt. Deshalb experimentiert Cloudflare damit, Details über den Endnutzer weiterzuleiten. Eine Scraping-Agentur ist in jeder Hinsicht ein Intermediär, abgesehen vom Papierkram.

Ein 429 geht nicht immer um Geschwindigkeit

Das zweite Signal klingt simpel. Cloudflare bezeichnet einen 429 als "eine Anweisung an den Besucher, seine Request-Rate zu senken" und beobachtet, ob der Traffic danach langsamer wird oder pausiert.

Websites nutzen diesen Status aber für mehr als nur Laststeuerung. Crawl Readiness hat am 12. Oktober die Top 1.000 von Tranco getestet: Jede Startseite wurde einmal als Browser und danach als vier verschiedene KI-Crawler angefragt, etwa zehn Requests pro Site ohne Retries. Von den 78 Sites, die einen Crawler blockierten, den ihre eigene robots.txt erlaubte, antworteten 14 mit einem 429 und sonst nichts (ein Durchlauf, nur User-Agent-Strings, betrachte es also als Richtwert).

Die Autoren stuften diese Fälle vorsichtshalber als mögliche Rate Limits ein. Wir interpretieren das anders. Eine Site, die einem Browser einen 200 und einem namentlich bekannten Crawler nach wenigen Requests einen 429 liefert, meldet wahrscheinlich keine Überlastung. Sie formuliert eine Ablehnung im Vokabular von Überlastung.

Ein Bewertungssystem, das jeden 429 als dieselbe Anweisung interpretiert, misst daher manchmal das Falsche. Die Site verrät dir selten, welcher Fall vorliegt. Ein Concurrency-Limit, ein Limit pro Minute und ein klares Nein kommen alle als dieselben drei Ziffern an.

Typischer Client-Code hilft nicht weiter. Viele Retry-Routinen warten Retry-After ab und machen dann mit der Rate weiter, die zur Blockade geführt hat. Der lokale Test von Crawlbase belegt das mit Zahlen: Gegen ein Limit von zwei Requests pro Sekunde erzeugte eine Schleife mit unveränderter Rate 13 Ablehnungen bei 40 Requests. Eine Schleife, die ihr Limit senkte, verzeichnete nur 3 Ablehnungen und rief trotzdem mehr Seiten pro Sekunde ab (1,11 gegenüber 0,94). Es ist ein Testserver, aber die Tendenz stimmt.

Was das bedeutet: Steht dein Bot auf der Verified-Liste, belohnt der Score ein gedrosseltes Tempo, und das kostet weniger Durchsatz als gedacht. Protokolliere aber genau, was du zurückbekommst, denn manche dieser 429er hatten nie etwas mit deiner Geschwindigkeit zu tun.

Signieren und Befolgen driften auseinander

Googles Dokumentation macht das Spannungsfeld deutlich. Die Seite Web Bot Auth, zuletzt aktualisiert am 13. Oktober, besagt, dass eine Untermenge der Requests von Google-Agent experimentell signiert wird. Die Seite über benutzerinitiierte Fetcher, auf der Google-Agent gelistet ist, erklärt, dass solche Fetcher "robots.txt-Regeln im Allgemeinen ignorieren", weil ein Nutzer den Abruf ausgelöst hat.

Google beweist also, wer einen Request gesendet hat, ignoriert aber gleichzeitig die Datei, an der alle anderen gemessen werden könnten. Cloudflares Beitrag erklärt nicht, wie benutzerinitiierte Abrufe bewertet werden. Wenn du Agents baust, solltest du genau diese Grenze im Auge behalten, denn die Begründung "ein Mensch hat das angefordert" wird bald stark ins Gewicht fallen.

Was das für Entwickler bedeutet, die Scraper für Kunden bauen

Sortiere deine Arbeit danach, wessen Name darauf steht. Ein Produkt mit einem eigenen öffentlichen Crawler und einem klaren Zweck ist ein guter Kandidat für den Status "Verified". Eine Flotte, die Aufträge anderer unter dem Namen deines Unternehmens ausführt, ist riskanter, da der Auftrag eines einzelnen Kunden den Eintrag für alle gefährden kann.

Verankere das Crawl-Verhalten im Vertrag. Wenn ein Kunde eine höhere Rate verlangen kann, sollte der Vertrag regeln, wer die Konsequenzen trägt. Sobald ein 429 dauerhaft vermerkt wird, ist "einfach schneller crawlen" keine kostenlose Bitte mehr.

Führe deine eigenen Logs. Status, Retry-After, die Rate vor und nach dem Request, pro Host. Cloudflare verspricht nachvollziehbare Einstufungen, hat aber bisher nicht erklärt, wie Betreiber Einspruch einlegen können. Ohne eigene Zahlen zählt allein die Bewertung des Prüfers. Es ist dieselbe Praxis, die der Richtlinienentwurf des EDSA empfiehlt: belegen zu können, was du wann und wo gesammelt hast.

Betrachte die robots.txt nicht mehr als Freibrief. Cloudflares Beitrag formuliert es direkt: "es gibt keinerlei Annahme, dass alles nicht Erwähnte erlaubt ist." RFC 9309 war nie eine Lizenz, und jetzt wird Verstößen aktiv nachgegangen.

Das Dropdown, das niemand öffnet

Im August schrieben wir, dass das Web Bots nach Zweck und nicht nach Verhalten sortiert, und dass Standardeinstellungen Richtlinien zur Norm machen. Das Verhalten folgte zwei Monate später. Die Auswirkungen der Standardwerte sind bereits messbar: Eine Crawlbase-Analyse der Tranco-Top-2.000 vom 30. Oktober fand 71 Websites mit einer Content-Signal-Zeile in der robots.txt. 39 davon übernahmen exakt den von Cloudflare verwalteten Standardwert. Pay-per-Crawl brauchte genau dasselbe wie dieses Modell: einen Käufer mit Namen.

Unsere Wette: Wenn Trust-Schwellenwerte eingeführt werden, übernehmen die meisten Websites den vorausgewählten Wert. Die Einschätzung einer Website über deinen Crawler wird meist ein Dropdown sein, das niemand geöffnet hat. Wir stehen selbst an beiden Enden dieses Statuscodes. Wenn ein Plan-Limit einen Aufruf stoppt, benennt die FourA API das Limit und sendet Retry-After nur, wenn Warten hilft. Zudem pausiert Proxy Finder einen durch ein Rate Limit blockierten Exit für genau diese Website für die Dauer, die Retry-After nennt. Ein 429 war schon immer ein Request. Er wird bald zu einem Datensatz.