Historia jednego bota może kosztować całą firmę
Cloudflare wyjaśniło swój nowy system oceniania botów za pomocą analogii do prawa jazdy: mówi ono, kim ktoś jest, a nie czy za rok będzie jeździł odpowiedzialnie. Dobra analogia. Brakuje w niej jednak jednego szczegółu. Zawieszone prawo jazdy eliminuje z drogi jednego kierowcę, a według zasad Cloudflare zła historia może wyeliminować każdego bota należącego do danej firmy.
16 października Cloudflare ogłosiło, że ocenia teraz boty Verified w sposób ciągły, na razie na podstawie dwóch sygnałów: czy ich ruch pozostaje z czasem zgodny z plikiem robots.txt witryny oraz czy zwalniają po otrzymaniu błędu HTTP 429. Wyniki tworzą tak zwane "pasmo zaufania" (trust band). Inżynierowie czytający tę informację w pierwszej kolejności sięgną po logikę ponawiania prób (retry logic), a obszerny artykuł Crawlbase o pętli pobierania uzyskującej dobre wyniki to dobry punkt wyjścia.
Uważamy, że logika ponawiania prób to mniejsza część problemu. Jeśli tworzysz scrapery dla innych, kluczowe pytanie brzmi: czyje nazwisko widnieje w rejestrze.
Co faktycznie wdrożono
Mniej, niż sugerują nagłówki. Cloudflare twierdzi, że "już korzysta z tego systemu wewnętrznie", zbierając historię. Publiczne oceny na Radarze oraz próg, który mogą wybierać właściciele witryn, są opisane w czasie przyszłym, bez podania konkretnej daty. Żadne z dotychczas opublikowanych przez Cloudflare rozwiązań nie pozwala jeszcze witrynie odrzucić Twojego crawlera na podstawie trust band.
Zakres jest również wąski. Obejmuje wyłącznie boty z listy Verified, a cała reszta w ogóle nie jest oceniana. Czyli niemal wszystko: na konferencji Cloudflare Connect w październiku firma podała, że mniej niż jedno na dziesięć zautomatyzowanych żądań pochodzi od bota, który się identyfikuje.
Jeśli więc Twój scraper nie znajduje się na tej liście, to ogłoszenie Cię nie dotyczy.
Co to oznacza: rejestr nie jest jeszcze otwarty dla właścicieli witryn, a większość zautomatyzowanego ruchu w nim nie figuruje. Osobami, które powinny się tym zainteresować już teraz, są właściciele zarejestrowanych crawlerów lub ci, którzy planują ich rejestrację.
Kara ma szerszy zasięg niż sama ocena
Oto część, którą pomijają czytane przez nas analizy. Pasmo zaufania dotyczy jednego bota. Konsekwencje nie muszą się na nim kończyć. Dokumentacja botów Verified firmy Cloudflare, zaktualizowana 2 listopada, stwierdza, że platforma "może cofnąć status Verified dla wszystkich botów i agentów należących do organizacji lub przez nią obsługiwanych" w przypadku powtarzających się naruszeń, i wprost wymienia przypadek firmy, która "przestrzega zasad w przypadku jednego bota lub agenta, naruszając je przy użyciu innego".
Spójrz na to z perspektywy małej agencji. Jedna firma, kilka projektów dla klientów, jedna nazwa w katalogu. Klient chce katalog do piątku i prosi o zwiększenie limitu zapytań (rate limit). Jeśli to zadanie utrzyma tempo pomimo wywoływanych błędów 429 i będzie to robić nadal, koszt nie musi ograniczyć się do tego jednego zlecenia. Może spaść na całą firmę i każdy inny projekt realizowany w jej ramach.
Ta sama strona pokazuje, dlaczego dotyczy to nagle projektów komercyjnych. BotBase, katalog od Cloudflare, zawiera teraz kategorię zachowania "Data Collection", zdefiniowaną jako "price scraping, competitive intelligence gathering, and third-party analytics". Znajduje się ona obok Search i Training. Komercyjne zbieranie danych może być jawną, zadeklarowaną działalnością, co uznajemy za dobrą wiadomość.
Warto jednak spojrzeć na etykiety obok. Bot jest klasyfikowany jako Direct (jeden operator, zazwyczaj na własnej infrastrukturze) albo Intermediary ("an agentic service that a wide range of end users can operate"). Cloudflare określa problem z tą drugą grupą jako zaufanie przechodnie (transitive trust): można ufać operatorowi, nie ufając wszystkim, którzy z niego korzystają, dlatego trwają testy nad przekazywaniem danych o użytkowniku końcowym. Agencja scrapująca jest pośrednikiem pod każdym względem z wyjątkiem formalności.
Błąd 429 nie zawsze oznacza problem z prędkością
Drugi sygnał brzmi prosto. Cloudflare określa kod 429 jako "dyrektywę dla odwiedzającego nakazującą zmniejszenie częstotliwości żądań" i sprawdza, czy ruch potem zwalnia lub się zatrzymuje.
Jednak serwisy używają tego statusu nie tylko przy przeciążeniu. Crawl Readiness przetestowało 1000 najpopularniejszych domen według Tranco 12 października, wysyłając do każdej strony głównej zapytanie jako przeglądarka, a następnie jako cztery różne crawlery AI, wykonując około dziesięciu żądań na stronę bez ponawiania prób. Z 78 witryn, które zablokowały crawlera dozwolonego w ich własnym robots.txt, 14 zwróciło kod 429 bez żadnych dodatkowych informacji (jeden przebieg, wyłącznie nagłówki User-Agent, więc należy traktować to jako wskazówkę).
Autorzy pominęli te przypadki jako potencjalne rate limity, co jest ostrożnym podejściem. My interpretujemy to inaczej. Strona, która zwraca przeglądarce 200, a zidentyfikowanemu crawlerowi 429 po zaledwie kilku żądaniach, najprawdopodobny nie sygnalizuje przeciążenia. Wyraża swoje preferencje, posługując się kodem błędu przeciążenia.
System oceny, który traktuje każdy kod 429 jako jedną i tę samą instrukcję, czasami zmierzy więc niewłaściwy parametr, a serwis rzadko informuje, z którym przypadkiem mamy do czynienia. Limit współbieżności, limit na minutę oraz kategoryczna odmowa przychodzą pod postacią tych samych trzech cyfr.
Typowy klient w niczym tu nie pomaga. Wiele mechanizmów ponawiania prób odczekuje czas z Retry-After, po czym kontynuuje pracę z tą samą częstotliwością, która wywołała blokadę. Lokalny test Crawlbase ilustruje to liczbami: przy limicie dwóch zapytań na sekundę pętla utrzymująca dotychczasowe tempo wywołała 13 odmów na 40 żądań, podczas gdy pętla obniżająca limit wywołała 3 odmowy i ostatecznie pobierała więcej stron na sekundę (1.11 w porównaniu do 0.94). To tylko testowy serwer, ale ogólny wniosek pozostaje słuszny.
Co to oznacza w praktyce: jeśli twój bot znajduje się na liście Verified, spowolnienie jest działaniem nagradzanym przez algorytm scoringowy i kosztuje mniej, niż się wydaje. Loguj jednak otrzymywane odpowiedzi, ponieważ niektóre z tych kodów 429 nigdy nie miały związku z twoją prędkością.
Podpisywanie a przestrzeganie reguł zaczynają się rozchodzić
Dokumentacja Google uwidacznia to napięcie. Jej strona Web Bot Auth, ostatnio zaktualizowana 13 października, podaje, że część żądań Google-Agent jest eksperymentalnie podpisywana. Strona poświęcona narzędziom pobierającym uruchamianym przez użytkownika, gdzie wymieniono Google-Agent, stwierdza, że skoro pobranie zlecił użytkownik, narzędzia te „zazwyczaj ignorują reguły robots.txt”.
Google udowadnia więc, kto wysłał żądanie, jednocześnie odrzucając plik, według którego oceniani mogą być wszyscy inni. Wpis Cloudflare nie wyjaśnia, jak oceniane będzie pobieranie zlecane przez użytkownika. Jeśli budujesz agentów, tej granicy należy pilnować najmocniej, ponieważ argument „człowiek o to poprosił” zyska wkrótce ogromne znaczenie.
Co to oznacza dla twórców scraperów pracujących dla klientów
Podziel swoje operacje wedle tego, czyje nazwisko pod nimi widnieje. Produkt z własnym, publicznym crawlerem i jednym jasnym celem to dobry kandydat do statusu Verified. Flota wykonująca zadania innych osób pod nazwą Twojej firmy to trudniejsza decyzja, ponieważ zadanie jednego klienta może zagrozić obecności na liście dla wszystkich pozostałych.
Wpisz zasady pobierania do umowy. Jeśli klient może zażądać wyższego limitu zapytań, umowa powinna określać, kto ponosi konsekwencje. Kiedy kod 429 staje się trwałym wpisem w historii, „po prostu przyspiesz” przestaje być żądaniem bez kosztów.
Prowadź własne logi. Kod statusu, Retry-After, tempo zapytań utrzymywane wcześniej i później, w podziale na hosty. Cloudflare obiecuje wyjaśnialny przedział ocen, ale nie podaje, jak operator ma go zakwestionować, a bez własnych danych raport oceniającego pozostaje jedynym źródłem prawdy. To ten sam nawyk, który premiują projekty wytycznych EROD: możliwość wykazania, co, skąd i kiedy zostało pobrane.
Przestań traktować robots.txt jak przepustkę. Wpis Cloudflare mówi o tym wprost: „nie oznacza to, że wszystko, czego nie wymieniono, jest dozwolone”. RFC 9309 nigdy nie było licencją, a teraz ktoś zaczął na jego podstawie wystawiać oceny.
Rozwijana lista, której nikt nie otwiera
W sierpniu pisaliśmy, że sieć zaczęła dzielić boty według ich przeznaczenia, a nie zachowania, oraz że to ustawienia domyślne sprawiają, iż zasada staje się normą. Zachowanie dołączyło dwa miesiące później. Efekt ustawień domyślnych można już zmierzyć: analiza 2000 czołowych domen rankingu Tranco, przeprowadzona przez Crawlbase 30 października, wykazała 71 witryn z wierszem Content-Signal w robots.txt, z czego 39 zawierało identyczną regułę zarządzaną domyślnie przez Cloudflare. Model pay-per-crawl wymagał dokładnie tego samego: kupującego z konkretnym nazwiskiem.
Nasz zakład: gdy progi zaufania wejdą do użytku, większość stron zaakceptuje dowolną domyślnie wybraną wartość, a ocena twojego crawlera przez witrynę będzie najczęściej rozwijaną listą, której nikt nie otworzył. Sami jesteśmy po obu stronach tego kodu statusu. Gdy limit planu blokuje wywołanie, FourA API wskazuje ten limit i wysyła Retry-After tylko wtedy, gdy czekanie ma sens, a Proxy Finder wstrzymuje zablokowany przez rate limit węzeł wyjściowy dla tej konkretnej witryny na czas określony przez jej Retry-After. Kod 429 zawsze był prośbą. Wkrótce stanie się wpisem w rejestrze.