Cloudflare Verified Bots: ocena dla bota, cofnięcie dla firmy
Cloudflare ocenia teraz boty Verified na podstawie robots.txt i błędów 429. Ranga dotyczy jednego bota, ale według dokumentacji kara może objąć całą firmę.
Cloudflare ocenia teraz boty Verified na podstawie robots.txt i błędów 429. Ranga dotyczy jednego bota, ale według dokumentacji kara może objąć całą firmę.
Projekt wytycznych EROD dotyczących web scrapingu uderza w trenowanie AI, ale promuje każdy scraper potrafiący wykazać, co pobrał, z jakich stron i w jakim dniu.
Stawka "od $X za 1000" w API do scrapingu to najtańsza komórka w tabeli. Na stronach, za których scraping ci płacą, rzeczywisty koszt określa mnożnik kredytów.
Dwa sądy, jedna weryfikacja botów Google i sprzeczne wyroki w odstępie jedenastu dni. Pozew Google przeciwko SerpApi pokazuje, co ma teraz decydujące znaczenie: czyje treści znajdują się za zabezpieczeniem.
Cloudflare dzieli teraz boty według celu, a nie zachowania: Search, Agent lub Training. Domyślne ustawienie z 15 września jest węższe niż wywołana panika i brakuje w nim jednej opcji.
Oxylabs pozyskało 130 mln USD przy wycenie 3,6 mld USD. Bright Data przekroczyło 300 mln USD ARR. Rozwiązania API do web scrapingu ze średniej półki szybko znikają. Zadaj sobie te pięć pytań.
W 2026 roku systemy wykrywające powiększyły różnicę między sesjami przeglądarek headless a standardowymi. Jeśli używasz Puppeteer lub Playwright na produkcji, przygotuj się na koszty detekcji.
Cloudflare wdrożył Precursor 13 lipca. Detekcja behawioralna na poziomie sesji oznacza, że odświeżenie strony nie resetuje już twojego bot score. Dlaczego to ma znaczenie.
Marketplace pay-per-crawl od Cloudflare i HTTP 402 dzielą sieć na dane licencjonowane i otwarte. Oto co zmienia się dla zespołów zbierających dane webowe w 2026 roku.
Firecrawl pobiera 5 razy więcej opłat za ekstrakcję LLM w porównaniu do zwykłego pobrania strony. Przy 100 tys. stron dziennie matematyka jest bezlitosna. Kiedy ekstrakcja LLM na siebie zarabia, a kiedy nie.