Google-SerpApi-Klage: Der Bot-Check ist nicht die Frage
Zwei Gerichte, ein Google-Bot-Check, gegensätzliche Urteile im Abstand von elf Tagen. Die Google-SerpApi-Klage zeigt, worauf es jetzt ankommt: wessen Content hinter dem Check liegt.
Search, Agent, Training: Die neuen Bot-Regeln des Webs
Cloudflare sortiert Bots jetzt nach Zweck statt Verhalten: Search, Agent oder Training. Der Standard vom 15. September ist enger gefasst als die Panik vermuten lässt, und eine Checkbox fehlt.
Web Scraping konsolidiert sich. Das ändert sich jetzt.
Oxylabs nahm 130 Mio. $ bei einer Bewertung von 3,6 Mrd. $ auf. Bright Data hat 300 Mio. $ ARR überschritten. Die Mid-Market Web-Scraping-API verschwindet schnell. Stelle diese fünf Fragen.
Warum headless Browser 2026 mehr leaken
Detektoren haben 2026 die Lücke zwischen headless und normalen Browser-Sessions vergrößert. Wenn du Puppeteer oder Playwright in Produktion nutzt, plane den Aufwand für die Erkennung ein.
Cloudflare Precursor: Session ist der neue Fingerprint
Cloudflare hat Precursor am 13. Juli veröffentlicht. Verhaltenserkennung auf Session-Ebene bedeutet, dass ein Neuladen der Seite deinen Bot-Score nicht mehr zurücksetzt. Warum das wichtig ist.
Pay-Per-Crawl spaltet das Web in zwei Hälften
Der Pay-Per-Crawl-Marktplatz von Cloudflare und HTTP 402 spalten das Web in lizenzierte und offene Daten. Das ändert sich 2026 für Teams, die Webdaten sammeln.
Wann sich LLM-Extraction nicht mehr rechnet
Firecrawl berechnet das 5-Fache für die LLM-Extraction einer Seite im Vergleich zum Scraping. Bei 100k Seiten am Tag bricht die Kalkulation zusammen. Wann sich LLM-Extraction bezahlt macht und wann nicht.
Warum die Proxy-Pool-Größe 2026 keine Rolle mehr spielt
Anbieter werben mit 400 Millionen Residential IPs. Doch 2026 brach die IP-Reputation als Schutzmaßnahme zusammen, und die Proxy-Pool-Größe ließ keinen Rückschluss mehr auf den tatsächlichen Erfolg zu.
Post-Quantum TLS und Wire-Level Fingerprints brechen den Basis-Scraper
Dein User-Agent Header ist nicht mehr wichtig. Fingerprints auf Verbindungsebene klassifizieren Bots mit 98,6 % Genauigkeit, bevor Header gelesen werden. Das hat sich 2026 geändert.
Der EU AI Act beendet das Wildwest-Szenario bei Trainingsdaten
Die Beschaffung von KI-Trainingsdaten hat sich von einem technischen Problem zu einem Compliance-Problem entwickelt. Der EU AI Act und die strengere Überprüfung von Anbietern verändern die Regeln bis 2027 grundlegend.