Industry Insight

Industry Insight

← Alle Beiträge

Cloudflare Verified Bots: Bewertet pro Bot, entzogen pro Unternehmen

Cloudflare bewertet Verified Bots jetzt nach robots.txt und 429-Fehlern. Das Ranking gilt für einen Bot, aber die Strafe kann laut Dokumentation dein gesamtes Unternehmen treffen.

EDPB-Richtlinien zu Web-Scraping: Gezielte Scraper gewinnen

Die Entwurfsrichtlinien des EDPB zu Web-Scraping zielen auf KI-Training ab, belohnen aber jeden Scraper, der nachweisen kann, was er von welchen Websites und an welchem Tag gesammelt hat.

Web Scraping API Preise: Was hinter den Lockangeboten steckt

Die Angabe „ab X $ pro 1.000“ bei Scraping APIs gilt nur für den Idealfall. Bei Websites, die du wirklich scrapen musst, bestimmt der Credit-Multiplikator den tatsächlichen Preis.

Google-SerpApi-Klage: Der Bot-Check ist nicht die Frage

Zwei Gerichte, ein Google-Bot-Check, gegensätzliche Urteile im Abstand von elf Tagen. Die Google-SerpApi-Klage zeigt, worauf es jetzt ankommt: wessen Content hinter dem Check liegt.

Search, Agent, Training: Die neuen Bot-Regeln des Webs

Cloudflare sortiert Bots jetzt nach Zweck statt Verhalten: Search, Agent oder Training. Der Standard vom 15. September ist enger gefasst als die Panik vermuten lässt, und eine Checkbox fehlt.

Web Scraping konsolidiert sich. Das ändert sich jetzt.

Oxylabs nahm 130 Mio. $ bei einer Bewertung von 3,6 Mrd. $ auf. Bright Data hat 300 Mio. $ ARR überschritten. Die Mid-Market Web-Scraping-API verschwindet schnell. Stelle diese fünf Fragen.

Warum headless Browser 2026 mehr leaken

Detektoren haben 2026 die Lücke zwischen headless und normalen Browser-Sessions vergrößert. Wenn du Puppeteer oder Playwright in Produktion nutzt, plane den Aufwand für die Erkennung ein.

Cloudflare Precursor: Session ist der neue Fingerprint

Cloudflare hat Precursor am 13. Juli veröffentlicht. Verhaltenserkennung auf Session-Ebene bedeutet, dass ein Neuladen der Seite deinen Bot-Score nicht mehr zurücksetzt. Warum das wichtig ist.

Pay-Per-Crawl spaltet das Web in zwei Hälften

Der Pay-Per-Crawl-Marktplatz von Cloudflare und HTTP 402 spalten das Web in lizenzierte und offene Daten. Das ändert sich 2026 für Teams, die Webdaten sammeln.

Wann sich LLM-Extraction nicht mehr rechnet

Firecrawl berechnet das 5-Fache für die LLM-Extraction einer Seite im Vergleich zum Scraping. Bei 100k Seiten am Tag bricht die Kalkulation zusammen. Wann sich LLM-Extraction bezahlt macht und wann nicht.