Cloudflare Verified Bots: ボット単位で評価され、組織単位で取り消される仕組み
CloudflareはVerified botsをrobots.txtと429ステータスに基づいて評価するようになりました。評価バンドは単一ボットに適用されますが、ドキュメント上ではペナルティが組織全体に及ぶ可能性があります。
CloudflareはVerified botsをrobots.txtと429ステータスに基づいて評価するようになりました。評価バンドは単一ボットに適用されますが、ドキュメント上ではペナルティが組織全体に及ぶ可能性があります。
EDPBのウェブスクレイピングガイドライン草案はAI学習を対象としていますが、何を、どのサイトから、どの日付で収集したかを証明できるスクレイパーには有利に働きます。
スクレイピングAPIの「1,000件あたり$Xから」という表記は、料金表で最も安価なケースに過ぎません。実際の業務でスクレイピング対象となるサイトでは、クレジットの乗数によって実質価格が決まります。
2つの裁判所、同一のGoogleボット判定に対し、11日間隔で下された正反対の判決。Google対SerpApiの訴訟は、判定の背後にあるコンテンツの帰属こそが争点であることを示しています。
CloudflareはBotの分類基準を振る舞いからSearch、Agent、Trainingといった目的に移行しました。9月15日のデフォルト設定は懸念されていたほど広範ではなく、1つのカテゴリが欠落しています。
Oxylabsは評価額36億ドルで1億3000万ドルを調達。Bright DataはARR3億ドルを突破。ミッドマーケット向けのWebスクレイピングAPIは急速に消失しつつある。以下の5つの問いを確認すべきだ。
2026年、検知システムによりheadlessと通常のブラウザセッションの差が拡大した。本番環境でPuppeteerやPlaywrightを運用する場合、検知対策のコストを想定する必要がある。
Cloudflareは7月13日にPrecursorをリリースした。セッション単位の行動検知により、ページを更新してもbotスコアはリセットされなくなった。その重要性を解説する。
CloudflareのPay-Per-CrawlマーケットプレイスとHTTP 402は、ウェブをライセンスデータとオープンデータに二分します。2026年にウェブデータを収集するチームにとって何が変わるのかを解説します。
Firecrawlでは、ページのスクレイピングに対して、LLMによる抽出には5倍の料金がかかります。1日10万ページ規模になると、この計算は破綻します。LLM抽出がそのコストに見合うケースと、そうでないケースを解説します。