← すべての記事

Cloudflare Verified Bots: ボット単位で評価され、組織単位で取り消される仕組み

CloudflareはVerified botsをrobots.txtと429ステータスに基づいて評価するようになりました。評価バンドは単一ボットに適用されますが、ドキュメント上ではペナルティが組織全体に及ぶ可能性があります。

1つのボットの記録が会社全体に損害を与える可能性

Cloudflareは新しいボット評価基準を運転免許証に例えて説明しました。それはその人物が誰であるかを示すものであり、来年も安全運転を続けるかどうかを示すものではありません。的確な例えです。ただし、1つ欠けている点があります。免許停止によって排除されるドライバーは1人ですが、Cloudflareのルールでは、1つの不正な記録によってその企業が運用するすべてのボットが停止に追い込まれる可能性があります。

10月16日、CloudflareはVerified botsを継続的に評価する方針を発表しました。評価シグナルは現時点で2つあります。サイトのrobots.txtに長期間準拠し続けているトラフィックかどうか、そしてHTTP 429を受けた後にリクエスト頻度を落としているかどうかです。その評価結果は「trust band」として分類されます。これを読んだエンジニアは、まずリトライロジックの修正に着手するはずです。高スコアを獲得するためのフェッチループに関するCrawlbaseの詳細な記事は、手始めとして参考になります。

しかし、リトライロジックは影響の小さい側面に過ぎないと考えられます。他社向けにスクレイパーを構築している場合、真に重要な問題はリストに誰の名前が登録されているかです。

実際にリリースされた機能

ヘッドラインが示唆するほど大きくはありません。Cloudflareは履歴データを蓄積する間、「すでにこのシステムを社内で利用している」と述べています。Radarでの一般向けスコア公開や、サイト所有者が設定可能な閾値機能はいずれも将来の実装として記載されており、具体的な日程は示されていません。現時点でCloudflareが公開した内容の中に、trust bandを理由にサイト側がクローラーを拒否できる仕組みはまだ存在しません。

対象範囲も限定的です。対象となるのはVerifiedリストに掲載されているボットのみで、それ以外は一切スコアリングされません。そして大半は後者です。10月のCloudflare Connectにおいて、同社は自らを明示しているボットからの自動リクエストは10件中1件未満であると述べています。

したがって、運用しているスクレイパーがそのリストにない場合、今回の発表によって評価が下されることはありません。

要点: この台帳はまだサイト所有者向けに公開されておらず、大半の自動トラフィックは含まれていません。今すぐ対応を検討すべき対象は、クローラーがリストに掲載されている組織、または掲載を計画している組織です。

スコアよりも広いペナルティの影響範囲

他の解説記事で見落とされがちなポイントがあります。trust band自体は個々のボットを対象とする指標ですが、ペナルティの影響は単一のボットにとどまりません。11月2日に更新されたCloudflareのVerified botsのドキュメントには、度重なる違反があった場合、「組織が所有または運用するすべてのボットおよびエージェントのVerifiedステータスを取り消すことがある」と明記されており、「1つのボットまたはエージェントではポリシーを遵守しながら、別のボットで違反している」企業の事例が挙げられています。

これを小規模な開発会社に当てはめてみてください。1つの会社、複数のクライアント案件、ディレクトリ上の登録名は1つです。あるクライアントが金曜日までに商品カタログを必要とし、リクエストレートを上げるよう要求したとします。そのジョブが429エラーを誘発しながらも速度を落とさず実行され続けた場合、その代償はそのジョブ単体にとどまりません。企業全体、そしてその名義で稼働している他のすべてのプロジェクトに影響が波及する可能性があります。

同じページを見れば、これがなぜ商用利用に直ちに適用されるのかが分かります。CloudflareのディレクトリであるBotBaseには、現在「Data Collection」という振る舞いが記載されており、「価格スクレイピング、競合インテリジェンスの収集、サードパーティ分析」と定義されています。これはSearchやTrainingと並んで配置されています。商用収集を公に宣言された名前付きのアクティビティにできることは、朗報と捉えられます。

しかし、その隣にあるラベルに注目してください。botはDirect(単一のオペレーターで、通常は独自のインフラ上で稼働)またはIntermediary(「幅広いエンドユーザーが操作できるエージェント型サービス」)のいずれかに分類されます。Cloudflareは2つ目のグループの問題を推移的信頼(transitive trust)と呼んでいます。オペレーターを信頼できたとしても、それを動かしているすべてのユーザーを信頼できるとは限らないため、エンドユーザーに関する詳細を転送する実験を行っています。スクレイピング代行会社は、書類上の名義を除けばすべてIntermediaryに該当します。

429は必ずしも速度の問題ではない

2つ目のシグナルは単純に思えます。Cloudflareは429を「ビジターに対してリクエストレートを下げるよう求める指示」と呼び、その後にトラフィックが減速または一時停止するかどうかを監視しています。

しかし、サイト側はこのステータスを負荷対策以外にも利用しています。Crawl Readinessが10月12日にTrancoの上位1,000サイトをテストし、各ホームページに対してブラウザとして、次いで4つのAIクローラーとしてページを要求しました。サイトあたり約10回のリクエストで、再試行は行っていません。自社のrobots.txtで許可しているクローラーを拒否した78サイトのうち、14サイトは429のみを返しました(1回のみの試行、User-Agent文字列の変更のみであるため、参考値として扱ってください)。

著者はこれらをrate limitの可能性があるとして除外しており、それは慎重な判断です。私たちはこれを異なる見方をしています。ブラウザには200を返し、特定のクローラーにはわずか数回のリクエストの後に429を返すサイトは、おそらく輻輳を報告しているのではありません。輻輳という語彙を使って拒絶の意向を示しているにすぎません。

そのため、すべての429を単一の指示として扱う評価エンジンは、時に誤った測定を行うことになります。そしてサイト側がどちらの意図であるかを伝えることはほとんどありません。同時実行数の制限、分あたりの上限、単なる拒絶は、いずれも同じ3桁のコードとして届きます。

一般的なクライアント側の実装も状況を悪化させています。多くの再試行コードはRetry-Afterを待機した後、拒否を招いた時と同じレートでリクエストを再開します。Crawlbaseのローカルテストが具体的な数値を示しています。秒間2リクエストの制限に対し、元のレートを維持したループは40リクエスト中13件の拒否を受けましたが、上限を下げたループは拒否が3件にとどまり、秒あたりのページ取得数も多くなりました(0.94に対して1.11)。テスト用の環境ではありますが、傾向としては当てはまります。

これが意味すること: botがVerifiedリストに登録されている場合、速度を落とすことがスコアを稼ぐための正解であり、見た目よりも低コストです。ただし、一部の429はそもそも速度とは無関係であるため、受け取ったレスポンスのログは必ず記録してください。

署名とプロトコル遵守の乖離

Googleのドキュメントはその緊張関係を浮き彫りにしています。10月13日に最終更新されたWeb Bot Authのページには、実験としてGoogle-Agentのリクエストの一部に署名が付与されていると記載されています。一方、Google-Agentが記載されているユーザー起点フェッチャーのページには、ユーザーがフェッチを要求したため、これらのフェッチャーは「通常 robots.txt のルールを無視する」と明記されています。

つまりGoogleは、リクエストの送信元を証明する一方で、他の全員が評価対象とされる可能性のあるファイルを無視しているわけです。Cloudflareの投稿では、ユーザー主導のフェッチがどのように判定されるかについては言及されていません。エージェントを構築している場合、注視すべきはその境界線です。「人がこれを要求した」という事実が、今後極めて重い意味を持つようになるからです。

クライアント向けスクレイパー構築者にとっての意味

誰の名義であるかによって作業を分類してください。 独自の公開クローラーを持ち、明確な目的が1つあるプロダクトは、Verifiedステータスの有力な候補になります。他社のジョブを自社名義義で実行するフリートの場合は判断が難しくなります。1つのクライアントのジョブが、全体のリフローリスト登録を危険にさらす可能性があるためです。

クロールの挙動に関する規定を契約に含めてください。 クライアントがより高いレートを要求できるのであれば、その結果に対する責任を誰が負うかを契約で明記すべきです。429エラーが履歴として記録されるようになれば、「もっと速度を上げてほしい」という要望はノーコストでは通らなくなります。

自社ログを保持してください。 ホストごとのステータス、Retry-After、変更前後のレートを記録します。Cloudflareは説明可能な評価幅を約束していますが、運用者がそれに異議を申し立てる方法については明言していません。自社の数値データがなければ、評価側の記録が唯一の記録となってしまいます。これはEDPBのガイドライン草案が評価するプラクティスと同じです。いつ、どこから、何を収集したかを提示できるようにすることです。

robots.txtを許可証と見なすのをやめてください。 Cloudflareの投稿にははっきりと書かれています。「明記されていないものがすべて許可されているという意味ではない」。RFC 9309は最初からライセンスではありませんでした。そして今、それを基準にスコアリングを行う者が現れたのです。

誰も開かないドロップダウン

8月に我々は、Webがボットを行動ではなく目的で分類しつつあること、そしてデフォルト設定こそがポリシーを標準化させる手段であることを書きました。その2か月後、行動ベースの評価が導入されました。そしてデフォルト設定の影響はすでに測定可能です。Crawlbaseによる10月30日のTranco上位2,000サイトの調査では、robots.txtにContent-Signalの行があるサイトが71件見つかり、そのうち39件がCloudflareのマネージドデフォルトと完全に一致していました。Pay-per-crawlが必要としていたのもこれと同じであり、名義が明確な買い手でした。

私たちの見解として、信頼閾値機能がリリースされても、ほとんどのサイトはデフォルト設定値をそのまま使い、クローラーに対するサイト側の評価は、誰にも開かれないドロップダウンの選択肢にとどまるでしょう。私たち自身、このステータスコードを送出する側と受け取る側の両方を経験しています。プラン制限によって呼び出しが停止した場合、FourA API は 制限事項を明示し、待機が有効な場合にのみ Retry-After を送信します。また Proxy Finder は、その Retry-After が指定する待機時間の間、該当サイトに対するレート制限を受けたイグジットを休止させます。429 は常に単なるリクエストでした。それが今、ひとつの記録になろうとしています。