Webはボットを行動ではなく目的で分類し始めている
過去15年間に構築されたすべてのアンチボットシステムは、ある1つの問いを投げかけてきた。このトラフィックは自動化されているように見えるか。ヘッダーの順序、ネットワーク層のフィンガープリント、マウスの動き、セッションのタイミング。そのすべてが、requestの形状からクライアントに関する何かを推測しようとしている。
2026年7月1日、Cloudflareはその問いを変えた。ボットトラフィックは、ネットワーク上のrequestの外見とは一切関係のない3つのカテゴリに分類されるようになった。Searchは「後で質問に答えるためにコンテンツをインデックスするクローラー」を対象とする。Agentは「人に代わってリアルタイムに動作する自動化アクティビティ」を対象とする。Trainingは「モデルのトレーニングやファインチューニングのためにコンテンツを取得するクローラー」を対象とする。
同じサーバーに3つのrequestが届く場面を想定してほしい。同じクライアント、同じヘッダー、同じタイミングで、バイト単位まで完全に一致しているとする。このモデルでは、ページを受信した後に何をする予定かに基づいて、まったく異なる3つの判定が下される可能性がある。
これは検出器の改良ではない。まったく別のプリミティブだ。
9月15日の期限は騒がれているほど広範ではない
開発者フォーラムで広まっている話では、9月15日にCloudflareがWebの5分の1でAIエージェントをブロックするとされている。
しかし変更ログの内容はずっと限定的だ。新しいデフォルト設定は「Cloudflareに新しくオンボーディングするドメイン」に適用される。それらのドメインでは、「広告を表示するページにおいて、TrainingまたはAgentに分類されたボットはブロックされ、Searchは引き続き許可される」。既存のCloudflareユーザーは独自の設定を選択でき、期日前であればいつでも変更できる。
つまり、新規ドメインのみ、広告付きページのみが対象であり、3つのカテゴリのうち1つはデフォルトで通過する。これは確実な変化だが、インターネット全体を遮断する壁ではない。
しかし、範囲が狭いこと自体が興味深い点だ。Cloudflareはポリシーを公開したのではなく、デフォルトを公開した。そしてデフォルトこそが、誰も投票することなくポリシーを標準化させる手段だ。注目すべき数字は9月15日ではない。そのうちどれだけのドメインが、その後も設定を一切変更しないかだ。
これが意味すること: データ収集を行う側にとって、有益な問いは「このサイトの保護を突破できるか」ではなく、「このサイトからどのカテゴリと見なされているか」へと変わった。これらは答えが異なり、テスト可能なのはそのうちの片方だけだ。
目的は測定できない。宣言される必要がある。
トラフィックを意図によって分類する際、構造的な問題がある。意図はパケットの中には存在しない。
フィンガープリントは測定できます。マウスの動きも測定できます。しかし「なぜこのページを取得しているのか」は測定できません。そのため、システムはクライアント自身にそれを明示させ、その回答を信用できる根拠を必要とします。それこそが Web Bot Auth の役割です。エージェントは秘密鍵でリクエストに署名し、公開鍵ディレクトリを公開します。エッジは RFC 9421 HTTP Message Signatures に基づいてその署名を検証します。Cloudflare のドキュメントでは、検証済みボットの基準を「誠実な自己識別」と定めています。
では、これを大規模に適用している仕様を見てみましょう。仕様は draft-meunier-webbotauth-httpsig-protocol-02 で、最終改訂日は2026年8月18日です。想定ステータスは Standards Track ですが、実際のステータスは「IETF による承認なし」「IETF 標準化プロセスにおいて正式な地位を持たない」「Active Internet-Draft (individual)」です。著者は2名で、1名は Cloudflare、もう1名は Google に所属しています。
批判に入る前に述べておきますが、この設計自体は正しいと考えています。ルールに従う意思があるアクターにとって、署名されたアイデンティティは CAPTCHA の軍拡競争よりも優れています。自己識別を行うクローラーであれば、推測に頼ることなく、意図的に許可、スロットリング、または課金を行うことができ、サイト所有者は一般の訪問者を巻き込まずに制御手段を得られます。これを、IP レンジをブロックして効果を祈るだけだった過去10年と比較してみてください。
不可能なのは、悪意ある者を阻止することです。申告された目的に基づくシステムは、自己申告するトラフィックしか分類できません。それ以外のトラフィックはすべて既存の検知スタックにフォールバックし、そのスタックは常に高度化しています。Cloudflare の セッション単位の行動スコアリング は、新カテゴリの公開からわずか12日後にリリースされました。
つまり、この2つは競合していません。アイデンティティは誠実な者を分類し、検知はそれ以外を処理します。何も申告しなければ、トラフィックはデフォルトで後者に分類されます。
公開データ収集のための枠組みが存在しない
ここからが、データ収集パイプラインを運用しているすべての人が留意すべき点です。
当社が今年公開した実績を例に挙げます。公開情報から構築した 木材価格インデックス。6つのマーケットプレイスを対象とした MAP 違反検知（同一の商品ページを6つの異なる視点から取得し、それぞれの表示内容を比較）。アプリストアのランキングとレビューの感情分析。キャンペーンが実際に購入された国から実行する広告掲載確認。
これらを Search、Agent、Training のいずれかに分類してみてください。
Searchには該当しません。Cloudflare自身の定義では「見返りとしてのリファラルトラフィックまたはその他の公正な対価」への期待が付帯していますが、夜間の価格チェックが誰かにリファラルを送ることはないためです。Agentにも当てはまりません。画面の前でそのフェッチを待っている人間が存在しないからです。そしてTrainingは明らかに誤りです。モデルに取り込まれるデータは一切ないからです。
これは過去3年間に現れたAIトラフィックを説明するために書かれた分類法であり、それより10年前から存在するビジネスに今適用されています。価格インテリジェンス、オルタナティブデータ、SERP追跡、ブランド保護、広告検証、コンプライアンス監視など、どれも新しいものではなく、エージェントによるものでもなく、チェックを入れるべき選択肢が存在しません。
該当する枠がないトラフィックは、その枠を定義した側によって分類されます。通常は最も近い枠に振り分けられます。
データチームにとっての意味
ルールがまだ流動的なうちに実施しておくべき4つの事項があります。
自社が誠実に主張できるカテゴリを決定する。 アクセスを通すためのカテゴリではなく、パブリッシャーから直接尋ねられた際に文書で弁明できるカテゴリを選んでください。率直な答えが「どれにも該当しない」である場合、分類法が固定化した際に最も損失を被るグループに属することになります。議論の余地がまだ残されているうちにそれを表明しておくことが、最も利益につながります。
見出しではなく、ターゲットの設定を確認する。 サイトのボットポリシーは現在そのサイト自体の設定項目であり、パスごとに設定可能で、予告なしに変更されます。「Cloudflareが9月にエージェントをブロックする」という情報をパイプラインの前提事実として扱うと、そもそもリスクにさらされていなかった部分まで再構築することになります。
広告ページの判定基準が普及すると想定する。 Cloudflareはデフォルトの基準を広告を表示するページに紐づけました。これは「このページは人間の注目によって収益を得ている」ことの適切なプロキシです。この境界線は今後変化する可能性が高く、それを引いているのはCloudflareだけではありません。AWS WAFは2026年6月15日にAI traffic monetizationをリリースし、402レスポンスと機械可読な支払い条件を返すようにしました。AkamaiはTollBitおよびSkyfireとの提携ルートを選択しました。最大手のエッジプロバイダー3社が現在同じ制御サーフェスを提供しており、これについてはクロール単位課金の開始時に価格設定の観点から検討しました。
収集処理がどちらのルートでも動作できるように維持する。 識別されるルート（署名し、宣言し、許可されるか請求されるか）と識別されないルート（従来どおり挙動に基づいて判定される）は、今後何年も共存します。どちらか一方しか存在しない前提でシステムを構築することは、双方向においてコストのかかる過ちとなります。
分類の枠組みは再編される
検証していただいて構わない予測として、1年以内に第4のカテゴリが登場するはずです。
あらゆる分類法の初期バージョンは、プレッシャーに晒されている側の手によって作成され、分類される対象者はその場に居合わせません。「Search」「Agent」「Training」は、AI企業がパブリッシャーに対して行う行為を表しています。これらは市場調査会社、コンプライアンスチーム、あるいは競合の店頭価格を確認する小売業者を表してはおらず、これら3者は、この文脈で「agent」という言葉が意味を持つようになる前から、公開ページをプロトコルに従って取得してきました。
その4つ目の項目が何と呼ばれ、誰がそこにチェックを入れられるのかを巡る争いは、今年公開されるどのアンチボットのベンチマークよりもデータ業界にとって重要になります。その議論には参加する価値があります。
代替案は単純だからです。自身のトラフィックを自ら定義できなければ、他の誰かが勝手に定義することになります。