すべての記事

ポスト量子TLSとワイヤレベルのフィンガープリントが基本的なスクレイパーを破壊した

User-Agentヘッダーはもはや重要ではありません。接続レベルのフィンガープリントにより、ヘッダーが読み取られる前に98.6%の精度でボットが分類されます。2026年に何が変わったのかを解説します。

接続レベルのシグナルがボット検出の基準

98.6%。

これは、接続レベルの機能のみを使用したCatBoostモデルが達成した分類精度です。ヘッダーなし。IPなし。動作なし。初期ハンドシェイクの形状だけです。arXivの論文は2026年2月に公開され、この結果は外れ値ではありません。Cloudflare、AWS、VirusTotal、Akamaiはすべて、本番環境で接続レベルのフィンガープリンティングを実行しています。2026年にプレーンなHTTPクライアントでスクレイピングしている場合、リクエストがアプリケーション層に到達する前に判定が下されています。

これは、ほとんどのボット検出チュートリアルがスキップする部分です。アンチボット回避に関するほとんどの投稿は、依然としてUser-Agentのローテーション、cookie、CAPTCHAを中心に展開しています。これらは簡単な層です。しかし、接続層は、ヘッダーでごまかすことができない層です。

フィンガープリントが実際に認識しているもの

接続レベルのフィンガープリントは、初期ハンドシェイクメッセージのハッシュです。プロトコル(TCPまたはQUIC)、バージョン、SNIの存在、順序付けられた暗号スイート、拡張機能、署名アルゴリズム、ALPNをエンコードします。同じブラウザであると主張する2つのクライアントは、同じハッシュを生成します。Chromeであると主張するPythonのrequestsスクリプトは、スクレイパーにしか存在しないフィンガープリントを生成します。

現在の世代のこれらのフィンガープリントは、前世代の最大の弱点である拡張機能の順列(単純なフィンガープリンティングを破るために主要なブラウザが2023年に導入したもの)に対処しました。新しい設計では拡張機能をソートしてカウントするため、ランダム化は役に立ちません。簡単な逃げ道はありません。

Akamaiは、クロスレイヤー分析により92〜98%のボット分類精度を公開しました。クロスレイヤーの部分が重要です。接続レベルのシグナルだけでも支配的ですが、それをHTTP/2フレームの順序、ヘッダーの順序、リクエストのタイミングと組み合わせることで、誤検知率はほとんどのスクレイパーが許容できるレベルをはるかに下回ります。

ポスト量子の展開

これは誰も予想していなかった部分です。2026年1月31日、Akamaiは、すべての接続のデフォルトとしてポスト量子鍵交換を採用しました。2026年初頭までに、実際のブラウザが開始した接続の57.4%にX25519MLKEM768キーシェアが含まれています。ChromeのPQ対応シェアは約93%です。Firefoxは85%です。Safariは展開中です。

PQキーシェアは大きいです。従来のX25519の36バイトに対して1,124バイト。初期ハンドシェイクメッセージは300〜500バイトから1,400バイト以上に増加しました。この増加は、接続レベルのフィンガープリント、パケットキャプチャ、WAFでの受動的な監視に現れます。

スクレイピングクライアントにPQキーシェアが含まれていない場合、現在のChromeやFirefoxでは考えられない主張をしていることになります。2026年第1四半期の2つのCVEは、まさにこの不一致を示しています。CVE-2026-26995(パディング拡張)はリクエストごとに25〜50%の検出確率を持ち、CVE-2026-27017(ECHとGREASEの不一致)は約50%に着地します。セッション全体を組み合わせると、露出はほぼ確実に上昇します。

これは、12か月の問題が3か月の問題になりつつあります。ほとんどのオープンソーススクレイピングスタックは、PQ互換のハンドシェイクをまだ出荷していません。出荷されたものは、実際のブラウザビルドから数週間遅れています。

プロキシで解決できない理由

大規模なプロキシプールが最新のボット検出を解決するという、安心できる話が広まっています。解決しません。Security Boulevardがカバーした2026年1月のスキャルピングインシデントでは、390万の一意のIPにわたって1600万のリクエストが使用されました。IPごとのブロックは役に立ちませんでした。機能した防御策は、主に接続レベルと動作のフィンガープリンティングでした。

住宅用プロキシの経済性も今四半期に崩壊しました。Help Net Securityは2026年4月に、1月のIPIDEAネットワークの混乱により、業界の住宅用容量が一夜にして約40%減少したと報告しました。Bright DataとOxylabsの特許争い(最高裁判所は2026年2月23日にBright Dataの申し立てを却下し、5月18日に裁判が設定された)は、その容量の打撃に次ぐ余興です。フィンガープリンティングに対する防御として住宅用IPを追い求めるバイヤーは、WAFが気にしない答えにより多くのお金を払っています。

プロキシは依然として重要ですが、ほとんどの人が考えている理由ではありません。地理的分布とISPタイプは、ルーティングの決定とレート制限プロファイルを形成します。ハンドシェイクを乗り切るのには役立ちません。

データチームにとっての意味

2026年にスクレイピングインフラストラクチャを構築または購入する場合、3つの変更点があります。

第一に、接続レベルのスタックが厳密な要件になりました。現在のブラウザのハンドシェイク(PQキーシェア、拡張機能の順序、ALPN、署名アルゴリズム)と一致しないクライアントは、高い信頼度でボットとして分類されるフィンガープリントを生成します。Pythonのrequestsをより良いヘッダーでラップしても何も解決しません。トランスポートが証拠です。

第二に、ヘッドレスブラウザの検出は改善されるどころか悪化しました。BrowserlessのState of Web Scraping 2026では、ヘッドレスブラウザインスタンスとヘッデッドブラウザインスタンスのギャップが広がっていると報告されています。アンチボットベンダーはフィンガープリントの違いをカタログ化し、顧客サイト全体で脅威インテリジェンスをほぼリアルタイムで共有しています。12月に機能したヘッドレスインスタンスは、5月にはボットとして分類される可能性があります。動作シグナルはトランスポートの上に重なり、どちらも移動する標的です。

第三に、構築と購入の計算が変わりました。移動する標的と一致する接続署名を維持すること(ブラウザは数週間ごとにPQアップデートを出荷し、マイナーバージョン間で拡張機能の順序が変わり、暗号スイートの好みが変わる)は、今やフルタイムの仕事です。2024年にエンジニアの20%をスクレイパーのメンテナンスに費やしたチームは、2026年には従業員の半分以上を費やしています。スクレイパーが壊れ続ける理由については以前に書きました。2026年では、その答えは「DOM」よりも「トランスポート」であることが多くなります。

最も安価なスクレイパーは、分類されないスクレイパー

興味深い予測は、アンチボットベンダーが基準を引き上げ続けるかどうかではありません。彼らはそうするでしょう。興味深い予測は、98%の精度がテーブルステークスの検出基準である市場で、どのスクレイピングツールが生き残るかということです。

ほとんどのものは生き残りません。しかし、生き残るツールは、ハンドシェイクをトランスポートの詳細ではなく、リクエストの一部として扱います。そしてバイヤーは、12か月前には評価チェックリストになかった質問をベンダーに尋ね始めるでしょう。どの接続署名を出荷し、どのくらいの速度で更新するのか?

リクエストが主張をする機会を得る前に、ハンドシェイクがそれを解決します。