← すべての記事

ポスト量子TLSとワイヤレベルのフィンガープリントが基本的なスクレイパーを破壊した

User-Agentヘッダーはもはや重要ではありません。接続レベルのフィンガープリントにより、ヘッダーが読み取られる前に98.6%の精度でボットが分類されます。2026年に何が変わったのかを解説します。

接続レベルのシグナルはBot検知の最低基準

98.6%。

これは、接続レベルの特徴量のみを使用してCatBoostモデルが達成した分類精度です。ヘッダーなし。IPなし。振る舞い分析なし。初期ハンドシェイクの構造のみです。このarXiv論文は2026年2月に公開されましたが、この結果は例外的なものではありません。Cloudflare、AWS、VirusTotal、Akamaiはいずれも本番環境で接続レベルのフィンガープリンティングを実行しています。2026年に標準的なHTTPクライアントでスクレイピングを行っている場合、リクエストがアプリケーション層に到達する前に判定は下されています。

これは、多くのBot検知チュートリアルが見落としている部分です。Bot検知に関する大半の記事は、依然としてUser-Agentのローテーション、cookie、検証ページを中心に扱っています。これらは容易に対策できるレイヤーです。しかし接続レイヤーは、ヘッダーの偽装が通用しないレイヤーです。

フィンガープリントが実際に捕捉するもの

接続レベルのフィンガープリントは、初期ハンドシェイクメッセージのハッシュです。プロトコル(TCPまたはQUIC)、バージョン、SNIの有無、ソートされた暗号スイート、拡張機能、署名アルゴリズム、ALPNをエンコードします。同じブラウザを名乗る2つのクライアントは同じハッシュを生成します。Chromeを名乗るPythonのrequestsスクリプトは、スクレイパー以外には世界中のどこにも存在しないフィンガープリントを生成します。

現世代のこれらのフィンガープリントは、前世代の最大の弱点を解決しました。それは、主要ブラウザがナイーブなフィンガープリンティングを無効化するために2023年に導入した拡張機能の順序シャッフルです。新設計では拡張機能をソートしてカウントするため、ランダム化は効果を持ちません。簡単な回避策は存在しません。

Akamaiは、クロスレイヤー分析により92-98%のBot分類精度を達成したことを開示しました。このクロスレイヤーという点が重要です。接続レベルのシグナル単体でも極めて強力ですが、HTTP/2のフレーム順序、ヘッダー順序、リクエストのタイミングと組み合わせることで、偽陽性率は大半のスクレイパーが許容できない水準まで低下します。

耐量子暗号(PQ)による変化

これこそが誰も予想していなかった展開です。2026年1月31日、Akamaiはすべての接続で耐量子鍵交換をデフォルトに設定しました。2026年初頭までに、実際のブラウザ起点の接続の57.4%にX25519MLKEM768鍵共有が含まれています。ChromeのPQ対応シェアは約93%に達します。Firefoxは85%です。Safariも展開を進めています。

PQ鍵共有のサイズは巨大です。従来のX25519の36バイトに対して1,124バイトです。初期ハンドシェイクメッセージは300-500バイトから1,400バイト超へと肥大化しました。その増加は接続レベルのフィンガープリント、パケットキャプチャ、およびWAFでのパッシブ監視に明確に現れます。

スクレイピングクライアントにPQ鍵共有が含まれていない場合、現在のChromeやFirefoxではあり得ない振る舞いをしていることになります。2026年第1四半期の2つのCVEは、まさにこの不一致を検出対象としています。CVE-2026-26995(パディング拡張機能)はリクエストあたり25-50%の検知確率を持ち、CVE-2026-27017(ECHおよびGREASEの不一致)は約50%に達します。セッション全体で合算すると、検知される確率はほぼ100%に近づきます。

これは12か月かけて対応すべき問題が、3か月の猶予に縮まった状況と言えます。大半のオープンソーススクレイピングスタックは、PQ互換のハンドシェイクをまだリリースしていません。対応済みのものも、実際のブラウザビルドから数週間遅れています。

プロキシで解決しない理由

より大規模なプロキシプールを用意すれば現代のBot検知を回避できるという都合のよい話が出回っていますが、実際には機能しません。Security Boulevardが報じた2026年1月の買い占めインシデントでは、390万のユニークIPにまたがる1600万件のrequestが使われました。IPごとのブロックは役に立たず、効果を上げた防御策の多くはコネクションレベルおよび振る舞いベースのフィンガープリンティングでした。

レジデンシャルプロキシのコスト効率も今四半期で破綻しました。Help Net Securityの2026年4月の報告によると、1月のIPIDEAネットワークの混乱により、業界のレジデンシャルキャパシティは一夜にして約40%減少しました。Bright DataとOxylabsの特許紛争(最高裁は2026年2月23日にBright Dataの申し立てを棄却、公判は5月18日に設定)も、そのキャパシティ減少の打撃に比べれば些細な問題です。フィンガープリンティング対策としてレジデンシャルIPを求めるバイヤーは、WAFにとって無意味な解決策により高い費用を支払っています。

プロキシは依然として重要ですが、多くの人が考える理由によるものではありません。地理的分布やISPタイプはルーティングの決定やrate limitプロファイルに影響を与えますが、ハンドシェイクを通過する助けにはなりません。

データチームにとっての意味

2026年にスクレイピングインフラを構築または購入する場合、3つの変化に対応する必要があります。

第1に、コネクションレベルのスタックへの対応が必須要件になりました。現在のブラウザのハンドシェイク(PQ鍵共有、拡張の順序、ALPN、署名アルゴリズム)と一致しないクライアントは、高精度でBotと分類されるフィンガープリントを生成します。Pythonのrequestsをより優れたheaderでラップしても何も解決しません。トランスポート層で検知されます。

第2に、headlessブラウザの検知精度は改善するどころか厳しさを増しています。BrowserlessのState of Web Scraping 2026によると、headlessと通常のブラウザインスタンスのギャップは広がっています。Bot検知ベンダーはフィンガープリントの差分をカタログ化し、顧客サイト間で脅威インテリジェンスを準リアルタイムに共有しています。12月に機能していたheadlessインスタンスが、5月にはBotとして分類される可能性があります。トランスポート層の上に振る舞いシグナルが重なり、その両方が変化し続ける標的となっています。

第3に、自社構築か購入かの損益分岐点が変わりました。変化し続けるターゲット(ブラウザによる数週間ごとのPQ更新のリリース、マイナーバージョン間での拡張機能の順序変更、暗号スイートの優先順位の変動)に合わせて接続シグネチャを維持することは、今や専任の業務です。2024年にはスクレイパーのメンテナンスにエンジニアのリソースの20%を割いていたチームが、2026年には0.5人分以上の工数を費やしています。スクレイパーが壊れ続ける理由については以前にも執筆しました。2026年においては、その原因は「DOM」よりも「トランスポート」であることが多くなっています。

最も安価なスクレイパーは、検知・分類されないスクレイパーである

注目すべき予測は、Bot検知ベンダーが対策のハードルを上げ続けるかどうかではありません。彼らは上げ続けます。注目すべき予測は、98%の精度が検知の最低水準である市場において、どのスクレイピングツールが生き残るかです。

大半は生き残れません。しかし、生き残るツールはハンドシェイクをトランスポートの詳細としてではなく、リクエストの一部として扱います。そしてバイヤーは、12か月前の評価チェックリストにはなかった質問をベンダーに投げかけ始めるでしょう。すなわち、「どの接続シグネチャを提供しているのか、そしてそれをどれだけ迅速に更新しているのか」という点です。

リクエストが評価される前に、ハンドシェイクによって勝負は決まっています。