誰もが最初はアグリゲーターのスクレイパーを構築します。Cars.com、CarGurus、AutoTraderの3サイトにそれぞれパーサーを1つ用意すれば、週末には中古車市場のように見えるフィードが完成します。
しかしその後、残りのデータはどこにあるのかと問われることになります。
課題
NADAの2025年半ばのレポートによると、米国には16,972のフランチャイズ小型車ディーラーが存在し、誰も一貫して集計していない独立系販売店を含めればさらに膨らみます。同じNADAの数値を引用した二次資料でも15,720から16,990までばらつきがあり、この市場の把握がいかに困難かを物語っています。
これらの各店舗は独自のWebサイトを運営しています。そこに掲載されている在庫はそのディーラーの現物在庫であり、サードパーティの掲載サイトに反映される数日前の、本日の価格が設定されています。中古車の価格設定、残存価値の予測、ディーラー向け競合ツールの販売などを行う場合、本当に必要なデータは各ディーラーのWebサイトにあります。アグリゲーターのデータは、遅延したフィルタリング済みのコピーにすぎません。
そのためチームは個別ディーラーのサイトを狙い始め、次の3つの事実を順に知ることになります。
サイトは固有のものではありません。ほぼすべてがDealer.com、DealerOn、Dealer Inspire、CDK、Reynolds、Sincro、Lotlinxといった少数のディーラーWebサイトプラットフォーム上で稼働しています(正確な顔ぶれは集計者によって異なります)。このデータを販売する業者は、ディーラーごとではなくプラットフォームごとに1つのパーサーを構築します。Apifyのdealer website inventory scraperにも明記されている通り、最初にプラットフォームを検出し、その後に抽出を行います。一握りのテンプレートで数万の店舗をカバーできます。これがこの話における好材料です。
価格は通常、取得したHTML内には存在しません。これらのプラットフォームは価格ブロックをクライアントサイドでレンダリングし、支払額の見積もりやインセンティブはその後さらに2回目の呼び出しで届くことがよくあります。単純なHTTP fetchでは、年式、メーカー、モデル、走行距離、VINしか取得できません。価格フィールドは空のまま返ってきます。
そしてデータセットを静かに破壊する要因として、ディーラーサイトでは失敗が事実と全く同じように見えるという点があります。ボット検出サービスは疑わしいリクエストに対してHTTP 200とインタースティシャル画面を返します。レンダリングされなかった価格ブロックはDOMに「Call for Price」を残しますが、これはディーラーが意図的に記載する文言でもあります。どちらの行も、ウェアハウスには同じように正常なデータとして格納されます。
当社は、ブロックがデータポイントに見えてしまう別の業界における同様のパターンを取り上げました。自動車業界はさらに困難なケースです。「価格なし」が明らかな異常値ではなく、正当なビジネスステータスとして成立してしまうためです。
コスト別に分割すると何が変わるか
破綻しないパイプラインは、サイト単位で構造化されていません。リクエストのコスト単位で構造化されています。
高コストなリクエストは、ディーラーサイトに対する最初のリクエストです。ブラウザを実行し、ディーラーのプラットフォームが配置した障壁をクリアして、セッションを確保して戻ってくる必要があります。それ以降の処理はすべて、最初のリクエストで得た成果を再利用する安価なHTTP呼び出しになります。
import requests
FOURA = "https://api.foura.ai/api"
AUTH = {"Authorization": "Bearer pk_live_..."}
# First page of a rooftop: render it, clear the defense, keep the session.
first = requests.post(f"{FOURA}/browser", headers=AUTH, json={
"url": "https://example-motors.com/used-inventory/index.htm",
"unblocker": True,
"timeout_ms": 45000,
}).json()
listings = first["body"]
jar = "; ".join(f'{c["name"]}={c["value"]}' for c in first["cookies"])
agent = first["userAgent"]
exit_id = first["proxy"] # opaque proxy ID, send it back to stay on the same exit
その後は、ブラウザのコストを再度かけることなく、そのディーラーの残りの在庫を取得します。
page = requests.post(f"{FOURA}/single", headers=AUTH, json={
"method": "GET",
"url": "https://example-motors.com/used-inventory/index.htm?start=20",
"proxy": exit_id,
"headers": [["Cookie", jar], ["User-Agent", agent]],
"validate": {
"status": {"accept": [200]},
"data": {
"accept": ["vehicle-card"],
"fail": ["Just a moment", "Access Denied"]
}
}
}).json()
ここには、見た目以上に重要な2つの詳細があります。
セッションは1つの単位として扱われます。クリアランスCookieは、それを取得した出口IPと、取得時に使用されたUser-Agentに紐づけられています。これを別の場所から、あるいは別のUser-Agentでリプレイすると、サイト側はチャレンジ画面からやり直させます。だからこそ、Cookie jar、エージェント文字列、プロキシIDはセットで移動させる必要があります。これは最もよく見られる失敗です。Cookieだけを保持して出口プロキシを破棄し、なぜ安価なルートが機能しなくなったのか頭を抱えることになります。
validateブロックは、サイレント障害の問題を排除する仕組みです。これは、リクエスト側が正常なページの条件を明示するものです。車両一覧グリッドがレンダリングされた後にのみ存在するマーカーを受け入れ、インタースティシャル画面の文字列が含まれていれば失敗と判定します。これらのルールを満たさないレスポンスは、価格がnullの行ではありません。それは障害として分類され、成功としてはカウントされません。自動車分野では、「価格はお問い合わせ」のように真偽の判別が曖昧なケースがある一方で、「車両カードがレンダリングされていない」状態は明確であるため、ネガティブリストだけでなくポジティブマーカーも定義してください。
対象のプラットフォームにどのパスが必要かまだ不明な場合、Autoが1回のリクエストで判別し、成功したセッションを返します。これは偵察用として扱い、本番運用の常用ルートにはしないでください。あるプラットフォームにはブラウザが必要で、他には不要だと判明したら、それぞれを直接エンジンに固定し、オーケストレーターに毎晩同じ答えを再探索させるコストを削減してください。
結果
中規模のタスクで計算してみます(特定顧客の実績ではなく業界ベンチマークに基づく想定シナリオ)。4,000店舗のディーラー、各店舗あたり約180台の中古車、毎晩更新。
- 720,000ページではなく、4,000ページのレンダリングで完結。 店舗ごとに1回のレンダリングでセッションを確立し、残りの716,000ページは同一セッションを用いて安価なパスで処理します。毎晩の巡回が現実的なコストに収まるかどうかは、パーサーではなくこの比率で決まります。
- 2種類の「価格欠落」を別々のテーブルに分離。 validateルールを導入することで、「ディーラーが価格を掲載していない」と「ページ自体が取得できなかった」が同じデータ行の形式を取ることがなくなります。分析モデルには前者のデータのみが渡されます。
- ディーラー単位ではなく、プラットフォーム単位で1つのパーサーを運用。 レスポンスからプラットフォームを検出し、該当するパーサーにHTMLを渡します。対応済みプラットフォームに新しい店舗が追加されても、導入コストはゼロです。
- ディーラーがプラットフォームを変更した場合は即座に検知。 プラットフォーム検出に失敗して行が書き込まれないため、6週間にわたって誤った価格が静かに蓄積されることなく、直ちにチケットが起票されます。
考慮すべき例外もあります。大手ディーラーグループは独自サイトをプラットフォーム外で構築する傾向が強まっており、それらには手作業で作成したパーサーと継続的なメンテナンスが必要です。また、データの鮮度も一律ではありません。一部のプラットフォームは在庫ページを強力にキャッシュするため、収集頻度にかかわらず「本日の価格」が1日前のデータである場合があります。モデルがすべての店舗のタイムスタンプを等しく最新として扱うなら、どれほど収集インフラを整えても補えない歪みが生じます。
主なポイント
自動車データにおいて真に困難な部分は、誰もがベンチマークにする大手3社のアグリゲーターではありませんでした。単独では専用スクレイパーを構築する価値がなく、全体として集まることで極めて大きな価値を持つ、1万7千もの小規模サイト群です。
この構造は自動車業界にとどまりません。薬局、機器ディーラー、地域の食料品店、あらゆるフランチャイズなど、ロングテールが高コストに見えるのは、その各要素を個別の独自サイトとして扱っている間だけです。大抵の場合、実際はそうではありません。初回のrequestを適切に処理し、sessionを再利用可能にすれば、残る課題はデータ収集の問題からパースの問題へと変化します。そしてパースは、収集に比べてはるかに低コストです。