← すべての記事

食料品価格スクレイピング: どの店舗、どの購入者か?

食料品価格のスクレイピングは静かに失敗します。店舗cookieが失われると、誤った店舗の有効な価格が返されます。店舗の検証方法と、単一の購入者視点では不十分な理由を解説します。

ワシントンD.C.にある同じSafewayのLucerneブランドの卵1ダースが、Instacart上で3.99ドル、4.28ドル、4.59ドル、4.69ドル、4.79ドルで提示されていました。同じ店舗、同じ瞬間、異なるショッパー。これら5つの数値のうち、どれを価格パネルに採用すべきでしょうか。

課題

食料品分野は、価格インテリジェンスが「製品ページを取得して価格をパースする」だけでは成立しない領域です。食料品の価格は特定の店舗、多くは配送ゾーンに紐づいており、さらには誰が閲覧しているかにも左右されるようになっています。

まずは店舗から見ていきましょう。Scrapflyの食料品価格比較ガイドによると、1ガロンの牛乳があるWalmartでは3.98ドル、20マイル離れた別の店舗では4.29ドルとなっており、店舗の位置情報を持たないセッションでは実在の店舗と一致しないデフォルトデータが返されると警告しています。ScrapeInsightの2026年食料品デリバリーガイドでも、さらに詳細なレベルで同様の事象が確認されています。ある配送ゾーンでは3.99ドル、数マイル先では4.49ドルです。Bright DataのShopGrokの事例紹介では、同社の約4年間の事業期間中に、オーストラリアの小売価格設定が郵便番号依存へと変化していった経緯が説明されています。

次はショッパーです。2025年12月、Groundwork Collaborative、Consumer Reports、More Perfect Unionは4つの都市で437人のショッパーを対象とした実地テストを実施し、同じ店舗から同じ日時に同一のInstacartカートを作成しました。その結果、商品の74%で複数の価格が提示されました。価格差があったケースでは、最安値と最高値の差は平均13%に達し、カート全体の合計金額は約7%変動しました。

これらを総合すると、食料品データの収集コストを跳ね上げる失敗の正体が見えてきます。店舗のコンテキストが欠落しても、システムは停止しません。サイトはエラーを返さないのです。要求していない別の店舗の正規の価格が返され、SKU、数値、タイムスタンプが含まれているため、実装済みのあらゆるnullチェックをすり抜けてしまいます。

以前、ブロックがデータポイントのように見えるケースについて取り上げました。今回のケースは、ページ自体が実際に正規の価格ページであるため、さらに検知が困難です。ただし、目的の店舗の価格ではありません。

レスポンス内で店舗を検証する

大半のコレクターは、店舗選択情報(cookie、クエリパラメータ、header)を送信し、それを盲信します。より堅牢なアプローチは、レスポンス自体にそれを証明させることです。ページ内にレンダリング対象となった店舗名、例えば埋め込みデータ内の店舗IDや受取バナー内の店舗名が記載されている場合、そのマーカーを成功の判定基準とします。FourAでは、Proxy Finderの呼び出し1回でこれが可能です。

import requests

r = requests.post(
    "https://api.foura.ai/api/proxy",
    headers={"X-API-Key": "pk_live_..."},
    json={
        "maxTries": 6,
        "request": {
            "method": "GET",
            "url": "https://grocer.example/product/0001234",
            "headers": [["Cookie", "store=1234"]],
            "validate": {
                "status": {"accept": [200]},
                "data": {
                    "accept": ["\"storeId\":\"1234\""],
                    "fail": ["Just a moment", "Access Denied"]
                }
            }
        }
    }
).json()

if "error" in r:
    report = r.get("attemptReport", {})
    print(report.get("summary", r["error"]))
    if report.get("contentRejected", 0) > report.get("defense", 0) + report.get("noResponse", 0):
        print("the site answered for another store: check the store selection")
else:
    page, exit_id = r["data"], r["proxy"]

このリクエストには、誤りやすい3つの詳細があります。

acceptは、指定した文字列のいずれか1つがページ内に出現した時点でパスします。店舗マーカーの横に価格マーカーを配置すると、価格情報も存在するため、誤った店舗のページでも通過してしまいます。店舗マーカーのみをacceptに保持し、チャレンジ文字列はfailに配置してください。

独自のCookieヘッダーを使用すると、リトライの挙動が変わります。提示したブラウザがサイト側に拒絶された場合、Proxy Finderは通常、次の試行で別のブラウザファミリーへ移行します。ただし、独自のcookieが付与されている場合は異なります。セッションはそれを取得したシグネチャに紐づくため、独自のcookieを持つリクエストは開始時のブラウザを維持します。特定のチェーンのサイトがブラウザに厳格である場合は、ローテーションに依存せず、browser profilesを使用して明示的にブラウザを指定してください。

また、失敗したタスクからは、どの障害が発生したかを把握できます。失敗したすべてのProxy FinderレスポンスにはattemptReportが付与されます。defenseはbot判定が検出された応答をカウントし、noResponseはサイトに到達しなかったexitをカウントし、contentRejectedはbot判定なしのHTTP 200で返されたものの、設定したコンテンツルールのみによって破棄されたページをカウントします。食料品データの収集において、この最後のカウントは特定の意味を持ちます。サイトは応答したものの、指定した店舗向けではなかったということです。exitを追加してもこれは解決しません。その他のカウントについてはattempt report guideで解説しています。

ショッパーを固定するか、ばらつきを測定するか

Instacartの調査結果は2つ目の変数を提示しており、これに対処するには2つの現実的なアプローチがあります。

価格パネルを構築する場合、各店舗の収集を1つのアイデンティティに固定します。データ取得に成功したexit(r["proxy"]、不透明なID)を同一のcookieとともにSingle経由で再実行し、そのIDとX-FourA-Request-Idレスポンスヘッダーを各レコードに保存します。価格が変動した際、店舗側の変更なのか、セッションの切り替わりによるものなのかを判別できます。

価格調査を目的とする場合は、意図的に逆の手順を取ります。同一店舗の同一SKUを複数の独立したセッション経由でサンプリングし、最初の応答値ではなく分布を保持します。ショッパー側で5つの価格差が発生している状況で、1つの数値のみを報告するパネルは、正確なのではなく単に運が良いだけです。

結果

競合120店舗の2,500 SKUを毎日更新してベンチマークを行う地域チェーンを例に取ります(業界基準に基づくシミュレーションシナリオ)。これは1日あたり300,000回のページ読み取りに相当し、どのような夜であっても、一部のリクエストは誤った店舗のデータを返します。cookie形式の変更、店舗の閉店、あるいはサイトがcookieよりもIP位置情報を優先し始めたことなどが原因です。

  • 店舗不一致のページは収集時点で除外される。 データ行として保存されないため、パネル上の価格変動はその店舗における実際の変動となります。
  • 失敗要因が分類されて届く。 contentRejected の増加は店舗選択ロジックの担当へ、defense の増加はアクセス問題へ、noResponse の増加は exit の問題へ振り分けられます。担当者も修正手順も3通りに明確化され、原因究明に時間を浪費することがなくなります。
  • すべての行が追跡可能。 観測データごとに exit ID と request ID が付与されているため、「この価格スパイクは実在するか」の確認は単なるルックアップ操作で完結します。
  • 価格スプレッドが定量化される。 セッションを跨いでサンプリングした SKU について、単一の測定値ではなく、買い物客が実際に直面する価格帯を提示できるようになります。

この手法の限界点: 会員価格やロイヤルティ価格はアカウントログインの裏に存在し、ログインユーザーごとに配信されるテスト価格は匿名セッションには一切現れません。これらを収集するかどうかは、エンジニアリング以前に利用規約上の問題となります。また、店舗マーカーの精度はマーカー選定自体の精度に依存します。キャッシュなどの推測に頼らずページソースから取得し、チェーン側のUI改修時には再検証を行ってください。

重要なポイント

食料品の価格は、かつては商品そのものに紐づく静的な値でした。現在では商品、店舗、そして買い物客に紐づく値となっており、商品情報のみを記録するコレクターは、形式が整っているだけのノイズを生成しているに過ぎません。

ユーザー単位の動的価格設定が普及するにつれ、データ購入者の関心は「価格はいくらか」から「この店舗での価格はいくらか、価格差のレンジはどれくらいか」へとシフトします。したがって、信頼に値するコレクターとは、保有する exit 数が多いシステムではなく、すべての request において対象店舗を明示し、それを証明できるシステムとなります。