← 全部文章

生鲜杂货价格抓取:哪个门店,哪类买家?

生鲜杂货价格抓取往往静默失败:门店 cookie 丢失会返回错误门店的真实价格。本文介绍如何校验门店,以及为什么单个买家视角远远不够。

在华盛顿特区的一家 Safeway,一打 Lucerne 鸡蛋在 Instacart 上的标价分别为 $3.99、$4.28、$4.59、$4.69 和 $4.79。同一家门店,同一时间,不同的买家。这五个数字中,哪一个该写入你的价格面板?

面临的挑战

在生鲜杂货领域,价格情报不再是“抓取商品页、解析价格”那么简单。生鲜杂货的价格绑定在具体门店上,通常还对应特定的配送区域,并且越来越取决于正在浏览它的具体用户。

首先看门店。Scrapfly 的生鲜价格比价指南指出,一加仑牛奶在一家 Walmart 售价 $3.98,而在 20 英里外的另一家则是 $4.29,同时提醒没有设置门店位置的会话会获取到默认数据,可能与任何真实门店都不匹配。ScrapeInsight 的2026 生鲜配送指南在更细的层级发现了同样的情况:一个配送区域为 $3.99,几英里外则是 $4.49。Bright Data 的ShopGrok 案例研究描述了在过去近四年里,澳大利亚零售定价逐渐演变成依赖邮政编码的模式。

接着看买家。2025 年 12 月,Groundwork Collaborative、Consumer Reports 与 More Perfect Union 在四个城市对 437 名买家进行了实时测试,让他们在同一时间从同一家门店加购完全相同的 Instacart 购物车。74% 的商品出现了不止一种价格。在存在价差的情况下,最高价与最低价的平均差距达到 13%,整个购物篮的总价差异约为 7%。

综合这些因素,就会导致让生鲜数据采集成本激增的故障。一旦丢失门店上下文,系统不会直接报错。网站不会返回错误状态。它会返回一个完全有效的价格,但属于你并未请求的门店,附带的 SKU、数字和时间戳能顺利通过你的所有非空校验。

我们之前写过拦截看起来像正常数据点的情况。而眼前这种问题更难排查,因为该页面确实是一个价格页面,只是并非你想要的那一个。

在 response 中验证门店

大多数采集程序在发送门店选择(cookie、query 参数或 header)后就直接选择信任它。更稳妥的做法是让 response 自身提供证明。如果页面标明了其渲染所针对的门店,例如内嵌数据中的 store ID 或自提横幅中的门店名称,该标记就应成为你界定采集成功的依据。在 FourA 上,这只需一次 Proxy Finder 调用:

import requests

r = requests.post(
    "https://api.foura.ai/api/proxy",
    headers={"X-API-Key": "pk_live_..."},
    json={
        "maxTries": 6,
        "request": {
            "method": "GET",
            "url": "https://grocer.example/product/0001234",
            "headers": [["Cookie", "store=1234"]],
            "validate": {
                "status": {"accept": [200]},
                "data": {
                    "accept": ["\"storeId\":\"1234\""],
                    "fail": ["Just a moment", "Access Denied"]
                }
            }
        }
    }
).json()

if "error" in r:
    report = r.get("attemptReport", {})
    print(report.get("summary", r["error"]))
    if report.get("contentRejected", 0) > report.get("defense", 0) + report.get("noResponse", 0):
        print("the site answered for another store: check the store selection")
else:
    page, exit_id = r["data"], r["proxy"]

该请求中有三个细节极易出错。

accept 只要页面中出现其包含的任意一个字符串就会通过。如果在门店标识旁放置了价格标识,错误门店的页面也会直接通过校验,因为该页面同样包含价格。请在 accept 中仅保留门店标识,并将质询字符串放入 fail。

自定义的 Cookie header 会改变重试机制。当目标站点拒绝我们提供的浏览器指纹时,Proxy Finder 通常会在下一次尝试中切换到其他浏览器家族。但附加了自定义 cookie 后则不会。session 与获取它时所用的指纹绑定,因此携带自身 cookie 的请求会保留初始使用的浏览器。如果某个连锁品牌的网站对浏览器指纹极其敏感,请直接使用 browser profiles 明确指定,而不是依赖自动轮换。

失败的任务会明确指出具体错误类型。每个失败的 Proxy Finder 响应都包含一个 attemptReport。defense 统计识别出机器人验证的响应次数,noResponse 统计未能成功访问站点的出口节点数,contentRejected 统计返回 HTTP 200、无机器人验证、但仅因内容规则未满足而被丢弃的页面数。对于生鲜采集而言,最后一项指标具有特定含义:网站已正常响应,但返回的不是目标门店。增加出口节点无法解决该问题。attempt report guide 详细介绍了其他统计项。

固定买家身份,或测量离散度

Instacart 的调研结果引入了第二个变量,有两种严谨的处理方案。

构建价格面板时,保持每个门店的采集使用单一身份。通过 Single 配合相同的 cookie 复用成功的出口节点(r["proxy"],一个不透明 ID),并在每一行中存入该 ID 以及 X-FourA-Request-Id 响应 header。当价格发生波动时,即可区分是门店实际调价还是 session 切换导致。

进行定价策略研究时,则应刻意反其道而行。通过多个独立 session 对同一门店内的同一 SKU 进行采样,记录数据分布而非单一结果。当买家实际能看到五种价格时,仅上报单一数字的面板算不上精确,纯属运气。

结果

以一家对 120 家竞对门店的 2,500 个 SKU 进行每日对标的区域连锁为例(基于行业基准的示例场景)。这意味着每天需要读取 300,000 个页面,在任何给定的夜晚,部分请求都会返回错误门店的数据:例如 cookie 格式变更、门店关闭、或网站开始优先基于 IP 地理位置而非 cookie 判定门店。

  • 错误门店页面在采集阶段即失败。 它们绝不会写入数据行,因此面板中的价格变动确实对应特定门店的价格变动。
  • 失败请求分类明确。 contentRejected 偏高由负责门店选择的人员处理,defense 偏高属于访问问题,noResponse 偏高则是出口问题。三类责任人,三种修复方案,没人需要花半个上午去猜测问题根源。
  • 每行数据均可追溯。 每次观测都带有出口 ID 和 request ID,将“这次暴涨是否属实?”简化为一次直接查询。
  • 离散度成为具体可量化的数值。 对于跨 session 采样的 SKU,你可以报告消费者实际面对的价格区间,而不是仅提供单个读数。

该方案的局限性在于:会员价和积分价需要登录账户,而针对特定登录用户的实验在匿名 session 中完全不可见。采集此类数据首先涉及服务条款合规问题,其次才是工程问题。此外,门店标识的可靠性取决于你的提取方式。直接从页面源码中提取,切勿凭经验推测,并在零售连锁网站改版时重新核验。

核心结论

过去,生鲜杂货价格是商品本身的属性。现在,它是商品、门店与消费者三者共同决定的结果,仅记录商品属性的采集器产出的只是 schema 规范的噪音。

随着千人千面定价的普及,买家对杂货数据的关注点正从“价格是多少?”转向“这里的价格是多少,价格区间有多大?”因此,值得信赖的采集器不再是出口节点最多的系统,而是每个 request 都能明确指出并证明其对应门店的系统。