← 全部文章

基于 30 天规则的黑五价格追踪

欧盟 30 天规则下的黑五价格追踪取决于一个数值,即最低价。遗漏或误读任何一天都会影响结果。本文介绍具体的采集方案。

2026年3月,来自23个欧盟国家以及冰岛和挪威的消费者监管机构公布了他们对“黑色星期五”和“网络星期一”促销活动的审查结果:在抽检的314家网上商店中,有30% 存在不合规引用折扣的情况。这些商店违反的规则其实只有一句话。但要核实违规行为,所依赖的数据必须在促销开始前一个月就启动收集。

面临的挑战

根据欧盟《价格指示指令》(Price Indication Directive),宣布降价的商店必须以过去30天内执行过的最低价格作为基准参考价。《综合指令》(Omnibus Directive)于2019年增加了该规定,各商店自2022年起必须遵守。今年的“黑色星期五”是11月27日,这意味着决定黑五“原价”是否真实的观测窗口早在10月28日就已开启。等到促销横幅挂出才启动的跟踪程序,整整晚了一个月。

欧盟委员会基于 Apify 构建的自主监控系统,在2022年黑五排查中覆盖了176家商店的16,000款产品,到2025年10月已协助审查了来自1,556家零售商的136,931款产品。该系统收集了促销期间及前30天的价格,并保存了每个页面的截图作为证据。Oxylabs 在2024年针对美国市场进行了类似监测:从8月13日起,它每小时跟踪61,172款产品,其中只有4,529款产品既在黑五当天促销,又满足其研究方法所需的连续上架90天要求。商品列表的更迭流转速度远超大多数人的预估。

但难点并不在于规模,而在于统计指标本身。

参考基准价是一个极小值,而极小值完全由单次观测决定。均值可以忽略某一天的数据异常,但极小值就是异常本身。正因如此,爬虫发生错误的两种情形都会彻底扭转判定结果:

  • 漏采某一天会掩盖真实低价。 恰好在价格下调的那一天,页面返回了质询拦截页、Cookie 同意弹窗或请求超时。这导致你计算出的最低价高于实际真实值,从而使虚假折扣蒙混过关。
  • 误读价格会凭空捏造出低价。 你的解析器错误抓取了“起价”、会员价、其他变体或轮播栏中的配件价格。这导致你计算出的最低价低于实际真实值,从而将合规的真实折扣误判为违规伪造。

降价可能很短暂。在 2025 年黑色星期五研究中,Which? 对英国八家零售商的 175 种商品追踪了一年:83% 的商品在四周促销期之外至少有一次持平或更低的价格,其中一款受追踪的电视机在黑色星期五次日短暂从 1,039 英镑降至 999 英镑。(英国有自己的规则,但对爬虫来说,单日降价的表现完全相同。)

对折扣网站而言,第一类错误会损害公信力。对监管机构、消费者权益组织或新闻编辑室而言,第二类错误则意味着诬陷零售商。

处理方式:缺失就是缺失

你需要一个绝不把失败抓取转化为数值的采集层,以及一个拒绝在存在数据空缺的时间窗口内给出判断的计算逻辑。我们在 另类数据:当拦截被误判为有效数据 中讨论过错误抓取如何变成虚假信号;30 天最低价则是该问题最不容容错的场景。

借助 FourA 这样的平台,涉及的核心组件并不复杂:

  • 读取页面前先完成校验。 validate 接收一个仅目标商品页面包含的字符串,例如商品自身的货号。验证码页面、“商品未找到”页面或 Cookie 同意弹窗都会直接返回失败调用,由于 由你的规则决定何为成功,因此这类调用不会计费。你的数据行记录的是空缺,而不是错误的价格。
  • 保留凭证。 响应中包含 X-FourA-Request-Id。将其与价格、时间戳以及原始 HTML 一同存储。我们的 Activity 日志仅保留 24 小时的 request 预览,因此证据归档必须保存在你这一侧。
  • 针对不同商店选择合适的 endpoint。 Single 处理服务端渲染的商品页面。Browser 适用于通过 JavaScript 生成价格的商店。带 exitCountries 的 Proxy Finder(若你的方案包含国家定向)可覆盖价格因访问者所在国家而异的商店,这与我们在 门店级杂货价格中遇到的问题类似。
import datetime as dt
import requests

API = "https://eu.api.foura.ai/api/single/"
HEADERS = {"X-API-Key": "pk_live_..."}

def observe(product, parse_price):
    """One observation. A failed fetch is a gap, never a price."""
    r = requests.post(API, headers=HEADERS, json={
        "method": "GET",
        "url": product["url"],
        "validate": {
            "status": {"accept": [200]},
            "data": {"accept": [product["article_no"]]},
        },
    })
    body = r.json()
    row = {"day": dt.date.today(), "url": product["url"], "price": None,
           "request_id": r.headers.get("X-FourA-Request-Id")}
    if r.status_code == 200 and not body.get("error"):
        row["price"] = parse_price(body["data"])  # None when it isn't sure
        row["html"] = body["data"]                # the evidence
    return row

def prior_price(rows, sale_day, days=30):
    start = sale_day - dt.timedelta(days=days)
    priced = [x for x in rows
              if start <= x["day"] < sale_day and x["price"] is not None]
    if len({x["day"] for x in priced}) < days:
        return None  # a missing day can hide the lowest price
    return min(x["price"] for x in priced)

prior_price 返回 None 是该文件中最有用的一行。无法核验的折扣会进入“无结论”列表,并标明缺失的日期。我们宁愿交付一份带有该列表的报告,也不愿交出一份言之凿凿却完全错误的报告。

还有两项决策应该在促销前做出,而不是促销期间。第一,针对价格变动频繁的品类,每天采样不止一次;Oxylabs 每小时查看一次是有原因的。第二,采集周期要早于 30 天。规则只回溯该时间段,因此在窗口期开启前刚刚调高并一直维持到促销的价格,在规则中是不可见的。这是否属于误导消费者,取决于《不公平商业行为指令》和律师的界定。但你是否能证明这一现象确实发生过,则是一个数据问题,只有更长的历史记录才能给出答案。

结果

基于上述方案的示例场景:某消费者组织从 10 月 1 日到网络星期一,对 3 个国家的 40 家店铺中的 2,000 款产品进行核查,每天两次。

  • 244,000 条观测数据, 每条数据都与其 request id 和原始页面一同存储。
  • 价格列中零挑战页面。 每一行数据要么通过了产品校验,要么标记为明确的数据缺失。
  • 三种结论,而非两种。 折扣判定为违规、合规或“无结论”,第三种会列出缺失的具体日期。
  • 附带证据。 每一个被标记的交易都会附带其 30 天最低价背后的时间戳和页面。
  • 窗口期前的涨价一目了然。 8 周的历史记录能清晰展现某个价格在 10 月 28 日之前上涨并在 11 月 27 日“跳水”。
  • 免费填补缺失。 被拒绝的拉取不计费,因此同日重试仅收取成功调用的费用。

核心要点

大多数爬取管线的构建目标是平均值准确,而平均值往往掩盖了误差。但 30 天规则要求的恰恰是管线最不擅长处理的数据:极值。只要虚构了一个低点或漏掉了一次降价,判定结果就会彻底反转。

因此,折扣核查工具的标准不是“大体准确”。而是“绝不虚构低点,绝不遗漏低点,无法确定时如实说明”。一月大促的窗口期在圣诞节前就已开启,这意味着下一次判定的计时已经开始。