2026年3月,来自23个欧盟国家以及冰岛和挪威的消费者监管机构公布了他们对“黑色星期五”和“网络星期一”促销活动的审查结果:在抽检的314家网上商店中,有30% 存在不合规引用折扣的情况。这些商店违反的规则其实只有一句话。但要核实违规行为,所依赖的数据必须在促销开始前一个月就启动收集。
面临的挑战
根据欧盟《价格指示指令》(Price Indication Directive),宣布降价的商店必须以过去30天内执行过的最低价格作为基准参考价。《综合指令》(Omnibus Directive)于2019年增加了该规定,各商店自2022年起必须遵守。今年的“黑色星期五”是11月27日,这意味着决定黑五“原价”是否真实的观测窗口早在10月28日就已开启。等到促销横幅挂出才启动的跟踪程序,整整晚了一个月。
欧盟委员会基于 Apify 构建的自主监控系统,在2022年黑五排查中覆盖了176家商店的16,000款产品,到2025年10月已协助审查了来自1,556家零售商的136,931款产品。该系统收集了促销期间及前30天的价格,并保存了每个页面的截图作为证据。Oxylabs 在2024年针对美国市场进行了类似监测:从8月13日起,它每小时跟踪61,172款产品,其中只有4,529款产品既在黑五当天促销,又满足其研究方法所需的连续上架90天要求。商品列表的更迭流转速度远超大多数人的预估。
但难点并不在于规模,而在于统计指标本身。
参考基准价是一个极小值,而极小值完全由单次观测决定。均值可以忽略某一天的数据异常,但极小值就是异常本身。正因如此,爬虫发生错误的两种情形都会彻底扭转判定结果:
- 漏采某一天会掩盖真实低价。 恰好在价格下调的那一天,页面返回了质询拦截页、Cookie 同意弹窗或请求超时。这导致你计算出的最低价高于实际真实值,从而使虚假折扣蒙混过关。
- 误读价格会凭空捏造出低价。 你的解析器错误抓取了“起价”、会员价、其他变体或轮播栏中的配件价格。这导致你计算出的最低价低于实际真实值,从而将合规的真实折扣误判为违规伪造。
降价可能很短暂。在 2025 年黑色星期五研究中,Which? 对英国八家零售商的 175 种商品追踪了一年:83% 的商品在四周促销期之外至少有一次持平或更低的价格,其中一款受追踪的电视机在黑色星期五次日短暂从 1,039 英镑降至 999 英镑。(英国有自己的规则,但对爬虫来说,单日降价的表现完全相同。)
对折扣网站而言,第一类错误会损害公信力。对监管机构、消费者权益组织或新闻编辑室而言,第二类错误则意味着诬陷零售商。
处理方式:缺失就是缺失
你需要一个绝不把失败抓取转化为数值的采集层,以及一个拒绝在存在数据空缺的时间窗口内给出判断的计算逻辑。我们在 另类数据:当拦截被误判为有效数据 中讨论过错误抓取如何变成虚假信号;30 天最低价则是该问题最不容容错的场景。
借助 FourA 这样的平台,涉及的核心组件并不复杂:
- 读取页面前先完成校验。
validate接收一个仅目标商品页面包含的字符串,例如商品自身的货号。验证码页面、“商品未找到”页面或 Cookie 同意弹窗都会直接返回失败调用,由于 由你的规则决定何为成功,因此这类调用不会计费。你的数据行记录的是空缺,而不是错误的价格。 - 保留凭证。 响应中包含
X-FourA-Request-Id。将其与价格、时间戳以及原始 HTML 一同存储。我们的 Activity 日志仅保留 24 小时的 request 预览,因此证据归档必须保存在你这一侧。 - 针对不同商店选择合适的 endpoint。 Single 处理服务端渲染的商品页面。Browser 适用于通过 JavaScript 生成价格的商店。带
exitCountries的 Proxy Finder(若你的方案包含国家定向)可覆盖价格因访问者所在国家而异的商店,这与我们在 门店级杂货价格中遇到的问题类似。
import datetime as dt
import requests
API = "https://eu.api.foura.ai/api/single/"
HEADERS = {"X-API-Key": "pk_live_..."}
def observe(product, parse_price):
"""One observation. A failed fetch is a gap, never a price."""
r = requests.post(API, headers=HEADERS, json={
"method": "GET",
"url": product["url"],
"validate": {
"status": {"accept": [200]},
"data": {"accept": [product["article_no"]]},
},
})
body = r.json()
row = {"day": dt.date.today(), "url": product["url"], "price": None,
"request_id": r.headers.get("X-FourA-Request-Id")}
if r.status_code == 200 and not body.get("error"):
row["price"] = parse_price(body["data"]) # None when it isn't sure
row["html"] = body["data"] # the evidence
return row
def prior_price(rows, sale_day, days=30):
start = sale_day - dt.timedelta(days=days)
priced = [x for x in rows
if start <= x["day"] < sale_day and x["price"] is not None]
if len({x["day"] for x in priced}) < days:
return None # a missing day can hide the lowest price
return min(x["price"] for x in priced)
prior_price 返回 None 是该文件中最有用的一行。无法核验的折扣会进入“无结论”列表,并标明缺失的日期。我们宁愿交付一份带有该列表的报告,也不愿交出一份言之凿凿却完全错误的报告。
还有两项决策应该在促销前做出,而不是促销期间。第一,针对价格变动频繁的品类,每天采样不止一次;Oxylabs 每小时查看一次是有原因的。第二,采集周期要早于 30 天。规则只回溯该时间段,因此在窗口期开启前刚刚调高并一直维持到促销的价格,在规则中是不可见的。这是否属于误导消费者,取决于《不公平商业行为指令》和律师的界定。但你是否能证明这一现象确实发生过,则是一个数据问题,只有更长的历史记录才能给出答案。
结果
基于上述方案的示例场景:某消费者组织从 10 月 1 日到网络星期一,对 3 个国家的 40 家店铺中的 2,000 款产品进行核查,每天两次。
- 244,000 条观测数据, 每条数据都与其 request id 和原始页面一同存储。
- 价格列中零挑战页面。 每一行数据要么通过了产品校验,要么标记为明确的数据缺失。
- 三种结论,而非两种。 折扣判定为违规、合规或“无结论”,第三种会列出缺失的具体日期。
- 附带证据。 每一个被标记的交易都会附带其 30 天最低价背后的时间戳和页面。
- 窗口期前的涨价一目了然。 8 周的历史记录能清晰展现某个价格在 10 月 28 日之前上涨并在 11 月 27 日“跳水”。
- 免费填补缺失。 被拒绝的拉取不计费,因此同日重试仅收取成功调用的费用。
核心要点
大多数爬取管线的构建目标是平均值准确,而平均值往往掩盖了误差。但 30 天规则要求的恰恰是管线最不擅长处理的数据:极值。只要虚构了一个低点或漏掉了一次降价,判定结果就会彻底反转。
因此,折扣核查工具的标准不是“大体准确”。而是“绝不虚构低点,绝不遗漏低点,无法确定时如实说明”。一月大促的窗口期在圣诞节前就已开启,这意味着下一次判定的计时已经开始。