单个 Bot 的不良记录可能连累整家公司
Cloudflare 用驾照来解释其全新的 Bot 分级机制:驾照能证明某人的身份,却无法保证他们明年是否会合规驾驶。比喻很贴切。不过,这漏掉了一个细节。吊销驾照只是让一名司机无法上路,而在 Cloudflare 的规则下,一条不良记录可能让一家公司运行的所有 Bot 全军覆没。
10 月 16 日,Cloudflare 表示目前正在对 Verified bot 进行持续评估,目前主要依据两个信号:其流量是否随时间推移始终遵循站点的 robots.txt,以及它们在收到 HTTP 429 后是否会减速。评估结果会形成一个“信任等级”(trust band)。工程师看到这里首先会想到重试逻辑,而 Crawlbase 针对高评分抓取循环撰写的长文 是个不错的切入点。
我们认为重试逻辑只是次要部分。如果你为客户构建爬虫,真正重要的问题是谁的名字出现在登记列表中。
实际发布了什么
内容比媒体标题宣传的要少。Cloudflare 表示在积累历史数据期间,“已在内部使用该系统”。Radar 上的公开评分以及站点所有者可自行选择的阈值均采用将来时态表述,未附带具体日期。目前 Cloudflare 发布的任何内容都尚不能让站点仅凭信任等级就将你的爬虫拒之门外。
适用范围也很有限。仅有 Verified 列表中的 Bot 包含在内,其余一概不参与评分。而其余部分几乎占据了绝大多数:在 10 月的 Cloudflare Connect 上,该公司表示只有不到十分之一的自动化请求来自主动表明身份的 Bot。
因此,如果你的爬虫不在该列表中,本次公告并不会对你进行评分。
**这意味着:**该账本尚未对站点所有者开放,且绝大多数自动化流量并不在其中。当前需要关注此事的,是那些拥有已列出爬虫,或计划申请列出的团队。
处罚波及的范围远大于评分本身
这是我们读过的相关分析都忽略的一点。信任等级针对的是单个 Bot。但后果绝不仅限于此。Cloudflare 于 11 月 2 日更新的 Verified bots 文档中指出,在发生屡次违规后,官方“可能会撤销某组织拥有或运营的所有 Bot 和 Agent 的 Verified 状态”,并明确提到了某家公司“一个 Bot 或 Agent 遵守政策,而另一个却违背政策”的情况。
设想你是一家小型技术外包团队。一家公司,多个客户项目,名录中仅有一个主体名称。某个客户希望在周五前拿到商品目录,并要求你提高请求速率。如果该任务在触发 429 后依然不减速,并持续这么做,代价可能不会只由该任务承担。它可能会降临到整个公司头上,波及旗下运行的所有其他项目。
同一页面展示了为什么这一变化会迅速波及商业业务。Cloudflare 的目录 BotBase 现已列出一项“Data Collection”行为,定义为“价格抓取、竞品情报收集以及第三方分析”。它与 Search 和 Training 并列。商业数据采集可以成为一项明确声明的具名活动,我们认为这是个好消息。
但请注意旁边的标签。Bot 要么是 Direct(单一运营方,通常部署在自有基础设施上),要么是 Intermediary(“广泛最终用户均可操作的代理式服务”)。Cloudflare 将第二类群体面临的问题称为传递信任:你可能会信任运营方,但不会信任所有驱动它的人,因此它正在尝试转发最终用户的详细信息。抓取代理服务除了在法律文书上有所不同,在其他各个方面都是事实上的 Intermediary。
429 并不总是因为速率
第二个信号听起来很简单。Cloudflare 将 429 称为“要求访问方降低其 request 速率的指令”,并观察之后的流量是否减缓或暂停。
但站点使用该状态码的场景不仅限于负载控制。Crawl Readiness 于 10 月 12 日测试了 Tranco 前 1,000 名的站点,先以浏览器身份请求各个主页,随后以四种 AI 爬虫的身份请求,每个站点大约发起十次 request 且不进行重试。在拒绝爬虫访问且自身 robots.txt 允许抓取的 78 个站点中,有 14 个仅返回了 429(仅单次遍历且仅依赖 User-Agent 字符串,因此仅供参考)。
作者将这些情况归为可能的 rate limit,这种处理方式非常严谨。我们的理解则不同。一个在收到少量 request 后,对浏览器返回 200 却对具名爬虫返回 429 的站点,大概率不是在反馈网络拥堵。它是在借用网络拥堵的话术表达自己的偏好。
因此,将所有 429 视为同一种指令的评分系统有时会测错方向,而站点极少会明确告知你属于哪种情况。并发上限、每分钟限制以及干脆的拒绝,返回的都是同样的三个数字。
常见的客户端实现也没有改善这一状况。很多重试代码等待 Retry-After 耗尽后,便继续以导致被拒的原速率运行。Crawlbase 的本地测试给出了具体数据:在每秒两次 request 的限制下,保持原有速率的循环在 40 次 request 中被拒 13 次,而降低速率上限的循环仅被拒 3 次,且每秒获取的页面反而更多(1.11 对比 0.94)。这只是一个简易测试服务器。但趋势依然成立。
**这意味着:**如果你的 bot 在 Verified 列表中,放慢速度是评分系统认可的解决方案,而且成本比看起来更低。但务必记录收到的响应,因为其中部分 429 根本与你的速率无关。
签名与合规正在分道扬镳
Google 的文档体现了这种矛盾。其最近于 10 月 13 日更新的 Web Bot Auth 页面指出,作为一项实验,Google-Agent 请求的一个子集已包含签名。而在列出 Google-Agent 的 用户触发抓取工具页面上,又指出由于抓取由用户发起,这些抓取工具“通常会忽略 robots.txt 规则”。
因此,Google 在证明是谁发送了 request 的同时,却拒绝遵守其他所有人可能都要据此受评的文件。Cloudflare 的文章并未说明将如何判定用户主导的抓取。如果你正在构建 agent,这一边界值得密切关注,因为“有人主动要求获取此内容”即将拥有极高的话语权。
这对为客户构建爬虫的团队意味着什么
按署名主体对业务分类。 拥有专属公开爬虫且用途单一明确的产品,很适合申请 Verified 状态。若是使用贵公司名称为多个不同客户运行作业的集群,情况就复杂得多,因为某一个客户的任务可能会拖累整个列表资格。
将爬取规范写入合同。 如果客户可以要求更高的速率,合同中应明确后果由谁承担。一旦 429 被计入记录,“加快速率”就不再是一项零成本的要求。
保留自己的日志。 针对每个 host 记录状态码、Retry-After 以及调整前后的速率。Cloudflare 承诺提供可解释的评级区间,但尚未说明运营方该如何提出异议,如果没有自己的数据,评级方的说法就成了唯一的依据。这与 EDPB 指南草案所鼓励的做法一致:有能力证明你在何时、从何处采集了什么数据。
不要再将 robots.txt 视为许可证明。 Cloudflare 的文章直接指出:“并未暗示未明确说明的内容均被允许。”RFC 9309 从来不是授权许可,而现在已经有人开始据此进行评估记录。
无人展开的下拉菜单
我们在 8 月曾写道,网络正在按目的而非行为对 Bot 进行分类,而默认配置则是促成策略成为行业规范的关键途径。两个月后,行为判定如期而至。默认配置的影响已经可以量化:Crawlbase 在 10 月 30 日对 Tranco 前 2000 个站点的扫描中发现,有 71 个站点的 robots.txt 中包含 Content-Signal 行,其中 39 个使用了完全相同的 Cloudflare 托管默认设置。按次付费爬取与此机制所需要的核心相同:一个实名买家。
我们的判断是:当信任阈值功能上线时,大多数网站都会直接沿用预设值,而目标站点对你爬虫的态度,往往只是一个没人点开过的下拉菜单。我们自身在这一状态码的两端都有实践。当套餐配额阻断某次调用时,FourA API 会 标明该限制,并且仅在等待确实有效时才发送 Retry-After;同时 Proxy Finder 会针对该目标站点让受限出口暂停请求,等待时长由其 Retry-After 指定。429 从来都只是一个请求层面的信号。它即将转变为一种记录。