Google 起诉 SerpApi 案：Bot 验证并非核心争议
两家法院针对 Google 同一 Bot 验证在相隔十一天内作出相反判决。Google 起诉 SerpApi 案表明了如今的判决关键：验证机制背后究竟保护的是谁的内容。
Search、Agent 与 Training：Web 的新 Bot 规则
Cloudflare 现在按用途而非行为对 Bot 进行分类：Search、Agent 或 Training。9 月 15 日的默认设置范围比预期的更窄，而且还缺少了一个关键选项。
网页抓取正在整合。以下是具体变化。
Oxylabs 融资 1.3 亿美元，估值达 36 亿美元。Bright Data 的 ARR 突破 3 亿美元。中端网页抓取 API 正在快速消失。请考虑这五个问题。
2026年为什么 headless 浏览器会泄露更多特征
2026年，检测机制扩大了 headless 与正常浏览器会话之间的差异。如果在生产环境中运行 Puppeteer 或 Playwright，请提前规划应对检测成本。
Cloudflare Precursor: 会话成为新的指纹
Cloudflare 于 7 月 13 日发布了 Precursor。基于会话的行为检测意味着刷新页面不再重置您的 bot 评分。本文将解析其重要性。
Pay-Per-Crawl 正在将 Web 一分为二
Cloudflare 的 Pay-Per-Crawl 市场和 HTTP 402 将 Web 划分为授权数据和公开数据。以下是 2026 年收集 Web 数据的团队将面临的转变。
当 LLM 提取不再划算时
Firecrawl 对 LLM 提取网页的收费是普通抓取的 5 倍。每天 10 万页时，成本模型就会崩溃。探讨 LLM 提取何时物有所值，何时不值。
为什么 Proxy 池规模在 2026 年不再重要
服务商宣传拥有 4 亿个住宅 IP。但在 2026 年，IP reputation 作为防御手段宣告失效，proxy 池规模不再是预测实际成功的指标。
后量子 TLS 与 Wire-Level 指纹击破了基础爬虫
你的 User-Agent header 已经不再重要。在读取 header 之前，连接层指纹已能以 98.6% 的准确率对 bot 进行分类。以下是 2026 年发生的变化。
欧盟 AI 法案终结训练数据的野蛮生长
AI 训练数据收集刚刚从技术问题转变为合规问题。欧盟 AI 法案和日益严格的服务商审查将在 2027 年前重塑行业规则。