Cloudflare Verified Bots:按 Bot 评级,按公司吊销
Cloudflare 现已依据 robots.txt 和 429 状态码对 Verified bot 进行评级。评级针对单个 bot,但官方文档允许将处罚范围扩大至整个公司。
Cloudflare 现已依据 robots.txt 和 429 状态码对 Verified bot 进行评级。评级针对单个 bot,但官方文档允许将处罚范围扩大至整个公司。
EDPB 的网页抓取指南草案虽针对 AI 训练,但对能够明确证明在具体日期从哪些站点采集了哪些内容的抓取工具极为有利。
抓取 API 标称的“每千次 X 美元起”只是其定价表中最便宜的一档。在你真正需要抓取的目标网站上,积分倍率才是决定实际成本的关键。
两家法院针对 Google 同一 Bot 验证在相隔十一天内作出相反判决。Google 起诉 SerpApi 案表明了如今的判决关键:验证机制背后究竟保护的是谁的内容。
Cloudflare 现在按用途而非行为对 Bot 进行分类:Search、Agent 或 Training。9 月 15 日的默认设置范围比预期的更窄,而且还缺少了一个关键选项。
Oxylabs 融资 1.3 亿美元,估值达 36 亿美元。Bright Data 的 ARR 突破 3 亿美元。中端网页抓取 API 正在快速消失。请考虑这五个问题。
2026年,检测机制扩大了 headless 与正常浏览器会话之间的差异。如果在生产环境中运行 Puppeteer 或 Playwright,请提前规划应对检测成本。
Cloudflare 于 7 月 13 日发布了 Precursor。基于会话的行为检测意味着刷新页面不再重置您的 bot 评分。本文将解析其重要性。
Cloudflare 的 Pay-Per-Crawl 市场和 HTTP 402 将 Web 划分为授权数据和公开数据。以下是 2026 年收集 Web 数据的团队将面临的转变。
Firecrawl 对 LLM 提取网页的收费是普通抓取的 5 倍。每天 10 万页时,成本模型就会崩溃。探讨 LLM 提取何时物有所值,何时不值。