维护陷阱
每个自研 Web 爬虫的工程团队都会经历相同的循环：
- 第 1 周： 构建爬虫。运行良好。
- 第 4 周： 目标网站更新页面布局。修复选择器。
- 第 8 周： 对方部署了新的反爬系统。增加 proxy 轮换。
- 第 12 周： 出现验证页面。接入打码服务。
- 第 16 周： 成功率降至 60%。添加重试逻辑、延迟和指纹伪造。
- 第 20 周： 爬虫系统的复杂度已达到其所支持应用的 10 倍。
听起来很熟悉？
真实成本
我们调研了 50 家运行自研爬取基础设施的公司，发现：
- 平均维护时间： 一个 2 到 3 人的工程师团队每周耗费 15 到 25 小时
- 修复破坏性变更的平均时间： 4 到 8 小时
- 6 个月内成功率衰减： 若无持续投入，下降 20% 到 40%
- 机会成本： 这些工程师本可以去构建产品核心功能
爬虫本身不是产品，数据才是产品。但不知不觉中，爬虫却消耗了大部分工程预算。
获取 Web 数据 Action 的三种方式
1. 自研构建
完全掌控，全权负责。在小规模（每天小于 100 页）且目标稳定的情况下效果很好。随着规模扩大，成本会迅速攀升。
2. 使用托管平台
像 FourA 这类服务负责底层基础设施：proxy、浏览器、浏览器指纹配置、重试逻辑。你只需指定所需的数据。适合需要可靠数据且不想承担运维开销的团队。
3. 购买现成数据集
一些供应商出售针对常见场景（定价、评价、招聘信息）的现成数据集。启动迅速，但缺乏灵活性且数据往往不够及时。
做出决策
问自己三个问题：
- 你需要抓取多少个目标？ 如果少于 10 个稳定网站，自研或许可行。超过 50 个？请使用平台。
- 数据新鲜度有多关键？ 如果需要分钟级的数据，就必须依赖稳定的基础设施。过时的数据集无法满足需求。
- 工程师团队的时间价值几何？ 将维护小时数乘以工程人力成本，这才是自研的真实代价。
对大多数团队而言，平衡点通常在 20 到 30 个目标网站左右。超过这个数量，使用托管平台的经济优势便毋庸置疑。如果你的团队早在几个月前就跨过了这个门槛，却依然在每个周一早晨修补爬虫，也许是时候重新算一笔账了。