一位工程师打开 Dawn 并提问:“抓取 https://topstartups.io/ 并提取前 10 家初创公司,包含名称、描述、总部、成立年份、URL 以及社交主页,整理为表格格式。”
Agent 思考片刻,抓取页面,解析列表,跟踪每个初创公司的个人资料页面,并返回表格。十行数据。每列均已填充。包含 Pogo、Auctor、Scalify、Omnea、Rivan、Listen Labs、Doppel、Blossom、Avoca 和 Traba。总部遍布布鲁克林、纽约、伦敦、旧金山以及远程。大部分包含 LinkedIn。成立年份在 2020 到 2026 年之间。
该表格是调用了几次 FourA 的输出结果。
本周 Dawn 在其 agent 平台中将 FourA 作为一级工具上线。它位于集成网格中,与 Notion、GitHub 和 Google Drive 并列。获得 FourA 访问权限的 agent 可以抓取公开网页或 HTTP endpoint,解析 response(包括 JSON),提交表单,检查连通性,并从返回内容中提取特定文本或链接。每个 agent 都有明确的访问权限配置。采用按 agent 治理模式,避免出现“每个 agent 都能随意访问互联网”的隐患。
真正有价值的并不是 Agent 能够请求 URL。Web 搜索在 Agent 平台中已经存在了一年。真正有价值的是正在成型的工具形态。
Web 搜索和 URL 提取是两类完全不同的任务。搜索解决的是“互联网上关于 X 是怎么说的?”这是泛化的、生成式的、摘要级的信息。提取解决的是“这是 URL 或 endpoint,抓取它并返回结构化结果。”两者具有不同的可靠性要求、成本模型和失败模式。将它们混在一个工具中,会导致两者的表现都差强人意。
Dawn 的集成方式将两者完全解耦。他们使用 /web-research 能力来处理宽泛的任务,使用 FourA 来处理针对性的提取任务。Agent 会根据实际需求调用合适的工具。这也是我们在 2026 年各类 Agent 平台上看到的成熟演进模式:提取正在从“搜索的附加功能”演变为独立的基础原语。
写给平台工程师
Dawn 将 FourA 封装为 8 个具名工具,分别映射到常见的提取模式:
foura_fetch_page用于 HTML 和文本页面foura_extract_text用于提取干净的可读内容foura_extract_links用于导航、表单、脚本和样式foura_fetch_json用于 API endpointfoura_head_url用于 header、状态码和重定向foura_probe_site用于快速连通性检查foura_submit_form用于免登录表单提交foura_single_request用于任意 HTTP 请求
Agent 根据任务需求进行选择。上面提到的 topstartups 查询按顺序调用了其中三个工具:抓取、提取、后续请求。
整个集成过程非常直接,一天即可完成。底层提供两种 request 模式:针对没有严格防护站点的直连模式(带有浏览器级 request 签名),以及针对其余站点的 proxy 路由模式。两者共享相同的 request 结构:URL、可选的 header 与 body、可选的 response 解析。Agent 根据目标站点的限制策略做出选择。
平台为 Agent 提供的交互契约通常如下:
- 一组精简的能力集(fetch / extract / probe / submit),每个能力对应一个供 Agent 调用的专用工具定义
- 默认采用 proxy 模式,在对延迟或成本敏感时降级到直连模式
- 基于每个 Agent 进行权限控制,确保平台客户保留管控权
- 将结构化 response 解析作为工具参数暴露,而不是隐藏在系统提示词中
但多数平台工程师容易低估长尾场景下的问题。80% 的常规场景(抓取在 200ms 内成功,返回干净的 HTML)相对容易解决。剩下的 20%(针对 request 签名做拦截、在 response 中插入 JS challenge、对云服务 IP 段直接返回 403 的站点)直接决定了你的 Agent 是输出正确答案还是产生幻觉。我们重构 request 链路正是为了解决这类长尾问题,“看起来可靠”和“真正可靠”之间的差距,正是绝大部分工程工作的核心所在。
因此,如果你正在运营一个 agent 平台,而你的客户不断询问他们的 agent 如何才能“直接查看这个 URL”,这就是对应的解决方案。文档位于 /docs。我们很乐意为你提供指导。
对其他所有人而言
你不会看到这些底层细节。你只会注意到,当你向 AI 助手提出一个需要实时查看真实网页的问题时,它能给出准确的回答,而不是胡乱猜测或表示抱歉。
这就是一个足够可靠的数据提取原语所带来的面向用户的成果,其稳定性足以与 GitHub 和 Google Drive 并列出现在集成列表中。它不再是一个研究项目,而是成为了基础管道设施。
为什么这很重要
六个月前,一个需要读取网页的 agent 还需要定制开发。定制的 prompt、脆弱的爬虫、手写的重试逻辑,运气好的时候成功率也只有 60%。这种形态之所以不合理,是因为当时该分层尚未出现。而且 agent 访问的网站一直在变化。Bot 检测从静态信号转向了行为分析,导致临时拼凑的爬虫失效的速度比团队修补的速度还要快。
现在这一层正在成型。Dawn 采用了它并发布了集成。我们预计今年会有更多 agent 平台跟进,并且标准的接口契约也会逐步收敛:一个专用的搜索工具,一个专用的提取工具,单 agent 维度的管控,以及可预测的成本。
我们仍处于早期阶段。但这就是事物兴起时的样子。当一种能力不再是一个复杂项目,而是变成一个即插即用的组件。
如果你正在构建 agent 平台并希望提供相同形态的能力,欢迎联系我们。如果你在 Dawn 上构建 agent,FourA 已经内置其中。直接开启即可。