选择合适的 Endpoint
FourA 提供四个 request endpoint,分别针对不同场景进行优化。选择正确的 endpoint 可以节省时间、降低成本并提高成功率。
快速决策指南
在以下情况下使用 auto endpoint:
- 目标是新站点,尚不清楚其具体需求
- 希望单次调用即可自动处理 proxy 轮换和 browser 回退
- 希望获得可在下次调用同一主机时以低成本重放的 session
在以下情况下使用 single endpoint:
- 页面由服务端渲染(不需要 JavaScript)
- 需要极致速度(通常在 1 秒以内)
- 正在请求已知可正常访问的主机的 API 或静态 HTML 页面
在以下情况下使用 browser endpoint:
- 页面依赖 JavaScript 渲染内容
- 内容在初始页面加载后异步载入
- 需要完全渲染后的 DOM
在以下情况下使用 proxy endpoint:
- 目标站点主动拦截 request
- 需要轮换多个 IP 地址
- 之前的尝试返回了 403 或验证页面
Endpoint 对比
Auto (POST /api/auto/)
智能抓取 endpoint。传入一个 URL 和(最好同时提供)一条 validate 规则,FourA 会按照成本递增阶梯依次尝试:首先使用轮换 proxy,随后使用经由 proxy 的完整 browser。如果设置了 forceProxy: false,系统会在此之前先执行低成本的直连探测和直连 browser 渲染。只要某个阶段返回了符合 validate 的 response 即判定成功。重复调用同一主机时会重放热 session,从而降低后续调用成本。
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
典型响应时间: 200ms(预热)至 30s+(高难度站点冷启动解算) 适用场景: 新目标、混合防护站点、“只需获取页面内容”
更深入的分步说明,请参阅 Smart Fetch 指南。
Single (POST /api/single/)
最快的选项。发送具有逼真浏览器线缆特征的 HTTP 请求,无需启动浏览器进程。
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://example.com/api/products"}'
**典型响应时间:**200ms 至 2s **适用场景:**API、新闻网站、博客、静态产品页面
浏览器 (POST /api/browser/)
在 Chrome 浏览器实例中打开您的 URL。页面将完整加载,执行 JavaScript,并返回最终渲染的 HTML。
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/spa-app",
"timeout_ms": 15000,
"checkText": "data-table"
}'
典型响应时间: 2秒至10秒 适用场景: 单页应用 (SPA)、带懒加载的网站、JavaScript渲染的内容
Proxy (POST /api/proxy/)
结合 HTTP request 与自动 proxy 轮换。若首次尝试失败或被阻止,FourA 会通过不同的 proxy 重试。
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"request": {
"method": "GET",
"url": "https://example.com/pricing"
}
}'
典型响应时间: 1 到 5 秒 最适合: 电商价格监控、旅游聚合、带有 Bot 检测的站点
自动 vs 手动
什么时候该让自动模式自行选择,什么时候该自行调用 Single、Proxy 或 Browser?
| 选择自动 | 选择手动 |
|---|---|
| 尚不清楚目标站点的具体需求 | 确切了解目标站点所需的引擎 |
| 希望一次调用即可直接生效 | 针对已知目标优化 request 结构 |
| 接受自动模式复用已学习的 session | 希望完全控制每次调用的重试、超时和 proxy 选择 |
| 愿意为首次调用数秒的探测买单 | 首次调用的延迟比策略探索更关键 |
自动模式并不总是更便宜的选择。如果你已经知道目标站点可以在开启 unblocker 的情况下通过 Single 运行,直接调用 Single 会跳过阶梯探测并消耗 2 个点数。在相同目标上使用自动模式,则按其阶梯探测实际消耗的点数计费。
何时结合使用不同方案
部分工作流可以从结合使用多个 endpoint 中获益:
- 通过自动模式探索:传入一个
validate规则,让阶梯策略确定站点需要的档位。 - 通过 single 重放:提取自动模式返回的
session.proxy、session.cookies和session.userAgent,然后携带这些参数调用 Single,以抓取同一 host 上的后续页面。 - 回退至 browser:如果 single 开始失败,切换至 browser 渲染。
- 加入 proxy:如果在未使用自动模式时请求被拒绝(403 或验证页面),可通过 proxy endpoint 包装你的 request 实现自动轮换。
这种递进式方案能够在维持高成功率的同时降低成本。
性能提示
- 在受保护的目标上传入
validate.data.accept子字符串。自动模式能自行识别常见的质询页面,但只有你的规则才能捕获未知的验证页面,或是未加载所需内容的页面。 - 对已知可正常工作的 host 默认使用 single endpoint,仅在需要时进行升级。
- 在 browser 请求中设置
checkText,使未渲染出内容的页面返回失败(checkText:<text> not found)而非成功。checkText不会让 FourA 额外等待文本出现。 - 在 proxy 请求中设置
maxTries以控制重试行为(默认值为 5,最大值为 90)。 - 保持
timeout_ms设置合理:大多数页面建议 10 到 15 秒,针对受保护站点的冷启动自动运行建议 30 秒以上。
后续步骤
- 智能抓取 (Auto):深入了解
/api/auto/ - API Endpoints:完整参数参考
- 抓取动态网站:分步 browser 请求指南
- 快速入门:30 秒内完成你的首次 request