受保护的站点
现代网站使用先进的 Bot 检测技术。本指南介绍 FourA 如何在验证访问者身份的网站上获取页面,以及如何提高成功率。
Bot 检测的工作原理
网站通常采用多层防护:
- IP 信誉:数据中心和已知 proxy 地址会被封禁
- 网络指纹:每个 HTTP 客户端都有唯一的握手签名,网站可以检测到该签名
- 浏览器指纹:JavaScript 检查是否存在 headless 浏览器特征
- 行为分析:分析 request 模式、时序和导航路径
- 验证页面:访问者必须完成的可视化任务
response 会标明执行检查的系统;站点检查列出了这些系统。
最快路径:Auto
如果您尚不清楚防护级别,调用 /api/auto/ 时传入仅真实页面才包含的 validate.data.accept 子字符串。Auto 会按成本递增阶梯尝试(轮换 proxy,然后通过 proxy 启动浏览器;使用 forceProxy: false 时,会先进行低成本的直接探测和直接浏览器渲染),并在第一个返回符合规则的 response 的层级停止。对同一主机的重复调用将重放预热会话,因此第二次访问成本极低。
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://protected-site.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Auto 可识别常见的质询页面,并在遇到时继续推进重试。您的 validate.data.accept 字符串可捕获其余情况:未知的验证页面、登录墙或缺少所需内容的页面。完整操作指引请参阅 Smart Fetch 指南。
FourA 如何在各层级提供支持
拟真的底层网络请求
单一 endpoint (POST /api/single/) 发送与真实浏览器匹配的握手特征。网站会像响应浏览器一样对其进行响应,而无需承担运行浏览器的开销。
启用 unblocker 还会注入拟真的浏览器 header (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding)。unblocker 默认开启;仅在需要完全发送自定义 header 且不添加任何默认项时设置 false。
{
"method": "GET",
"url": "https://protected-site.com/data",
"unblocker": true
}
真实浏览器渲染
Browser endpoint (POST /api/browser/) 运行一个完整的 Chrome 浏览器实例。它像访客的浏览器一样执行页面的 JavaScript。Browser 上的 unblocker 会在页面加载前完成其要求的验证(Turnstile 及类似的质询入口);除非你需要原样返回质询页面,否则请保持启用。
代理轮换
Proxy endpoint (POST /api/proxy/) 会在 FourA 的标准出口池中轮换。当目标网站拒绝某个出口或该出口未响应时,下一次尝试将通过另一个出口发出。在后续调用中使用 ignoreProxies 可跳过已失效的出口;使用 maxTries(默认 5,最大 90)可控制重试强度。
仅当 request 明确请求时才会使用高级出口。在包含高级出口的套餐中,exitClass: "premium" 允许 Proxy 在标准池无法访问页面时自动切换到高级出口。成功 response 中的 exitClass 会标明交付所用的出口类型;一旦当期的高级流量耗尽,request 将在标准池中继续进行并返回 standard。详见 exitClass。
国家/地区限定出口
在 /api/proxy/ 上传递 exitCountries,以将代理选择严格限制在目标可见国家/地区白名单内。参数值为双字母代码 (["CZ", "GB"]),会自动去除空格、转为大写并去重。标准池绝不会回退到未请求的国家/地区;如果当前池中没有匹配项,response 将返回 code: "no_eligible_proxy" 并在 details.exitCountries 中附带规范化后的范围,以便你稍后重试而无需放宽限制。高级出口同样受此列表限制:使用 exitClass: premium 时,高级出口会从你指定的国家/地区中发出,并在 response 的 exitCountry 中指明。国家/地区限定功能包含在 Startup 及以上套餐中。在未包含该功能的套餐中,发送 exitCountries 的调用将被拒绝,并返回 403 和 X-FourA-Limit: plan_limit_feature。
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"exitCountries": ["CZ", "GB"],
"request": {"method": "GET", "url": "https://target.example/pricing"}
}'
如果请求中指定了作用域,response 会包含 exitCountry。在信任有效负载之前,请先验证它是否属于你的白名单,然后在后续的 Browser 调用中复用返回的 proxy ID,以确保 JavaScript 渲染通过同一出口进行。
FourA 会提示阻断原因
你无需猜测是哪个系统阻断了 request。当目标运行 Bot 检查时,response 会指明具体系统。
POST /api/single/和POST /api/proxy/返回一个defense对象:defense.vendor表示该系统,defense.solved指明检查是否已通过,defense.present则列出该 response 上识别到的所有内容。POST /api/browser/返回defenseSolved以及defenses.present和defenses.cleared。
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "sgcaptcha",
"solved": true,
"present": ["sgcaptcha"],
"cookie": "_I_=<clearance>"
}
}
由此引出两条规则:
solved: false意味着响应体可能是质询页面而非目标内容。 FourA 从不将质询页面当作正常内容返回,因此解析前请检查该标志。- 质询通过后会提供通行凭证。 当存在
defense.cookie时,在相同出口节点上使用相同的 User-Agent 并将其作为Cookieheader 回传,后续 request 即可完全跳过验证。
FourA 能够识别主流检测系统,包括 eBay、Reddit 和 Amazon 的第一方检测。识别的范围大于绕过:对于能识别但无法绕过的系统,我们会进行上报且绝不增加该 request 的费用。当返回的页面属于此类系统的检测页面时,即使 HTTP 状态码为 200,该 request 也不会计费,并通过 X-FourA-Check-Page header 指明系统名称。完整字段说明、当前支持绕过与仅支持检测的系统列表以及重放示例,请参见 Site checks。
对于 Amazon 的单按钮“继续购物”页面,系统会自动应答而非进行常规绕过。Single、Proxy 和 Browser 会在同一出口节点上点击该按钮并返回真实页面。在启用 unblocker(默认)时,Single 和 Proxy 会在 defense 中将其报告为 retry: "amazon-continue" 并附带 solved: false,费用保持不变。Reddit 的轻量 JavaScript 检测在 Single 和 Proxy 上的处理方式相同:在相同出口节点完成应答,返回真实页面,并以相同价格报告 retry: "reddit-js-check" 及 solved: false。
按防护级别划分的策略
未知防护
使用 auto。它从轮换 proxy 开始,仅在目标站点强制要求时逐级升级,因此每个 host 仅需支付一次探测成本。
低防护(多数站点)
使用带有 unblocker 的 single endpoint。协议层面的特征匹配已完全足够。
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'
中等:质询页面或基础防火墙
使用浏览器 endpoint 通过 JavaScript 质询:
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'
高:行为与指纹检测
使用代理 endpoint 并配置多次重试尝试:
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 10,
"request": {
"method": "GET",
"url": "https://heavily-protected.com/prices",
"unblocker": true
}
}'
对于链式验证页面("Just a moment"、安全检查点)且需要验证通过后的渲染页面,请参阅 MCP Recipes。"受保护页面:优先使用 proxy,需要 JavaScript 时使用 browser" 配方展示了精确的 proxy 到 browser 切换流程。
最佳实践
对未知目标优先使用 auto。 传入
validate规则,让阶梯机制选择成本最低的层级,然后读取响应中的meta.rung以确认生效的引擎。确认后,即可直接调用该引擎处理后续重复流量。复用成功的会话。 执行 auto 调用后,返回的
session(proxy ID + cookies + userAgent)可以通过/api/single/或/api/browser/重放以请求同一主机上的后续页面,并按该 endpoint 自身的价格计费:使用unblocker时 Single 为 2 点数,Browser 为 5 点数(当调用完成页面要求的验证步骤时为 10 点数)。遵守 rate limits。 即使使用了 proxy 轮换,向单个站点每秒发送数百个 request 仍会触发行为检测。请将 request 间隔至少保持在 1 到 2 秒。
保持开启
unblocker。 在 Single 和 Proxy 上,unblocker: true(默认开启)会添加真实的 browser headers。在 Browser 上,它会启用 challenge 求解器。仅在明确需要无附加 headers 的 request 或原始 challenge 页面时才将其关闭。监控成功率。 查看 Dashboard 指标以跟踪持续成功率。成功率骤降通常意味着目标站点更新了防护策略。
跳过失效出口。 如果
/api/proxy/或/api/auto/调用返回的 proxy ID 随后开始失败,请在下次调用时将其传入ignoreProxies,以便 FourA 选择不同的出口。重试前读取
defense。 厂商名称可用于判断是否值得尝试其他 browser profile、是否需要完整渲染,或者该项检测是否必须依赖求解服务才能通过。更换所呈现的 browser。 某些目标会接受某种 browser 而拒绝另一种。在 Single 和 Proxy 上设置
browser、os或version,并读取GET /api/profiles获取当前目录。详情请参阅 endpoint reference。
限制
某些场景需要在 API 之外进行额外处理:
- 受登录保护的内容:FourA 不会为您管理长期登录会话。浏览器端点单次请求接受
cookies;请自行携带会话 cookie。 - 交互式验证任务:FourA 可以识别视觉验证任务并在
defense.present中报告,但不会去完成它们。Turnstile 由 Browser 处理。 - 受国家/地区限制的内容:在
/api/proxy/上使用exitCountries将选择固定到允许的国家/地区。同时检查地址所属网络的网站(如某些具有国家牌照的博彩公司、特定政务服务)可能仍会拒绝来自正确国家/地区的出口。使用exitClass: premium并在exitCountries中指定一个国家/地区时,高级出口还可以从您指定的地区、城市或网络发出:参见 出口位置。当代理池在您允许的国家/地区中没有可用出口时,请求返回no_eligible_proxy。 - 受法律限制的网站:请始终确保您的数据采集行为符合目标网站的服务条款及适用法律。