受保护的站点

现代网站使用先进的 Bot 检测技术。本指南介绍 FourA 如何在验证访问者身份的网站上获取页面,以及如何提高成功率。

Bot 检测的工作原理

网站通常采用多层防护:

  • IP 信誉:数据中心和已知 proxy 地址会被封禁
  • 网络指纹:每个 HTTP 客户端都有唯一的握手签名,网站可以检测到该签名
  • 浏览器指纹:JavaScript 检查是否存在 headless 浏览器特征
  • 行为分析:分析 request 模式、时序和导航路径
  • 验证页面:访问者必须完成的可视化任务

response 会标明执行检查的系统;站点检查列出了这些系统。

最快路径:Auto

如果您尚不清楚防护级别,调用 /api/auto/ 时传入仅真实页面才包含的 validate.data.accept 子字符串。Auto 会按成本递增阶梯尝试(轮换 proxy,然后通过 proxy 启动浏览器;使用 forceProxy: false 时,会先进行低成本的直接探测和直接浏览器渲染),并在第一个返回符合规则的 response 的层级停止。对同一主机的重复调用将重放预热会话,因此第二次访问成本极低。

curl -X POST https://eu.api.foura.ai/api/auto/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://protected-site.com/product/42",
    "validate": {"data": {"accept": ["Add to cart"]}}
  }'

Auto 可识别常见的质询页面,并在遇到时继续推进重试。您的 validate.data.accept 字符串可捕获其余情况:未知的验证页面、登录墙或缺少所需内容的页面。完整操作指引请参阅 Smart Fetch 指南。

FourA 如何在各层级提供支持

拟真的底层网络请求

单一 endpoint (POST /api/single/) 发送与真实浏览器匹配的握手特征。网站会像响应浏览器一样对其进行响应,而无需承担运行浏览器的开销。

启用 unblocker 还会注入拟真的浏览器 header (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding)。unblocker 默认开启;仅在需要完全发送自定义 header 且不添加任何默认项时设置 false。

{
  "method": "GET",
  "url": "https://protected-site.com/data",
  "unblocker": true
}

真实浏览器渲染

Browser endpoint (POST /api/browser/) 运行一个完整的 Chrome 浏览器实例。它像访客的浏览器一样执行页面的 JavaScript。Browser 上的 unblocker 会在页面加载前完成其要求的验证(Turnstile 及类似的质询入口);除非你需要原样返回质询页面,否则请保持启用。

代理轮换

Proxy endpoint (POST /api/proxy/) 会在 FourA 的标准出口池中轮换。当目标网站拒绝某个出口或该出口未响应时,下一次尝试将通过另一个出口发出。在后续调用中使用 ignoreProxies 可跳过已失效的出口;使用 maxTries(默认 5,最大 90)可控制重试强度。

仅当 request 明确请求时才会使用高级出口。在包含高级出口的套餐中,exitClass: "premium" 允许 Proxy 在标准池无法访问页面时自动切换到高级出口。成功 response 中的 exitClass 会标明交付所用的出口类型;一旦当期的高级流量耗尽,request 将在标准池中继续进行并返回 standard。详见 exitClass。

国家/地区限定出口

在 /api/proxy/ 上传递 exitCountries,以将代理选择严格限制在目标可见国家/地区白名单内。参数值为双字母代码 (["CZ", "GB"]),会自动去除空格、转为大写并去重。标准池绝不会回退到未请求的国家/地区;如果当前池中没有匹配项,response 将返回 code: "no_eligible_proxy" 并在 details.exitCountries 中附带规范化后的范围,以便你稍后重试而无需放宽限制。高级出口同样受此列表限制:使用 exitClass: premium 时,高级出口会从你指定的国家/地区中发出,并在 response 的 exitCountry 中指明。国家/地区限定功能包含在 Startup 及以上套餐中。在未包含该功能的套餐中,发送 exitCountries 的调用将被拒绝,并返回 403 和 X-FourA-Limit: plan_limit_feature。

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 5,
    "exitCountries": ["CZ", "GB"],
    "request": {"method": "GET", "url": "https://target.example/pricing"}
  }'

如果请求中指定了作用域,response 会包含 exitCountry。在信任有效负载之前,请先验证它是否属于你的白名单,然后在后续的 Browser 调用中复用返回的 proxy ID,以确保 JavaScript 渲染通过同一出口进行。

FourA 会提示阻断原因

你无需猜测是哪个系统阻断了 request。当目标运行 Bot 检查时,response 会指明具体系统。

  • POST /api/single/ 和 POST /api/proxy/ 返回一个 defense 对象:defense.vendor 表示该系统,defense.solved 指明检查是否已通过,defense.present 则列出该 response 上识别到的所有内容。
  • POST /api/browser/ 返回 defenseSolved 以及 defenses.present 和 defenses.cleared。
{
  "status": 200,
  "data": "<!doctype html>...",
  "defense": {
    "vendor": "sgcaptcha",
    "solved": true,
    "present": ["sgcaptcha"],
    "cookie": "_I_=<clearance>"
  }
}

由此引出两条规则:

  1. solved: false 意味着响应体可能是质询页面而非目标内容。 FourA 从不将质询页面当作正常内容返回,因此解析前请检查该标志。
  2. 质询通过后会提供通行凭证。 当存在 defense.cookie 时,在相同出口节点上使用相同的 User-Agent 并将其作为 Cookie header 回传,后续 request 即可完全跳过验证。

FourA 能够识别主流检测系统,包括 eBay、Reddit 和 Amazon 的第一方检测。识别的范围大于绕过:对于能识别但无法绕过的系统,我们会进行上报且绝不增加该 request 的费用。当返回的页面属于此类系统的检测页面时,即使 HTTP 状态码为 200,该 request 也不会计费,并通过 X-FourA-Check-Page header 指明系统名称。完整字段说明、当前支持绕过与仅支持检测的系统列表以及重放示例,请参见 Site checks。

对于 Amazon 的单按钮“继续购物”页面,系统会自动应答而非进行常规绕过。Single、Proxy 和 Browser 会在同一出口节点上点击该按钮并返回真实页面。在启用 unblocker(默认)时,Single 和 Proxy 会在 defense 中将其报告为 retry: "amazon-continue" 并附带 solved: false,费用保持不变。Reddit 的轻量 JavaScript 检测在 Single 和 Proxy 上的处理方式相同:在相同出口节点完成应答,返回真实页面,并以相同价格报告 retry: "reddit-js-check" 及 solved: false。

按防护级别划分的策略

未知防护

使用 auto。它从轮换 proxy 开始,仅在目标站点强制要求时逐级升级,因此每个 host 仅需支付一次探测成本。

低防护(多数站点)

使用带有 unblocker 的 single endpoint。协议层面的特征匹配已完全足够。

curl -X POST https://eu.api.foura.ai/api/single/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'

中等:质询页面或基础防火墙

使用浏览器 endpoint 通过 JavaScript 质询:

curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'

高:行为与指纹检测

使用代理 endpoint 并配置多次重试尝试:

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 10,
    "request": {
      "method": "GET",
      "url": "https://heavily-protected.com/prices",
      "unblocker": true
    }
  }'

对于链式验证页面("Just a moment"、安全检查点)且需要验证通过后的渲染页面,请参阅 MCP Recipes。"受保护页面:优先使用 proxy,需要 JavaScript 时使用 browser" 配方展示了精确的 proxy 到 browser 切换流程。

最佳实践

  1. 对未知目标优先使用 auto。 传入 validate 规则,让阶梯机制选择成本最低的层级,然后读取响应中的 meta.rung 以确认生效的引擎。确认后,即可直接调用该引擎处理后续重复流量。

  2. 复用成功的会话。 执行 auto 调用后,返回的 session(proxy ID + cookies + userAgent)可以通过 /api/single/ 或 /api/browser/ 重放以请求同一主机上的后续页面,并按该 endpoint 自身的价格计费:使用 unblocker 时 Single 为 2 点数,Browser 为 5 点数(当调用完成页面要求的验证步骤时为 10 点数)。

  3. 遵守 rate limits。 即使使用了 proxy 轮换,向单个站点每秒发送数百个 request 仍会触发行为检测。请将 request 间隔至少保持在 1 到 2 秒。

  4. 保持开启 unblocker。 在 Single 和 Proxy 上,unblocker: true(默认开启)会添加真实的 browser headers。在 Browser 上,它会启用 challenge 求解器。仅在明确需要无附加 headers 的 request 或原始 challenge 页面时才将其关闭。

  5. 监控成功率。 查看 Dashboard 指标以跟踪持续成功率。成功率骤降通常意味着目标站点更新了防护策略。

  6. 跳过失效出口。 如果 /api/proxy/ 或 /api/auto/ 调用返回的 proxy ID 随后开始失败,请在下次调用时将其传入 ignoreProxies,以便 FourA 选择不同的出口。

  7. 重试前读取 defense。 厂商名称可用于判断是否值得尝试其他 browser profile、是否需要完整渲染,或者该项检测是否必须依赖求解服务才能通过。

  8. 更换所呈现的 browser。 某些目标会接受某种 browser 而拒绝另一种。在 Single 和 Proxy 上设置 browser、os 或 version,并读取 GET /api/profiles 获取当前目录。详情请参阅 endpoint reference。

限制

某些场景需要在 API 之外进行额外处理:

  • 受登录保护的内容:FourA 不会为您管理长期登录会话。浏览器端点单次请求接受 cookies;请自行携带会话 cookie。
  • 交互式验证任务:FourA 可以识别视觉验证任务并在 defense.present 中报告,但不会去完成它们。Turnstile 由 Browser 处理。
  • 受国家/地区限制的内容:在 /api/proxy/ 上使用 exitCountries 将选择固定到允许的国家/地区。同时检查地址所属网络的网站(如某些具有国家牌照的博彩公司、特定政务服务)可能仍会拒绝来自正确国家/地区的出口。使用 exitClass: premium 并在 exitCountries 中指定一个国家/地区时,高级出口还可以从您指定的地区、城市或网络发出:参见 出口位置。当代理池在您允许的国家/地区中没有可用出口时,请求返回 no_eligible_proxy。
  • 受法律限制的网站:请始终确保您的数据采集行为符合目标网站的服务条款及适用法律。

后续步骤

更新于: 2026年11月11日