亮点
许多网站在验证放行 request 的瞬间便会设置一个 cookie,随后对未回传该 cookie 的任何请求拒绝其 API 访问。Auto 现在会在 session 中返回该 cookie,以便后续对该网站 API 的调用可以在 Single 上运行。失败的 Auto 调用还会明确指出目标网站实际返回的内容,已移除的页面会在数秒内终止调用,并且 Browser 可以完成部分网站在拦截页面上设置的人机验证组件。
新增功能
Auto 返回打开页面时获取的 cookie
部分网站对其数据设有双重防护。当快速检查放行 request 后页面才会加载,而其背后的 JSON(页面自身脚本发起的调用)仅在回传该检查所设置的 cookie 时才会响应。Auto 现在会在 session.cookies 中返回该 cookie,从而使打开页面的 session 同样可以访问其 API。
Auto 在此处的职责是一次性打通入口。后续调用应通过相同的 proxy ID 在 Single 上执行:
import requests
H = {"X-API-Key": "pk_live_..."}
# 1) Find the route once
r = requests.post(
"https://api.foura.ai/api/auto",
headers=H,
json={"url": "https://example.com/"},
).json()
s = r.get("session") or {}
# 2) Call the site's own API on Single, with the cookie the check set
body = {
"method": "GET",
"url": "https://example.com/api/products?page=1",
"headers": [["Referer", "https://example.com/"]],
}
if s.get("proxy"):
body["proxy"] = s["proxy"]
if s.get("cookies"):
body["headers"].append(
["Cookie", "; ".join(f"{c['name']}={c['value']}" for c in s["cookies"])]
)
data = requests.post("https://api.foura.ai/api/single", headers=H, json=body).json()
同时将页面作为 Referer 发送。由于页面自身的脚本总是会发送它,缺少此项时许多这类 API 会直接拒绝请求。这些 cookie 通常有效期较短,因此当 API 再次开始拒绝时,只需再执行一次 Auto 调用即可获取新 cookie。如果您不知道页面发出了哪个请求,我们仍处于测试阶段的 Chrome 扩展程序的 DevTools 标签页会列出这些请求,并可将其中任何一个复制为现成的调用(附带 cookie 复制的调用可能包含已登录会话,请妥善保管,视同密码)。我们在 将任意页面请求转为 API 调用 中展示了具体操作方法。
另外还有两项较小的改动。您发送给 Auto 的 Cookie 现在会原封不动地传递给目标站点,预热会话中的 cookie 仅会在您未指定的名称下补充添加。您的请求头现在也会随 Auto 发起的 Single 和 Proxy Finder 请求一起发送,包括其寻找可用出口的过程,而浏览器层级仍不会发送它们。完整模式见 利用会话进行重放。
失败的 Auto 调用会明确指出站点的响应内容
当 Auto 找不到可用路由时,在进行任何调整之前,您都需要明确原因。现在,失败响应中的 attemptReport 会将拒绝请求的站点(401、403、429 或 503,或是验证挑战页面)归入 defense,即便未能识别出具体的反爬供应商也是如此。已删除的页面会归入 statusRejected。summary 行会标明站点返回的 HTTP 状态,并在每日浏览器配额耗尽导致无法启动浏览器时给出提示。
建议先从 contentRejected 排查。该计数意味着页面已正常返回,仅因您自己的 validate 规则而被判定不合格,这是在任务转入 Single 或 Browser 之前您可以自行修复的问题。其余字段见 Auto 调用失败的原因。
已删除的页面也会快速结束。当站点对已下线的页面返回 410 时,Auto 会在数秒内结束调用,即便您有多个针对同一站点的调用正在排队。如果已删除页面是您需要记录的结果,请在 validate.status.accept 中列出 404 或 410。
Browser 会自动完成站点自身的验证步骤
部分站点会返回自带的拦截页面,即带有验证挂件的 401 或 403。带有 unblocker: true 的 Browser 现在会自动完成挂件要求的验证步骤,并最多等待 10 秒以加载其跳转的目标页面。
并非每次尝试都能成功。因此当站点仍然拒绝时,您在等待结束后仍会收到该验证页面,与之前的返回结果一致,您的代码无需增加新的分支处理。
Auto 将浏览器请求用在真正需要的地方
在某些站点上,单次调用中前几个之后的浏览器 request 很少能成功返回页面。Auto 现在能够按站点学习这一特征。如果某站点在调用超过前三次 request 后几乎从未成功,它会在接下来的一天内将每次调用限制为三次,转而尝试其他路由,之后再重新评估。这能让您的每日浏览器配额支撑更久。通过高级出口的浏览器 request 不受此限制,因为在少数站点上,它们是唯一的访问途径。
当 Auto 找到可行的浏览器路由后,请在 Browser 上重放其返回的 session 以承载大流量。生产环境的流量理应部署在那里。
在越来越多的站点上,页面本身并不包含数据。它只是获取数据所在 API 之前的握手过程,现在 Auto 会将两者一并交付给您。