亮点
很多网站会向任何人开放首页,但只要往深处点击一步就会设限。Auto 现在学会了从正门进入:它获取入口页面分发的 session,然后带着该 session 请求你原本想要的页面。Browser 本周承担了更繁重的工作。当多个 request 同时访问同一页面时,它能完成站点的复选框验证;而在页面仍然无法打开时,它会报告自己观察到的具体内容,而不再只返回一个空洞的词。
新增内容
Auto 支持打开依赖 session 设限的页面
在我们现有的所有路由上,eBay 详情页都会拒绝冷 request。但如果该 request 携带 eBay 入口页面向所有访客发放的 cookie jar,同一个 URL 就能顺利打开。无需登录,无需借用账号,完全就是你在浏览器标签页里手动操作能达到的效果。
Auto 现在会自动完成这个流程。当某个 exit 节点连接到源站但在访问深层页面仍被拒绝时,Auto 会通过同一个 exit 获取站点根目录,保留返回的所有 cookie,并再次发起请求。response 会明确告知这一过程:获胜梯级会显示为 warmup。
但成本才是最值得关注的部分。返回的 session 是可复用的,因此该 cookie jar 并没有与获取它的 exit 强行绑定。后续读取可以通过 /api/proxy 重放,并以 2 credits 命中 /api/single。这与我们此前介绍 Cloudflare clearance时提到的“先升级再重放”链路完全一致,只是这里将 cf_clearance 替换成了目标服务商自有的 session cookie。
机制经过刻意限制:每个 request 最多在不同 exit 上尝试两次,仅在深层 URL 已经失败后触发,且前提是该 exit 最初确实成功连接到了源站。因此,对于直接屏蔽我们的站点,最多只会多付两次子调用的开销,绝不会陷入循环。关于阶梯如何选择梯级的更多细节,请参阅 Auto 技术解析。
Browser 支持在 request 并发时通过复选框验证
Browser 现在可以在针对同一页面的并发 request 中完成复选框验证。在受 Turnstile 保护的新闻站点上同时发起三个请求,耗时分别为 5.2 秒、5.8 秒和 9.1 秒。
附带包含两处较小的改动。点击操作只有在部件确实消失后才算完成,因为 Cloudflare 重新下发验证的频率比预期的要高(首次点击往往并不是交互的终点)。此外,成功通过验证的页面会在完成解算的调用上返回 defenseSolved: true,该调用也是计费解算的同一次调用。
被拦截的页面会反馈求解器观察到的情况
"Timeout" 会让人以为是延迟问题。但在多数情况下,问题不在于延迟,解决办法通常只是切换到另一个 exit。
当验证服务拒绝一次尝试时,它会重新下发验证,并在 cookie jar 中写入自己的重试标记。Browser 会读取该标记。它不会一直等待超时,而是在约 17 秒内给出响应,指明验证供应商、已执行的点击操作以及是否获得了 clearance:
Timeout after 12s: the cloudflare challenge did not complete from this exit
(2 checkbox presses, clearance granted, challenge re-issued by the site)
其中一行提示您改用其他方式发送 request。另一行则毫无有效信息。
来自 API 层的错误信息也更加直接明确。超出等待时间的 request 会返回 timeout,无法访问的服务会返回 unavailable;当 request 本身完全没有配置 proxy 时,这两者都不会被归咎为 proxy 问题。Browser 调用中的 timeout_ms 会完全遵循 API 允许的整整 120 秒,因此较慢的目标地址能获得您设定的完整耗时预算,您获取到的是引擎本身给出的判定,而非网关的判断。参数详见 API reference。
账单信息,以及在开票当月更正发票
保加利亚发票的接收方一栏需要打印公司法定代表人(MOL)。系统此前并未收集该项信息,导致该栏只能留空。账单信息中现已加入该字段。
如果发票仍处于开票当月,且其锁定的信息与您当前的账单配置不一致,Invoices 列表现在支持“Update details”。弹窗会明确列出每个变更字段及其变更前后的内容,并清楚说明发票编号、日期和金额保持不变;点击确认即代表您的授权,我们会记录在案。在此窗口期内但无需任何变更的发票会显示“Editable until”及具体日期,让修改期限直观可见,无需事后猜测。
底层机制
Dashboard 运行的所有脚本均由我们自己的源站提供,登录后也只会重定向回本站的路径。
渲染服务的上线部署逐台服务器依次进行,每台服务器都必须成功响应真实页面请求,才会继续部署下一台。
在状态监控页面上,issues endpoint 会通过公共 API 提供未解决和已解决的事项,与页面上列出的内容保持一致。
明确指出原因的拒绝只消耗一次调用。以“Timeout”告终的等待,则意味着需要盲目猜测下一步该如何重试,却付出了相同的成本。错误信息本身就是产品界面的一部分,本周起我们已将其作为正式产品功能来对待。