← すべての記事

FourA Digest: 2026年11月6日 - 11月13日

Autoでサイトの検証が設定したcookieを返せるようになり、自社APIへの呼び出しにそのまま利用可能になりました。あわせて失敗レポートの明確化と、検証ウィジェット向けのBrowserステップを追加しました。

ハイライト

多くのサイトでは、チェックによってリクエストが通過した瞬間にcookieを設定し、それを送り返さないリクエストに対しては自社APIへのアクセスを拒否します。Autoはセッション内でそのcookieを返すようになったため、サイトのAPIへの後続呼び出しをSingleで実行できるようになりました。また、失敗したAuto呼び出しではサイトが実際に返した内容が示され、削除されたページの場合は数秒で呼び出しを終了します。さらにBrowserは、一部のサイトが拒否ページ上に配置する検証ウィジェットを完了します。

新機能

Autoがページを開いたcookieを返却

一部のサイトはデータを二重に保護しています。簡易チェックでリクエストが通過するとページが読み込まれますが、その背後にあるJSON(ページのスクリプト自体が行う呼び出し)は、そのチェックで設定されたcookieを送り返した場合にのみ応答します。Autoはsession.cookiesでそのcookieを返すようになったため、ページを開いたセッションでAPIにもアクセスできるようになりました。

ここでのAutoの役割は、一度侵入経路を見つけることです。後続の呼び出しは、同じproxy IDを使用してSingleで実行します。

import requests

H = {"X-API-Key": "pk_live_..."}

# 1) Find the route once
r = requests.post(
    "https://api.foura.ai/api/auto",
    headers=H,
    json={"url": "https://example.com/"},
).json()
s = r.get("session") or {}

# 2) Call the site's own API on Single, with the cookie the check set
body = {
    "method": "GET",
    "url": "https://example.com/api/products?page=1",
    "headers": [["Referer", "https://example.com/"]],
}
if s.get("proxy"):
    body["proxy"] = s["proxy"]
if s.get("cookies"):
    body["headers"].append(
        ["Cookie", "; ".join(f"{c['name']}={c['value']}" for c in s["cookies"])]
    )

data = requests.post("https://api.foura.ai/api/single", headers=H, json=body).json()

ページをRefererとしても送信してください。ページの独自スクリプトが常にこれを送信するため、多くのAPIはこれがないrequestを拒否します。cookieは短命な傾向があるため、APIが再び拒否し始めた場合は、Auto呼び出しをもう1回実行することで新しいcookieを取得できます。ページがどのrequestを発行しているか不明な場合は、現在ベータ版であるChrome拡張機能のDevToolsタブで一覧表示し、任意の呼び出しをそのまま実行可能な形式でコピーできます(cookieとともにコピーされた呼び出しは、サインイン済みセッションを保持している可能性があるため、パスワードと同様に扱ってください)。具体的な手順はAny Page Request as an API Callで解説しています。

さらに2つの小さな変更が加わりました。Autoに送信されたCookieは変更されずにサイトへ届くようになり、ウォームセッションのcookieは送信されなかった名前でのみ追加されます。また、Autoが実行するSingleおよびProxy Finderのrequest(動作するexitの探索を含む)にも指定したheaderが適用されるようになりました。ただし、ブラウザ階層では引き続き送信されません。パターン全体の詳細はReplaying with the sessionに記載されています。

失敗したAuto呼び出しでサイトの応答内容を特定

Autoがルートを見つけられない場合、設定を変更する前にその理由を把握する必要があります。失敗したresponseのattemptReportでは、bot判定ベンダーが特定されない場合でも、requestを拒否したサイト(401、403、429、503、またはチャレンジページ)がdefenseにカウントされるようになりました。削除されたページはstatusRejectedに分類されます。summaryの行にはサイトが返したHTTPステータスが表示され、ブラウザの1日あたりのクォータを使い切ってブラウザを開けなかったかどうかも示されます。

まずはcontentRejectedを確認してください。このカウントはページが返されたものの、設定したvalidateルールによってのみ却下されたことを意味します。これはジョブがSingleやBrowserへ移行する前に修正できる要素です。その他のフィールドについてはWhy an Auto call failedを参照してください。

削除されたページも迅速に終了します。サイトが削除済みページに対して410を返した場合、同じサイトへの呼び出しが複数待機中であっても、Autoは数秒で呼び出しを終了します。削除されたページも結果として記録したい場合は、validate.status.acceptに404または410を指定してください。

Browserがサイト独自の検証ステップを完了

一部のサイトは、検証ウィジェットを含む401や403といった独自の拒否ページを返します。unblocker: trueを指定したBrowserは、ウィジェットが要求するステップを完了し、その遷移先ページを最大10秒間待機するようになりました。

すべての試行が成功するとは限りません。サイトが引き続き拒否する場合、待機後にその確認ページがそのまま返されます。以前と同じresponseとなるため、コードに新たな分岐を追加する必要はありません。

Autoは効果的な対象に絞ってブラウザrequestを使用

一部のサイトでは、1回の呼び出しで最初の数回を超えたブラウザリクエストがページを正常に返すことはめったにありません。Auto はサイトごとにこれを学習するようになりました。呼び出しの最初の3回を超えたリクエストがほぼ機能しない場合、翌日は1回の呼び出しにつき3回までに制限し、代わりに他のルートを試行した上で、再度学習を行います。これにより、1日のブラウザ許容量をより有効に活用できます。プレミアムイグジット経由のブラウザリクエストは制限されません。一部のサイトではそれが唯一のアクセス手段となるためです。

Auto がブラウザルートを見つけたら、大量のリクエストには返されたセッションを Browser 上でリプレイしてください。本番環境のトラフィックにはその構成が適しています。

多くのサイトにおいて、ページ自体はデータそのものではありません。データを保持する API の前段階のハンドシェイクであり、Auto は現在その両方を提供します。