ハイライト
HTTP 200で返されるボットチェックは、要求したページではありません。今週より、これらに対する課金は発生しなくなります。proxyポートはベータ版を終了し、APIと同様にプランに適用され、Dashboard上で独自のレポートを確認できるようになりました。また、ブラウザのトラフィックをproxyユーザー経由で送信し、ページが生成するリクエストをAPIコールに変換するChrome拡張機能のベータ版をリリースしました。
新機能
チェックページの識別と課金対象外化
一部のサイトは、スクレイパーに対して正常に見える200応答を返しますが、そのbodyはボットチェックです。独自のvalidateルールで捕捉しない限り、これは成功としてカウントされていました。Single、Browser、Proxy Finderがこれらのページを認識するようになりました。リクエストはapplication_errorとして処理され、課金対象外となります。また、X-FourA-Check-Pageヘッダーによりチェックの種類が明示されます。bodyは変更されずにそのまま返されます。
import requests
r = requests.post(
"https://api.foura.ai/api/single",
headers={"X-API-Key": "pk_live_..."},
json={"url": "https://example.com/data"},
)
check = r.headers.get("X-FourA-Check-Page")
if check:
print("bot check, not billed:", check)
さらに3つのチェックページがリストに追加されました。Amazonの「ショッピングを続ける」ロボットチェック、Redditの「人間であることを証明してください」ページ、およびJavaScriptの有効化のみを求めるGoogle検索ページです。RedditでProxy Finderのローテーションが失敗した場合、attemptReportにRedditのチェックによって停止されたことが示されるようになりました。ユーザー自身が設定したvalidate ruleによって拒否されたページとは区別されるため、どちらを変更すべきかが分かります。
Autoは、これらのチェックページをそのまま返すのではなく、試行を継続します。また、一般的な単語をチャレンジとして誤認することもなくなりました。「just a moment」や「access denied」は、ページのタイトルに含まれる場合、または実際のインタースティシャルページと同等のサイズである場合にのみ判定されます。ただし、Autoは現在もパスを探索するための機能です。ルートが見つかったら、返されたセッションを/api/singleまたは/api/browserで再生し、そちらにトラフィックを向けてください。
プロキシポートのベータ版が終了
9月15日以降、プロキシポート経由のトンネルおよびトラフィックは、APIと同様にプランの消費対象としてカウントされます。適用される制限値は、同時オープン可能トンネル数、1分あたりのトンネル確立数、請求期間内の標準トラフィック量の3つです。これらはアカウント単位でカウントされるため、2人目のプロキシユーザーを追加しても枠は増えません。いずれかの上限に達するとポートは429を返し、X-Foura-Errorヘッダーでどの制限に達したかが示されます。Usage & Limitsで各項目の消費状況を確認できます。
有料ネットワークの名称はpremiumに変更されました (-network-premiumおよび-fallback-premium)。接続文字列や保存されたデフォルト設定にresidentialと記載されている場合でも、そのまま動作します。
プロキシユーザーを組織単位で所有できるようになり、担当者が退職してもダウンローダーが停止することはなくなりました。メンバーは参照と名前変更、オーナーおよび管理者はローテーションやターゲットの再設定が可能で、所有権の移転はオーナーのみが行えます。
Overview、Metrics、Activityの各画面は、APIまたはProxyのProductスイッチで切り替えられます。Proxyを選択すると、API requestと同じ結果クラスでトンネルの状況が表示され、現在のオープン数、セットアップ時間、トラフィックがプロキシユーザー、ターゲット、送信元国、クライアントIPごとに分類されて表示されます。proxy port docsにはすべてのユーザー名オプションとレスポンスコードが記載されており、foura.ai/proxyが新しいプロダクトページとなります。
Chrome拡張機能 (ベータ版)
FourA extensionには2つの役割があります。ポップアップからプロキシユーザーを経由してブラウザのトラフィックをルーティングできます。ネットワークと国を選択してスイッチをオンにすると、Webサイト側に認識されるアドレスがステータス行に表示されます。ルーティング対象も制御可能です (リスト以外のすべて、またはリストのみ)。DevTools内のFourAタブでは、Networkパネルと同様にページのリクエストが一覧表示され、任意のリクエストをcURL、Python、Node、MCP呼び出しに変換したり、API keyを付与した状態でPlaygroundで開いたりできます。
現在はベータ版であり、Chrome Web Storeにはまだ公開されていません。DashboardのToolsからダウンロードし、デベロッパーモードでインストールしてください。Botチェックや完全なレンダリングは引き続きAPI側で処理されます。また、cookieを含めてコピーされた呼び出しはサインイン済みのセッションを再現するため、パスワードと同様に取り扱ってください。
PremiumトラフィックとMCPサーバー
Premiumトラフィックはネットワーク側で試行ごとにカウントされるようになりました。標準プールがPremiumエグジットを試行する前に応答したrequestは、引き続きPremiumトラフィックを消費しません。ただし、一度Premiumエグジットが試行されると、その試行でページが取得できなかった場合でも、転送されたバイト数はPremium許容量にカウントされます。プランのトラフィック上限は標準バイト数のみをカウントします。
FourA MCP 0.7.0ではエージェントにも同様の段階的フォールバックが適用されます。foura_proxyはexitClass: premiumを受け付け、標準プールで処理できない場合にのみPremiumエグジットへ移行します。ローテーションに失敗するとattemptReportを返し、自社プランによる拒絶時はターゲット側の拒否に見せかけることなく本来のplan_limit_*コードを保持します。バージョン0.7.1では、エージェントが各ツールを試行錯誤することなく適切なツールを選択できるよう、4つのツールすべての説明文を刷新しました。
Billing and the Dashboard
- ダウングレードや請求サイクルの変更を予約した場合、Billingページに移行動向先プランと移行時期が表示され、Keepボタンでキャンセルできます。
- 銀行側で更新の確認が必要な場合はBillingに表示され、Confirm paymentで保存済みカードによる決済を完了できます。
- 組織のメンバーであれば誰でもPlaygroundで組織のキーを実行できます。キーはMy Keysの下に組織ごとのグループとして一覧表示されます。
- MetricsのUsageパネルには、請求期間内のドメイン数またはクライアントIP数が全体の合計とともに表示され、全データをページ送りで確認できます。
Under the Hood
SiteGroundのチャレンジに対するSingleのソルバーは約5倍高速化され、その配下にあるページが同じコストのままunblocker: trueでより速く返るようになりました。Dashboardの各ページはフォントやフィルターが適用された状態で表示されるため、初期フレーム後のレイアウトシフトが発生しません。また、メインサイトのメニューはProducts、Tools、Resourcesに整理され、全13言語のあらゆる画面幅に収まるヘッダーの下に、APIおよびproxyポート用の新しいページが追加されました。
ステータスコードが語る情報は見た目ほど多くありません。問うべき本質は「200が返ったか」ではなく「ページが返ったか」であり、今やresponseがその問いに直接答えます。