ハイライト
いずれかのサーバーが停止しても、次のrequestは別のサーバーにルーティングされます。API、proxyポート、MCPサーバー、サインイン、およびサイトはスタンバイサーバーでも稼働するようになり、トラフィックは自動的にフェイルオーバーされます。また、rate limitの仕様を変更し、わずかな超過に対する過度な制限を廃止しました。割り当て分は通常どおり処理され、超過分のみが拒絶されます。
アップデート内容
すべてのエンドポイントにスタンバイサーバーを配備
メインサーバーが応答しなくなった場合でも、クライアント側の設定変更なしでトラフィックはスタンバイサーバーへ移行します。キー、ホスト、proxyユーザーはすべてそのまま利用可能です。
現在処理できないサーバーに到達したrequestは、エラーを返さず処理可能な別のサーバーへと転送されます。この切り替え処理中も、稼働中のサーバーへのコール速度が低下することはありません。
rate limit: ロックアウトせず超過分のみを制限
SingleまたはProxy Finderでプランの1分あたりの制限をわずかに超過した場合でも、制限値までのrequestは通常通り処理され、超過した分のみが拒絶されるようになりました。拒絶されたrequestは分間カウントに含まれません。次のrequestが通るタイミングはRetry-Afterで通知されます。
短時間に過度なリトライを繰り返した場合は一時停止措置が取られます。1分間の拒絶数が許容量の2倍を超えると、cooldown: trueヘッダー付きで30秒間の待機レスポンスが返されます。この待機中の拒絶はカウントされないため、クライアントがリクエストを送り続けていても30秒後に自動解除されます。新しいproxyポート接続にも同じルールが適用され、トンネルが確立されなかった接続は分間カウントに含まれません。
import time
import requests
def single(url, key, tries=5):
for _ in range(tries):
r = requests.post(
"https://api.foura.ai/api/single",
headers={"X-API-Key": key},
json={"url": url},
)
if r.headers.get("X-FourA-Limit") != "plan_limit_rate":
return r
# same header on the 30-second pause; the body adds "cooldown": true
time.sleep(int(r.headers.get("Retry-After", "1")))
return r
すべてのフィールドはrate limitsページに記載されています。
Autoはすべてのアクセスを拒否するサイトで早期に終了します
Browserを含め、Autoが試行したすべての出口をサイトが拒否する場合、割り当てられた予算を使い果たすまで試行を繰り返すのではなく、数回の試行後に呼び出しを終了するようになりました。Proxy Finderが以前に処理したサイトでは、Autoはまず独自のvalidateルールに従ってProxy Finderにページを問い合わせますが、該当なしで返された場合の検索コストはゼロです。
さらに2つの変更により、Autoが指定されたリソースの範囲内に収まるよう維持されます。ビジー状態のセッションや、同一サイトで処理中の別のrequestを待機している呼び出しは、指定されたtimeout_ms内にtime budget exhaustedエラーで終了するようになったため、リトライするか予算を引き上げることができます(詳細はcommon issuesを参照してください)。また、JSONページは取得ルートに関係なくテキストとしてdataで返されるため、単一のパーサーですべての呼び出しを処理できます。
これらの変更はいずれも、Autoの目的を変えるものではありません。Autoはルートを特定します。特定後は、返されたsessionを/api/singleまたは/api/browserで再生し、そこにトラフィックを集中させてください。
追加のステップが必要なページ
Browserは、スクリプトを実行した後にリロードして実際のコンテンツを表示する短い待機ページに対応し、その遷移先ページを返すようになりました。Autoは同一の出口でこのようなページをBrowserに引き渡すため、呼び出しはサイトのコンテンツを取得して終了します。
一部のAmazon商品ページでは、最初に「Continue shopping」のクリックが求められます。SingleおよびBrowserは同一の出口でそのボタンをクリックし、商品ページを返すようになりました。Proxy FinderおよびAuto経由の呼び出しでも同様に処理されます。
Browserはまた、タイムアウトまで待機するのではなく、読み込み後に別のアドレスへ遷移するページにも追従します。送り返された__Secure-または__Host-という名前のcookieには、そのプレフィックスが必要とする属性が付与されるようになり、ページ側で保存されたセッション全体が認識されます。
Proxy Finderと、より明確になった2つのエラー
Proxy Finder経由のプレーンHTTP requestは、HTTPSで常に行われていたのと同様に、まずサイトへの直接接続を開始するようになりました。独自のページで応答したり、無関係なサイトに同一のbodyを返したりするproxyはスキップされ、requestは次のproxyへと進みます。
名前解決できないホスト名を持つ独自のproxy URLをSingleまたはBrowserに渡すと、ターゲットの場合と同様にホスト名を指定したエラーとともにstatus 0が返されます。api.foura.aiまたはeu.api.foura.ai自体を対象としたrequestには、取得や課金が行われる前に即座に400が返されます。このエラーは、元ページではなくAPI URLを基準にリンクが解決されたという、よくある原因を示しています。
ダッシュボード、サインアップ、請求
- foura.aiで開始したサインアップはDashboardに直接遷移し、Overviewで最初のリクエスト送信まで案内されます。APIキーを作成し、ターミナルまたはPlaygroundからリクエストを送信します。モバイル環境ではPlaygroundから手順が開始され、プロキシポートにはプロキシユーザーに基づいた個別ステップが用意されます。
- モバイルや幅の狭いウィンドウでは、Playgroundでレスポンスを受信すると即座に画面内へスクロールされます。
- ドメイン別およびクライアントIP別の使用状況は、ページ分割前に期間内の全行をランク付けするため、1ページ目に正確な上位エントリが表示されます。
- Overviewカードは読み込み中であっても選択した期間に従って更新され、期間選択ダイアログは現在表示中の期間を開いた状態で起動します。また、サイドバーのTools配下にDocsリンクを追加しました。
- 手動発行の請求書が、自動発行分と並んでBillingページに表示されるようになりました。EU VATを含む請求書には、事前に発表された変更も含め、販売日時点で有効な税率が適用されます。
各項目の詳細はupdates.foura.aiに記載されています。
内部構造
プロキシポートは開いているトンネル数をリアルタイムでカウントし、インスタンス再起動によって終了したトンネルは数秒以内にカウントから除外されます。そのため、プランで許可された並行数をそのまま維持して利用できます。
最も優れたフェイルオーバーとは、ダイジェストで後から知るような、意識させられない仕組みです。