ハイライト
ページを取得できない呼び出しは、迅速にそれを伝えるべきです。Autoはサイトごとに、出口の探索を継続することでページを取得できる可能性があるかを学習するようになり、ほぼ成功しないケースでは最初の探索が空だった時点で呼び出しを終了します。Single、Proxy Finder、Autoもスペースを含むURLに対して明確な400を返すようになり、Dashboardでセッションを取り消すと対象のデバイスが即座にサインアウトされ、MCP 0.8.4ではペイロードフォルダがクリアされた後もoffload_largeが動作し続けます。
新機能
Autoが出口の追加探索が無駄になるケースを学習
先週、Autoは3回目以降のリクエストでページを取得できる見込みがほとんどないサイトにおいて、1回の呼び出しにつきブラウザリクエストを3回までに制限し始めました。今回のアップデートでは、その次の段階も学習するようになります。これら3回のブラウザリクエスト後に出口を探索しても最近該当サイトで結果が得られていない場合、呼び出しは空の結果が返った最初の探索で終了します。この状態は24時間維持され、その後Autoが再チェックを行います。
応答には発生した事象が記録されます。errorはthe browser has not got through to this siteで始まり、statusにはサイトの最終応答が格納されます。そのため、再試行すべきかどうかを判断する前に呼び出しが終了した理由を把握できます。
この停止処理はAPIキー単位ではなく、サイト単位で設定されます。該当サイトを呼び出す全員に適用されるため、Autoは独自のvalidateルールではなくサイト自体の応答に基づいて判断します(厳格なカスタムルールによってこれが有効化されることはありません)。また、exitClass: "premium"を指定した呼び出しには、引き続きプレミアム出口が割り当てられます。
Autoの役割はルートの検出です。サイト上で機能するセッションを取得した後は、ボリューム処理のためにSingleまたはBrowserでそのセッションをリプレイしてください。Smart Fetch (Auto)では、リプレイの手順やAuto呼び出しが早期終了する全パターンを掲載しています。
URL内のスペースに対して明確な400を返却
クローラーはページに記述された通りのリンクを取得しますが、ページ側には文全体を含む共有リンクなど、javascript: void(0)のような不規則な記述が存在することがあります。スペースや制御文字を含むURLをSingle、Proxy Finder、またはAutoに送信すると、リクエストがFourAから送信される前に400が返されるようになりました。
invalid URL: it contains a space; encode it as %20 (the URL as sent: "...")
何も取得されず、クレジットも消費されず、結果はclient_errorになります(リクエスト結果を参照)。ブラウザは例外で、スペース自体をエンコードしてページを取得します。
クライアント側での修正は数行で済みます。各リンクを取得元ページを基準に解決し、ページ以外のものをスキップして、残りをエンコードします。
from urllib.parse import urljoin, quote
import requests
SKIP = ("javascript:", "mailto:", "tel:")
def to_fetch(page_url, href):
href = href.strip()
if href.lower().startswith(SKIP):
return None
# %20 for a space; an already-encoded link stays as it is
return quote(urljoin(page_url, href), safe=":/?#[]@!$&'()*+,;=%")
url = to_fetch("https://example.com/shop/", "/items/blue shoes?size=42")
# -> https://example.com/items/blue%20shoes?size=42
r = requests.post(
"https://api.foura.ai/api/single",
headers={"X-API-Key": "pk_live_..."},
json={"url": url},
).json()
Common Issuesには、事象と解決策が併記されています。
セッションの取り消しによりデバイスを即座にサインアウト
設定の「Sessions」タブには、お使いのデバイス全体の全セッションが一覧表示されます。そこでセッションを選択して「Revoke Selected」をクリックすると、それらのデバイスは「Sign Out Others」と同様にDashboardから即座にサインアウトされます。取り消されたデバイスは、Dashboardを再度開く前に再サインインする必要があります。
これは、クライアントのオフィスでサインインしたままにしたノートPC向けの機能です。対象のデバイスのみがサインアウトされ、他のすべてのセッションは維持されます。
MCP 0.8.4でoffload_largeのリンク返却が維持されるように修正
offload_large: trueを使用すると、MCPサーバーは50 KB以上のresponseをディスクに書き込み、bodyの代わりにresource_linkをクライアントに返します。セルフホストのインスタンスでは、ドキュメントに従ってペイロードディレクトリから1時間以上経過したファイルを削除することが求められます。0.8.4では、そのクリーンアップ後(またはシステムが一時フォルダを空にした後)でも、サーバーが書き込みごとにフォルダを再作成するため、offload_largeはリンクを返し続けます。ファイルが削除されたペイロードはPayload not foundとして読み取られます。
また、このリリースではロックされた依存関係も更新され、公開済みのセキュリティアドバイザリが解消されたため、npm auditは既知の脆弱性がないことを報告しています。ツール、そのスキーマ、送信されるrequestに変更はありません。@fouradata/mcpを更新するか、すでに0.8.4が稼働しているホスト型サーバーにクライアントを向けてください。セットアップおよびすべてのオプションについては、MCPサーバーのドキュメントに記載されています。
最もコストのかからない失敗した呼び出しとは、数秒で終了し、どの行を変更すべきかを教えてくれるものです。