保護対象サイト
最新のWebサイトは高度なBot検知を使用しています。このガイドでは、リクエスト元を検査するサイトからFourAがページを取得する仕組みと、成功率を高める方法を解説します。
Bot検知の仕組み
Webサイトは複数の保護レイヤーを採用しています:
- IPレピュテーション: データセンターや既知のプロキシIPアドレスをブロック
- 通信フィンガープリント: 各HTTPクライアント固有のハンドシェイクシグネチャを検知
- ブラウザフィンガープリント: JavaScriptによるheadlessブラウザ兆候の検出
- 行動分析: リクエストパターン、タイミング、ナビゲーションフローの解析
- 検証ページ: 訪問者が完了する必要がある視覚的タスク
レスポンスにはチェックを実行したシステム名が含まれます。一覧はサイトチェックを参照してください。
最速の手段: Auto
保護レベルが不明な場合は、実際のページにのみ含まれるvalidate.data.accept文字列を指定して/api/auto/を呼び出します。Autoはコスト効率を考慮したラダー順序(ローテーションプロキシ、次にプロキシ経由ブラウザ。forceProxy: false指定時は、低コストな直接プローブおよび直接ブラウザレンダリングが先行)を実行し、設定ルールを満たすレスポンスが得られた段階で停止します。同一ホストへの後続呼び出しではウォームセッションが再利用されるため、2回目以降のコストを低減できます。
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://protected-site.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Autoは一般的なチャレンジページを認識し、遭遇時も処理を継続します。指定したvalidate.data.accept文字列により、未知の検証ページ、ログインウォール、必要なコンテンツがないページなど、それ以外のケースを捕捉します。詳細な手順についてはSmart Fetchガイドを参照してください。
各レイヤーにおけるFourAの機能
リアルな通信レベルのリクエスト
単一のエンドポイント(POST /api/single/)が、実ブラウザと一致するハンドシェイク特性を送信します。ブラウザを実行するオーバーヘッドなしに、サイトからブラウザと同様の応答を得られます。
unblockerを有効にすると、リアルなブラウザヘッダー(User-Agent、Sec-Ch-Ua、Sec-Fetch-*、Accept-Encoding)も挿入されます。unblockerはデフォルトで有効です。追加ヘッダーなしで独自のヘッダーのみを送信する場合にのみ、falseを設定してください。
{
"method": "GET",
"url": "https://protected-site.com/data",
"unblocker": true
}
実ブラウザによるレンダリング
ブラウザendpoint (POST /api/browser/) は完全な Chrome ブラウザインスタンスを実行します。通常の訪問者のブラウザと同様にページの JavaScript を実行します。Browser 上の unblocker は、読み込み前にページが要求するチェック (Turnstile などの認証ゲート) を完了します。チャレンジページをそのまま取得したい場合を除き、有効にしておいてください。
プロキシローテーション
プロキシendpoint (POST /api/proxy/) は、FourA の標準エグジットプールをローテーションします。サイトが特定のエグジットを拒否した場合、またはエグジットが応答しない場合、次の試行は別のエグジット経由で送信されます。すでに消費したエグジットをスキップするには、後続の呼び出しで ignoreProxies を使用します。試行回数を制御するには maxTries (デフォルト 5、最大 90) を使用します。
プレミアムエグジットは、request で明示的に指定された場合にのみ使用されます。プレミアムエグジットを含むプランにおいて、exitClass: "premium" を指定すると、標準プールでページにアクセスできない場合に Proxy がプレミアムエグジットへと移行します。成功した response の exitClass には配信に使用されたエグジットの種類が示され、該当期間のプレミアムトラフィックを使い切ると、request は標準プールで処理を継続し standard を返します。exitClass を参照してください。
国指定エグジット
ターゲットから認識される国が厳格な許可リストと一致するプロキシに選択を制限するには、/api/proxy/ に exitCountries を渡却します。値は空白を除去して大文字に変換され、重複排除された2文字コード (["CZ", "GB"]) です。標準プールが要求されていない国へフォールバックすることはありません。現在のプールに一致するものがない場合、response は code: "no_eligible_proxy" と正規化されたスコープを details.exitCountries に返します。これにより、要件を緩和することなく後で再試行できます。プレミアムエグジットもこのリスト内に制限されます。exitClass: premium を使用すると、プレミアムエグジットは指定された国のいずれかから接続し、response 内の exitCountry にその国名が示されます。国指定は Startup プラン以上で含まれます。これを含まないプランでは、exitCountries を送信する呼び出しは 403 および X-FourA-Limit: plan_limit_feature で拒否されます。
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"exitCountries": ["CZ", "GB"],
"request": {"method": "GET", "url": "https://target.example/pricing"}
}'
スコーピングがリクエストされた場合、response には exitCountry が含まれます。ペイロードを信頼する前にそれが allowlist に属していることを検証し、後続の Browser 呼び出しで返された proxy ID を再利用して、同一の出口経由で JavaScript レンダリングが実行されるようにしてください。
FourA はブロック原因を特定します
どのシステムが request をブロックしたかを推測する必要はありません。ターゲットが bot チェックを実行すると、response にその名前が示されます。
POST /api/single/およびPOST /api/proxy/はdefenseオブジェクトを返します。defense.vendorはシステム名、defense.solvedはチェックがクリアされたかどうか、defense.presentはその response で認識されたすべての項目をリストします。POST /api/browser/はdefenseSolvedに加えてdefenses.presentとdefenses.clearedを返します。
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "sgcaptcha",
"solved": true,
"present": ["sgcaptcha"],
"cookie": "_I_=<clearance>"
}
}
これに伴い、2つのルールが適用されます。
solved: falseは、レスポンスのbodyが実際のページではなくチャレンジである可能性があることを意味します。 FourAがチャレンジページをコンテンツとして提供することはないため、パースする前にこのフラグを確認してください。- 解決によりクリアランスが取得されます。
defense.cookieが存在する場合は、同一のイグジットおよび同一のUser-Agentを使用してCookieヘッダーとして再送信することで、以降のリクエストはチェックを完全にスキップします。
FourAは、eBay、Reddit、Amazonなどのファーストパーティチェックを含む、一般的なチェックシステムを認識します。認識の対象はクリア可能な対象よりも広範です。名前を特定できてもクリアできないシステムの場合、レポートは生成されますがリクエストの課金が増加することはありません。返されたページがそのシステムのチェックページである場合、HTTP 200であってもリクエストには課金されず、X-FourA-Check-Pageヘッダーにその名前が記録されます。各フィールド、現在のクリアと検出の対応状況、およびリプレイの例については、サイトチェックを参照してください。
Amazonの1ボタン式の「ショッピングを続ける」ページは、クリア処理ではなく自動応答によって処理されます。Single、Proxy、Browserは同一のイグジット上でそのボタンを押下し、実際のページを返します。unblockerが有効(デフォルト)の場合、SingleおよびProxyはdefense内でsolved: falseを伴うretry: "amazon-continue"として報告し、料金は変わりません。Redditの軽量JavaScriptチェックもSingleとProxyで同様に機能します。同一のイグジットで応答して実際のページを返し、同一料金でsolved: falseを伴うretry: "reddit-js-check"を報告します。
保護レベル別戦略
未知の保護
autoを使用してください。ローテーションプロキシから開始し、ターゲットが要求するレベルにのみ段階的にエスカレーションするため、ホストあたりの検出コストは1回のみ発生します。
低保護(大半のサイト)
unblockerを指定したsingleエンドポイントを使用してください。ネットワークレベルの整合性だけで十分です。
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'
中度: チャレンジページまたは基本的なファイアウォール
JavaScriptチャレンジを通過するには、ブラウザendpointを使用します。
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'
高: 動作およびフィンガープリントの検証
複数回のリトライ試行を指定して proxy endpoint を使用します:
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 10,
"request": {
"method": "GET",
"url": "https://heavily-protected.com/prices",
"unblocker": true
}
}'
連続するチャレンジページ(「Just a moment」などのセキュリティチェックポイント)で、チャレンジ解除後のレンダリング済みページが必要な場合は、MCP Recipesを参照してください。「Protected page: proxy first, browser when JavaScript is needed」レシピに、proxyからbrowserへの正確なハンドオフ手順が記載されています。
ベストプラクティス
未知のターゲットにはautoから開始する。
validateルールを渡し、ラダーに最も低コストな段階を選択させてから、レスポンスのmeta.rungを確認して機能したエンジンを特定します。判明した後は、リピートトラフィックに対してそのエンジンを直接呼び出します。成功したセッションを再利用する。 auto呼び出しの後、返された
session(proxy ID + cookies + userAgent)を/api/single/または/api/browser/経由で再利用し、同一ホストの後続ページを取得できます。その際、各endpoint固有の料金が適用されます。unblockerを使用したSingleでは2クレジット、Browserでは5クレジット(ページが要求する検証ステップを呼び出しが完了した場合は10クレジット)です。レート制限を遵守する。 proxyローテーションを使用している場合でも、単一サイトに毎秒数百件のリクエストを送信すると振る舞い検知がトリガーされます。リクエスト間隔は少なくとも1〜2秒空けてください。
unblockerを有効のままにする。 SingleおよびProxyでは、unblocker: true(デフォルト)により現実的なブラウザheaderが付与されます。Browserではチャレンジソルバーが有効化されます。headerの付加されていないリクエストや、生のチャレンジページが明示的に必要な場合のみオフにしてください。成功率を監視する。 Dashboardのメトリクスをチェックし、成功率の推移を追跡してください。急激な低下は、通常ターゲットサイトが保護対策を更新したことを意味します。
ブロックされた出口をスキップする。
/api/proxy/または/api/auto/の呼び出しで返されたproxy IDで失敗が発生し始めた場合、次の呼び出しでそれをignoreProxiesに渡すことで、FourAに別の出口ノードを選択させます。再試行前に
defenseを確認する。 ベンダー名を確認することで、別のブラウザプロファイルを試す価値があるか、完全なレンダリングが必要か、あるいは外部の解決サービスなしでは突破できないチェックであるかを判断できます。提示するブラウザを変更する。 ターゲットによっては特定のブラウザを受け入れ、別のブラウザを拒否する場合があります。SingleおよびProxyで
browser、os、またはversionを設定し、最新のラインナップについてはGET /api/profilesを確認してください。詳細はendpoint referenceに記載されています。
制限事項
一部のシナリオでは、API外部での追加処理が必要です。
- ログイン保護されたコンテンツ: FourAは長期ログインセッションを管理しません。ブラウザエンドポイントはリクエストごとに
cookiesを受け付けます。セッションcookieはご自身で渡してください。 - インタラクティブな検証タスク: FourAは視覚的検証を認識して
defense.presentで報告しますが、自動完了は行いません。TurnstileはBrowserエンドポイントで処理されます。 - 特定の国に制限されたコンテンツ:
/api/proxy/でexitCountriesを使用して、許可された国に選択を固定します。アドレスが属するネットワークまで検証するサイト(一部の国営ライセンスのブックメーカー、特定の政府機関サービスなど)は、正しい国の出口であっても拒否する場合があります。exitClass: premiumとexitCountriesで単一の国を指定すると、プレミアム出口は指定した地域、都市、またはネットワークからも送信できます。出口の場所を参照してください。許可された国に出口がない場合、リクエストはno_eligible_proxyを返します。 - 法的制限のあるサイト: データ収集が対象サイトの利用規約および適用法を遵守していることを常に確認してください。
次のステップ
- スマート取得 (自動):
/api/auto/の詳細 - 適切なエンドポイントの選択: エンドポイント決定ガイド
- 一般的な問題: 403エラーおよび検証ページの解決
- APIエンドポイント:
exitCountriesを含む全パラメータリファレンス - サイト検証:
defenseフィールド、システム一覧、およびクリアランスリプレイ - MCPレシピ: プロキシ優先からブラウザへのチェーンを含むワークフローテンプレート