適切なendpointの選択
FourAは4つのrequest endpointを提供しており、それぞれ異なるシナリオ向けに最適化されています。適切なものを選択することで、時間の節約、コストの削減、成功率の向上が可能です。
クイック判定ガイド
auto endpointを使用すべきケース:
- 新しいサイトを対象としており、必要な要件がまだ不明な場合
- proxyローテーションやbrowserフォールバックを1つの呼び出しで自動処理したい場合
- 同じホストへの次回呼び出しで低コストにリプレイできるセッションが必要な場合
single endpointを使用すべきケース:
- ページがサーバー側でレンダリングされている場合 (JavaScript不要)
- 最大限の速度が必要な場合 (通常1秒未満)
- 動作確認済みのホストのAPIや静的HTMLページにアクセスする場合
browser endpointを使用すべきケース:
- ページのコンテンツ描画がJavaScriptに依存している場合
- 初回ページ読み込み後にコンテンツが追加される場合
- 完全にレンダリングされたDOMが必要な場合
proxy endpointを使用すべきケース:
- 対象サイトがrequestを積極的にブロックしている場合
- 複数のIPアドレスをローテーションさせる必要がある場合
- 以前の試行で403や検証ページが返された場合
Endpointの比較
Auto (POST /api/auto/)
スマートフェッチ用endpointです。URLと (推奨として) validateルールを渡すと、FourAはコストを考慮したラダーを実行します。まずローテーションproxyを試行し、次にproxy経由のフルbrowserを実行します。forceProxy: falseを設定すると、その両方の前に低コストな直接プローブと直接browserレンダリングが実行されます。validateに一致するresponseを最初に返した段階が採用されます。同じホストへの再呼び出し時にはウォームセッションがリプレイされるため、2回目以降の呼び出しは低コストになります。
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
標準レスポンス時間: 200ms (ウォーム時) から 30秒以上 (高難度サイトでのコールド解決時) 最適な用途: 新規ターゲット、複数の保護が混在するサイト、「とにかくページを取得したい」場合
詳細な手順については、Smart Fetch ガイドを参照してください。
Single (POST /api/single/)
最速のオプションです。ブラウザプロセスを起動せずに、ブラウザに近い現実的なネットワーク特性を持つ HTTP request を送信します。
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://example.com/api/products"}'
一般的なレスポンス時間: 200ms〜2秒 最適な用途: API、ニュースサイト、ブログ、静的製品ページ
Browser (POST /api/browser/)
ChromeブラウザインスタンスでURLを開きます。ページが完全に読み込まれ、JavaScriptが実行され、最終的にレンダリングされたHTMLが返されます。
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/spa-app",
"timeout_ms": 15000,
"checkText": "data-table"
}'
一般的なレスポンス時間: 2秒から10秒 最適な用途: シングルページアプリケーション(SPA)、遅延読み込みを使用するサイト、JavaScriptレンダリングコンテンツ
Proxy (POST /api/proxy/)
HTTPリクエストとプロキシの自動ローテーションを組み合わせます。最初の試行が失敗またはブロックされた場合、FourAは別のプロキシ経由でリトライします。
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"request": {
"method": "GET",
"url": "https://example.com/pricing"
}
}'
標準的な応答時間: 1秒から5秒 最適な用途: ECサイトの価格監視、旅行情報アグリゲーション、Bot検知のあるサイト
AutoとManualの比較
自動選択に任せるべきか、それともSingle、Proxy、Browserをご自身で直接呼び出すべきか。
| Autoを選択すべき場合 | Manualを選択すべき場合 |
|---|---|
| サイトが必要とする条件がまだ不明な場合 | 対象サイトに必要なエンジンが完全に分かっている場合 |
| 1回の呼び出しで確実に動作させたい場合 | 既知の対象に対してリクエストの構成を最適化したい場合 |
| Autoが学習したセッションを再利用して問題ない場合 | 呼び出しごとのリトライ、タイムアウト、プロキシ選択を完全に制御したい場合 |
| 初回呼び出し時の数秒のプロービングを許容できる場合 | 初回呼び出しのレイテンシが探索よりも重要な場合 |
Autoが常に低コストな選択肢とは限りません。対象がSingleかつunblocker有効で動作することがすでに分かっている場合、Singleを直接呼び出せばラダーをスキップでき、消費クレジットは2です。同一の対象にAutoを使用すると、ラダーが消費した分のクレジットがかかります。
アプローチを組み合わせる場合
複数のエンドポイントを組み合わせることで効果を発揮するワークフローもあります。
- Autoで探索:
validateルールを渡し、サイトに必要な段階をラダーに判別させます。 - Singleで再現: Autoから返された
session.proxy、session.cookies、session.userAgentを取得し、同一ホストの後続ページに対してそれらを使ってSingleを呼び出します。 - Browserへフォールバック: Singleで失敗し始めた場合は、Browserレンダリングに切り替えます。
- Proxyを追加: Autoを使用せずに拒否される場合(403エラーまたは検証ページ)、リクエストをProxyエンドポイント経由にして自動ローテーションを適用します。
この段階的なアプローチにより、成功率を高く維持しながらコストを低く抑えられます。
パフォーマンス向上のヒント
- 保護された対象には
validate.data.acceptの部分文字列を渡します。Autoは一般的なチャレンジページを独自に認識しますが、未知の確認ページや必要なコンテンツが読み込まれなかったページを検出できるのは設定したルールのみです。 - 動作確認済みのホストにはデフォルトでSingleエンドポイントを使用し、必要な場合にのみアップグレードします。
- Browserリクエストで
checkTextを設定し、コンテンツなしでレンダリングされたページが成功ではなく失敗(checkText:<text> not found)として返されるようにします。checkTextを指定しても、FourAがテキストをより長く待機することはありません。 - Proxyリクエストで
maxTriesを設定して、リトライ動作を制御します(デフォルトは5、最大値は90)。 timeout_msは適切な値に設定してください。大半のページでは10秒から15秒、保護されたサイトに対する初回のAuto実行では30秒以上を推奨します。
次のステップ
- スマートフェッチ(Auto):
/api/auto/の詳細解説 - APIエンドポイント: パラメータ完全リファレンス
- 動的ウェブサイトのスクレイピング: ブラウザリクエストのステップバイステップガイド
- クイックスタート: 30秒で最初のリクエストを実行