← すべての記事

リダイレクト制御とRaw Bufferモード

FourAのAPIがリダイレクト上限の設定とrawバイナリレスポンスに対応しました。スクレイピングにおける実環境のエッジケース処理を刷新する2つのオプションです。

リダイレクトチェーンはスクレイパーを破綻させます。バイナリレスポンスはテキストとしてデコードされると破損します。これらは「ページを取得し、HTMLをパースする」段階を超えると頻繁に直面する2つの課題です。

これら双方に対処するため、2つの新しいリクエストオプション、followRedirectsとreturnBufferをリリースしました。現在APIで利用可能です。

仕組み

followRedirectsによるリダイレクト制御

大半のスクレイピングAPIは、リダイレクトを真偽値(追従するか否か)として処理します。これはループするリダイレクトチェーンに遭遇するか、トラッキングパラメータを抽出するために中間302レスポンス自体が必要になるまでは問題なく機能します。

FourAのfollowRedirectsは0から20までの整数を受け取ります。省略する(または0を設定する)と、ヘッダーを含むrawリダイレクトレスポンスがそのまま返されます。5に設定すると、リクエストは最大5ホップまで追従した後に最終的なレスポンスを返します。

curl -X POST "https://eu.api.foura.ai/v1/request" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/short-link",
    "followRedirects": 3,
    "unblocker": true
  }'

これは最大3回までリダイレクトを追跡します。チェーンが2回で解決した場合、最終ページを取得します。3回を超える場合は、3回目のホップが返した内容を取得します。

この違いは想像以上に重要です。Eコマースサイトは商品ページに到達する前にトラッキングURLを経由してリダイレクトします。これらは追跡する必要があります。しかし、アフィリエイトネットワークや短縮URLは、時に6回、7回、8回と深いホップのチェーンを生成します。また、リダイレクトループによっては永久に解決しないものもあります。特定の上限数を設定することで、requestのタイムアウトを浪費する無限ループに陥ることなくデータを収集できます。

これまでは、リダイレクトを無効にしてrequestを送信し、手動でLocationヘッダーをパースして、別のrequestを送信するという回避策を取っていました。これには最低2回のAPI呼び出し、2倍のレイテンシ、そして保守すべきコードが発生します。今では数値を1つ指定した1回の呼び出しで完了します。

returnBufferによるRawバイナリレスポンス

画像、PDF、またはprotobufペイロードを収集する際、テキストデコードはデータを破壊します。HTTPライブラリはレスポンスをテキストと見なし、文字コード検出を適用して、適合しないすべてのバイトをサイレントに破損させます。protobufは読み取り不能になり、画像のヘッダーは壊れます。結果としてファイルが破損し、その原因を説明する明確なエラーメッセージも表示されません。

returnBufferは、テキストデコードを完全にスキップするようAPIに指示します。

curl -X POST "https://eu.api.foura.ai/v1/request" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/product-image.jpg",
    "returnBuffer": true
  }'

レスポンス body は生のバイト列として返されます(JSON レスポンスでは base64 エンコード)。クライアント側でデコードすれば、サーバーが送信したデータと完全に一致するものが得られます。文字セットの推測も、エンコーディング変換も、サイレントなデータ破損もありません。

これは、頻繁に寄せられていたサポート問い合わせの1つでした。商品画像や PDF カタログを収集したユーザーが、ファイルを開けないという問題です。修正方法は常に同じでしたが、回避策を使う代わりにフラグ1つで対応できるようになりました。

影響

どちらの機能も、ジョブあたりの API 呼び出し回数を削減します。followRedirects はリダイレクトを手動で追跡するループを排除します。returnBuffer は、「取得し、破損に気づき、別の設定で再取得する」というサイクルをなくします。

リダイレクトの多いターゲット(アフィリエイトリンク、短縮 URL、Eコマースのトラッキングチェーン)では、手動のリダイレクト処理から followRedirects に切り替えた初期テストにおいて、リクエスト数が40〜60%減少することが確認されています。また、バイナリ収集タスク(商品画像、ドキュメントのダウンロード)では、returnBuffer によって複数ステップの回避策が単一のオプションに置き換わります(初期検証結果)。

これらは派手な機能ではありません。Webサイトがチェックアウトフローにリダイレクトホップを追加したことで、午前3時にスクレイパーが停止するまで意識することのないような機能です。

パワーユーザー向け

followRedirects とレスポンス検証を組み合わせることで、リダイレクトチェーンを正確に制御できます。リダイレクトを追跡しつつ、最終的な到達先が問題に遭遇した場合にはリクエストを失敗させることが可能です。

curl -X POST "https://eu.api.foura.ai/v1/request" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/product/12345",
    "followRedirects": 5,
    "unblocker": true,
    "validate": {
      "status": { "fail": [403, 503] },
      "data": { "fail": ["Access Denied", "captcha"] }
    }
  }'

これにより最大5回までリダイレクトを追跡し、最終的なresponseを検証します。サイトが認証ページやアクセス拒否画面にリダイレクトした場合、requestは正常にエラー終了します。ダウンストリームで無駄なデータをフィルタリングする必要はありません。

バイナリ収集において、大容量ファイルをダウンロードする前にContent-Typeを確認する必要がある場合は、returnBufferをHEAD requestと組み合わせて使用します。FourAはHEADを適切に処理するため、bodyを取得せずにheaderを検査できます。Content-Typeを確認してダウンロードの要否を判断した上で、returnBuffer: trueを使用して完全なrequestを実行してください。

JavaScriptを多用するターゲットに対してbrowser tasksを使用している場合、これらのオプションはダイレクトHTTPエンジンに適用される点に注意してください。ブラウザrequestはブラウザ組み込みのナビゲーションによってリダイレクトを処理するため、デフォルトで上限なく追跡されます。

今後の予定

APIを通じて、カスタムDNS解決、フェーズごとのタイムアウト調整、証明書処理オプションなど、より多くのrequestレベルの制御機能を提供する予定です。目標は、インフラのオーバーヘッドなしに、クリーンなRESTインターフェースを通じてブラウザプロファイルを完全に制御できるようにすることです。

必要な特定のオプションがある場合は、フィードバックをお寄せください。dashboardでは、これらの新しいオプションによるrequestのパフォーマンスがすでに表示されているため、効果を直接確認できます。