Proxy Port: ユーザー名によるターゲティングとセッション管理
FourAのproxyポートはネットワーク、国、スティッキーセッションをユーザー名から読み取り、入力ミス時には有効なキー名を含む400エラーを返します。その構文仕様を解説します。
ブラウザプロファイル: リクエストのフィンガープリントを選択する
実測された79種類の公開プロファイルカタログから、各リクエストが提示するブラウザ、OS、バージョンを指定可能に。サイトに拒否された場合でも、ローテーションにより自動で切り替わります。
Autoの紹介: あらゆるターゲットに対応する単一のendpoint
Auto endpointは各requestに対してSingle、Proxy Finder、Browserから最適なものを選択し、アクセス元を検証するページを処理して、次の呼び出しで再利用可能なsessionを返します。
Validateルールが成功の判定基準に
validateルールを使用して、どのレスポンスを成功とみなすかを宣言します。許容された200以外のレスポンスも正確に課金され、Activityフィードに成功として表示されるようになりました。
Playground: DashboardでRequestを作成してテストする
Dashboard内にPlaygroundをリリースしました。endpointを選択し、フィールドを入力してSendをクリックし、curlをコピーするだけです。3つのendpoint、1つのcookie jar、すべてのheaderに対応しています。
420万件のリクエストで応答時間を2.5秒から1秒未満に短縮
24時間で420万件のリクエスト。平均応答時間は先週の2.5秒から774msに短縮。実際のパーセンタイル値とともに、リクエストパスの変更点を解説する。
ブラウザプロファイルの内部構造: `unblocker: true` の実際の動作
1つのフラグで3つの機能(実際のブラウザのheader、一致する接続シグネチャ、gzipとbrotliの自動展開)が有効になります。その機能と理由を説明します。
リダイレクト制御とRaw Bufferモード
FourAのAPIで設定可能なリダイレクト制限とRawバイナリresponseがサポートされました。実際のスクレイピングのエッジケース処理を変える2つのオプションです。
Browser Tasks: JavaScriptを多用したサイトをスクレイピングする方法
現代のウェブサイトの70%以上は、コンテンツのレンダリングにJavaScriptを必要とします。HTTP requestが空を返す場合に、FourAのbrowser tasksを使って完全なページを取得する方法を解説します。
ダッシュボードアナリティクスと利用状況のインサイト
リクエスト数、成功率、レスポンスタイム、ドメイン別のコスト内訳。FourAのアナリティクスダッシュボードは、現状の把握と次の最適化ポイントの特定を支援します。