Autoの紹介: あらゆるターゲットに対応する単一のendpoint
Auto endpointは、各requestに対してSingle、Proxy Finder、またはBrowserを選択し、アンチボットのチャレンジを処理して、次の呼び出しで再利用可能なsessionを返します。
Validateルールが成功の判定基準に
validateルールを使用して、どのレスポンスを成功とみなすかを宣言します。許容された200以外のレスポンスも正確に課金され、Activityフィードに成功として表示されるようになりました。
Playground: DashboardでRequestを作成してテストする
Dashboard内にPlaygroundをリリースしました。endpointを選択し、フィールドを入力してSendをクリックし、curlをコピーするだけです。3つのendpoint、1つのcookie jar、すべてのheaderに対応しています。
420万件のリクエストで応答時間を2.5秒から1秒未満に短縮
24時間で420万件のリクエスト。平均応答時間は先週の2.5秒から774msに短縮。実際のパーセンタイル値とともに、リクエストパスの変更点を解説する。
Unblockerフラグの内部: `unblocker: true`の実際の動作
1つのフラグで3つの機能(実際のブラウザのheader、一致する接続シグネチャ、gzipとbrotliの自動展開)が有効になります。その機能と理由を説明します。
リダイレクト制御とRaw Bufferモード
FourAのAPIで設定可能なリダイレクト制限とRawバイナリresponseがサポートされました。実際のスクレイピングのエッジケース処理を変える2つのオプションです。
Browser Tasks: JavaScriptを多用したサイトをスクレイピングする方法
現代のウェブサイトの70%以上は、コンテンツのレンダリングにJavaScriptを必要とします。HTTP requestが空を返す場合に、FourAのbrowser tasksを使って完全なページを取得する方法を解説します。
ダッシュボードアナリティクスと利用状況のインサイト
リクエスト数、成功率、レスポンスタイム、ドメイン別のコスト内訳。FourAのアナリティクスダッシュボードは、現状の把握と次の最適化ポイントの特定を支援します。
Smart Proxy Routingのご紹介
FourAは、ターゲットサイトの防御に基づいて、すべてのrequestに対して最適なproxyタイプとロケーションを自動的に選択するようになりました。成功率は最大23%向上しました。