大規模なデータ収集には可視化が必要です。何が成功し、何が失敗し、どこに予算が使われているかを把握する必要があります。新しいFourAダッシュボードアナリティクスは、まさにこれを提供します。
新機能
リクエストタイムライン
リクエスト数の推移を示すリアルタイムチャートに、成功率と失敗率を重ねて表示します。タイムラインはタスクタイプ(single、browser、proxy)と期間(24時間、7日間、30日間)でフィルタリング可能です。
パターンの発見に活用できます。特定のターゲットサイトがメンテナンスを行う毎朝に成功率が低下することや、スケジュールされたジョブが実行される特定の日にリクエスト数が急増することを確認できます。
ターゲットドメイン別の成功率
すべてのターゲットサイトが同じ条件ではありません。単純なsingleタスクで確実にデータを返すサイトもあれば、安定した成功のためにbrowserのレンダリングやproxyのローテーションが必要なサイトもあります。
ドメイン別の成功率ビューを使用すると、最適化の焦点を絞るべき箇所を正確に把握できます。competitor-a.comの成功率が99%で、competitor-b.comが72%の場合、competitor-bを調査すべきであることがわかります。異なるタスクタイプや、より具体的なwaitForセレクタが必要かもしれません。
レスポンスタイムの分布
全タスクにおけるp50、p95、p99のレスポンスタイムなど、レイテンシプロファイルを一目で確認できます。分布チャートは、リクエストの集中箇所と外れ値を示します。
これはタスクタイプを比較する際に特に有用です。通常、singleタスクは1秒未満に集中します。browserタスクは2秒から8秒の間に分布します。browserタスクに15秒以上かかっている場合、タイムアウトが発生している可能性が高いため、waitForセレクタを確認してください。
帯域幅とコスト
すべてのリクエストでデータが転送され、それに伴うコストが発生します。帯域幅ビューでは日別の合計データ転送量が表示され、コスト内訳ではproxyタイプ、タスクタイプ、ターゲットドメイン別の費用が表示されます。
よくある発見として、singleで十分なサイトに対して、browserやproxyタスクを使用しているケースがあります。これらのターゲットをsingleに切り替えることで、該当リクエストのコストを50〜70%削減できます。
アナリティクスの効果的な使用方法
- 毎週確認する。 5分間の簡単なレビューで、問題になる前に傾向を把握できます。
- 成功率でソートする。 パフォーマンスが最も低いターゲットから修正します。これらは最も多くのリクエスト(および予算)を浪費しています。
- タスクタイプを比較する。 ターゲットが
singleで動作する場合は、browserを使用しないでください。速度とコストの両方が改善されます。 - アラートを設定する。 成功率の急激な低下に注意してください。これは通常、ターゲットサイトで何らかの変更があったことを意味します。
現在利用可能
アナリティクスダッシュボードはすべてのアカウントで利用可能です。foura.ai/dashboardにログインして、データを探索してください。
早期ユーザーからの知見を共有します。ほとんどのチームが、最初のレビューで少なくとも1つの改善点をすぐに発見しています。多くの場合、singleで十分なサイトに対するbrowserを使用したリクエストのバッチ処理や、別のタスクタイプが必要な成功率60%のターゲットドメインの発見などです。5分間データを確認するだけで、無駄なリクエストにかかる時間を数時間節約できます。