最新
50-Saveの壁に阻まれずに求人サイトをスクレイピングする方法
2026年、求人サイトのスクレイピングはオープンウェブにおいて最も困難なタスクの一つとなりました。何が変わったのか、そしてタレントインテリジェンスチームがどのようにデータ収集を継続しているのかを解説します。
続きを読む →FourA ブログ
インテリジェントなデータ収集プラットフォーム FourA による、プロダクトアップデート、エンジニアリングのインサイト、業界分析。
FourA Digest (2026年6月19日 - 6月26日)
foura.aiが6言語に対応しました。URLプレフィックスルーティング、ロケールを考慮したSEOとhreflang、そしてブラウザ上でスタイル適用されたテーブルとしてレンダリングされるXSLTサイトマップを導入しています。
validateルールが「成功」の基準を決定する
validateルールを使用して、どのresponseを成功とするかを宣言できます。許容された200以外のresponseも正しく課金され、Activityフィードに成功として表示されるようになりました。
Pay-Per-Crawlがウェブを二分する
CloudflareのPay-Per-CrawlマーケットプレイスとHTTP 402は、ウェブをライセンスデータとオープンデータに二分します。2026年にウェブデータを収集するチームにとって何が変わるのかを解説します。
FourA Digest (2026年6月12日〜6月19日)
SingleにおいてUTF-8以外のページが文字化けせず読み取り可能なテキストを返すようになり、validateルールが成功判定に反映されるようになったほか、Wave 0のセキュリティ強化をリリースしました。
再クロール問題：RAGパイプラインの鮮度を保つ
RAGのナレッジベースは、リリースしたその週から陳腐化が始まります。エンジニアリング予算を圧迫することなく、数百のバーティカルなソースを再クロールする方法を解説します。
FourA Digest (2026年6月5日〜6月12日)
Activityの任意の行をクリックしてフルペイロードを表示し、Playgroundで事前入力された状態で再度開くことができます。新しいハニーポット防御機能が、requestを偽のresponseとしてエコーバックするproxyを検出します。
LLM抽出の費用対効果が合わなくなるとき
Firecrawlでは、ページのスクレイピングに対して、LLMによる抽出には5倍の料金がかかります。1日10万ページ規模になると、この計算は破綻します。LLM抽出がそのコストに見合うケースと、そうでないケースを解説します。
FourA Digest: 2026年5月29日〜6月5日
今週作成されたAPI keyは再表示可能です。Dashboardがキーを記憶し、playgroundのcurl再現コードに自動で挿入し、時間のかかるrequestをキャンセルできるようになりました。
KORENAがFourAを活用して木材価格指数を構築した方法
KORENAは、林業ポータル、オークションのPDF、10種類の通貨を基に、日次の欧州木材価格指数を構築しました。FourAはその背後にあるrequestレイヤーです。