← すべての記事

再クロールの課題: RAGパイプラインの鮮度維持

RAGのナレッジベースはデプロイした週から陳腐化します。エンジニアリング予算を圧迫せずに、数百のバーティカルソースを再クロールする方法を解説します。

課題

バーティカルAIスタートアップは皆、2か月目あたりで同じ壁にぶつかります。サポート用Copilot、リーガルリサーチアシスタント、コンプライアンスBotなどをリリースし、最初のデモで顧客を獲得します。しかし、データが古くなるにつれて、回答が現実から乖離し始めます。

多くのチームがAI側を巧みに構築する一方で、データ側を後回しにする様子を目にしてきました。データ取り込みパイプラインは誰かのノートPCで動く1本のPythonスクリプトに過ぎません。200件のソースURLを一度スクレイピングし、クリーンなMarkdownをベクトルストアに投入して、全員が祝杯をあげます。6週間後、回答の半数は削除されたページ、非推奨のAPI、あるいは3月にリリースされ5月に再変更されたプロダクト機能を引用するようになります。

解決策は単純に思えます。すべてのソースを毎週再クロールすることです。現実はもっと厄介です。2026年までに、信頼性の高いサイトの約60%がAIクローラーをブロックしており(2023年後半の23%から増加)、その防御策はもはや単純なUser-Agentチェックではありません。セッションの振る舞い、リクエストの間隔、ハンドシェイクレベルのシグナルを監視しています。1月に動いていたナイーブなスクリプトは、3月には静かに空のページを返すようになります。

さらに悪いことに、一部のサイトは埋め込みを汚染するまでターピットコンテンツ(本物の文章のように見えるマルコフ連鎖生成のデタラメ)を返してきます。その結果、エンジニアはプロダクトの開発ではなく、スクレイパーの修正に週の半分を費やすことになります。検索精度が低下し、顧客がそれに気づき、AIを構築するために採用したチームがスクレイパーの保守部隊へと成り下がってしまいます。

アプローチ

再クロールの課題は、リクエストごとに発生する3つの具体的な判断に分けられます。

  1. レンダリングを行うか? 大半のドキュメントポータルはクリーンなHTMLを提供します。しかし、Next.jsベースのサイトやクライアントサイドレンダリングを使用するサイトなど、有用なコンテンツを取得するために完全なブラウザレンダリングを必要とする割合が増加しています。
  2. どのproxyを使うか? レジデンシャル、データセンター、モバイル、地域固定、特定ISP。最適な選択肢はターゲットによって変化します。
  3. 実際に成功したか? 空のボディを含む200応答や認証ページは、HTTPリクエストとしては成功でも、クロールとしては失敗です。

FourAのようなプラットフォームは、これらすべてをファーストクラスの関心事として処理します。

レンダリングの判断について、低コストで高速なケースにはSingleを、JSを多用するターゲットにはBrowserを呼び出します。呼び出しボディの形式は同一であるため、取り込みコード側でサイトごとの細かな仕様を何十個も抱え込むことなく、ソースごとのフラグによる1回の分岐で対応できます。

proxyの選択については、すべてのSingle、Browser、Autoの呼び出しの一部としてProxy Finderが実行されます。プラットフォームがリクエストごとに機能する出口を選択し、その不透明なIDをレスポンスで返します(Single/Browserではトップレベルのr.proxy、Autoではr.session.proxy)。同一の出口を維持する必要がある場合は、後続の呼び出しでそのIDを再利用します。クローラー側で独自のproxyランキングアルゴリズムを保持する必要はありません。(プール規模が差別化要因でなくなった理由については、Why Proxy Pool Size Stopped Mattering in 2026で解説しています。)

また、「実際に機能したか」という疑問に対しては、すべての request が validate ブロックをサポートしています。許容するステータスコード、必須の header 値、含める(または含めてはならない)body 文字列など、何をもって成功とするかを定義できます。FourA は7つの結果のいずれかを返し、課金対象となるのは success のみです。コンテンツルールに違反した200は application_fail としてマークされ、データセットに含まれることはありません。

以下は、JS レンダリングを必要とするドキュメントポータルに対する再クロール呼び出しの例です。オーケストレーションは Auto に任せています。適切な製品(Single、Proxy、または Browser)を選択し、Bot 対策を処理して、次の再クロールで同じ出口ノードを維持できるように session トリプルを返します。

import requests

r = requests.post(
    "https://api.foura.ai/api/auto",
    headers={"Authorization": "Bearer pk_live_..."},
    json={
        "url": "https://docs.example.com/changelog",
        "validate": {
            "status": {"accept": [200]},
            "data":   {"accept": ["<article"], "fail": ["captcha", "Just a moment"]},
        },
    },
).json()

# r["data"] or r["body"]   — rendered content (Auto runs the right sub-product per host;
#                            Single populates "data", Browser populates "body")
# r["session"]              — { "proxy": "<base36 id>", "cookies": [...], "userAgent": "..." }
# On the next recrawl, pass r["session"]["proxy"] back as `ignoreProxies: [<id>]` to avoid
# the same exit, or via /api/single with `proxy: <id>` to stick to it.

ターゲットがCloudflareのインターstitialを返した場合、validate.data.failルールがそれを検知します。使用状況に記録される結果はapplication_failとなります。課金は発生せず、取り込みコード側では「Just a moment...」ページを埋め込みモデルに渡すことなく、別のproxyで再試行すべきだと判断できます。

コーパス全体に対しては、既存のジョブキューで同じパターンをラップして運用します。私たちがヒアリングしたチームは、前回のクロールとの日次差分を取り、実際に変更されたドキュメントのみを再埋め込みすることで、500ソースのコーパスを実時間数時間で更新しています。ジョブキューは既存のものをそのまま利用できます。proxyの入れ替え、レンダリング判定、成功の判定はFourA側で処理します。

結果

インフラがボトルネックでなくなった後の鮮度維持ループの姿です(バーティカルAIチーム全体で見られるパターンに基づく想定シナリオ)。

  • 毎週500ソースURLを再クロール(ローンチ時の200 URL単発クロールから改善)
  • スクレイパーにかけるエンジニアリング時間: 週2時間未満(1〜2日から削減)
  • 検索の鮮度ギャップ: 5〜7日(無期限の遅延から改善)
  • ベクトルストア内の不要データ率がほぼゼロ: Cloudflareのインターstitialやtarpitページは、埋め込みモデルに届く前にvalidate層で拒絶されるため
  • ソースごとのコスト予測が可能: 失敗したクロールは請求対象にならないため

これらが魔法のようなソリューションだと言いたいわけではありません。重要視すべきは、これらが退屈なほど当たり前である点です。そして本番環境のAIに必要なのは、まさにその退屈な堅牢さです。(ホステッドLLM抽出のコスト採算が合わなくなるポイントについての詳細は、LLM抽出の採算が合わなくなる境界線を参照してください。)

主なポイント

バーティカルAIを構築する多くのチームは、競合優位性(モート)がプロンプトやモデルの選定、検索アルゴリズムにあると考えがちです。しかし実際はそうではありません。優位性をもたらすのは鮮度維持のループです。つまり、ナレッジベースの正確性を毎週着実に維持する、地味なインフラストラクチャこそがモートになります。

2026年に向けてバーティカルAIで成功を収めるチームは、最も巧妙なプロンプトを作成するチームではありません。データが常に最新であるため、ユーザーがその鮮度を意識することすらなくなるようなチームです。