문제점
버티컬 AI 스타트업은 대략 2개월 차에 모두 같은 벽에 부딪힙니다. 고객 지원 코파일럿, 법률 조사 어시스턴트, 컴플라이언스 봇을 배포하고 첫 데모로 고객을 확보합니다. 그러나 데이터가 노후화되면서 답변이 실제와 어긋나기 시작합니다.
많은 팀이 AI 파트는 깔끔하게 구축하지만 데이터 파트는 사후 대책 정도로 처리하는 모습을 보아왔습니다. 수집 파이프라인은 누군가의 노트북에서 실행되는 Python 스크립트 하나뿐입니다. 200개의 소스 URL을 한 번 스크랩하고, 벡터 스토어에 정제된 Markdown을 밀어 넣은 뒤 성공을 자축합니다. 6주 후, 답변의 절반은 삭제된 페이지, 사용 중단된 API, 또는 3월에 출시되었다가 5월에 다시 변경된 제품 기능을 인용하게 됩니다.
해결책은 간단해 보입니다. 모든 소스를 매주 다시 크롤링하는 것입니다. 현실은 훨씬 가혹합니다. 2026년 기준 신뢰할 수 있는 사이트의 약 60%가 AI 크롤러를 차단하고 있으며(2023년 말 23%에서 증가), 차단 방식도 단순한 User-Agent 확인 수준이 아닙니다. 세션 동작, 요청 주기, 핸드셰이크 수준의 신호를 분석합니다. 1월에 잘 작동하던 단순 스크립트가 3월에는 아무런 오류 없이 빈 페이지만 반환합니다.
더 심각한 문제는 일부 사이트가 임베딩을 오염시킬 목적으로 타르핏(tarpit) 콘텐츠(실제 문장처럼 보이지만 마르코프 체인으로 생성된 횡설수설한 텍스트)를 제공한다는 점입니다. 결국 엔지니어들은 제품을 출시하는 대신 근무 시간의 절반을 스크래퍼 패치에 쏟게 됩니다. 검색 품질은 떨어지고, 고객이 이를 알아차리며, AI 구축을 위해 채용한 팀은 스크래퍼 유지보수팀으로 전락합니다.
접근 방식
재크롤링 문제는 매 요청마다 내려야 하는 세 가지 구체적인 결정으로 나뉩니다.
- 렌더링 여부: 대부분의 문서 포털은 깔끔한 HTML을 제공합니다. 그러나 Next.js 기반 사이트나 클라이언트 사이드 렌더링을 사용하는 사이트 등 유용한 콘텐츠를 얻기 위해 완전한 브라우저 렌더링이 필요한 비율이 점차 늘고 있습니다.
- 사용할 프록시: 주거용, 데이터센터, 모바일, 지역 고정, 특정 ISP 등 대상에 따라 적합한 선택이 달라집니다.
- 실제 성공 여부: 응답 본문이 비어 있는 200 코드나 캡차 인증 페이지는 HTTP 요청 자체는 성공이지만 크롤링은 실패한 것입니다.
FourA와 같은 플랫폼은 이러한 각각의 문제를 핵심 관심사로 처리합니다.
렌더링 결정의 경우, 저비용의 빠른 처리가 필요할 때는 Single을 호출하고 JS 비중이 높은 대상에는 Browser를 호출하면 됩니다. 호출 본문의 형식이 동일하므로, 수집 코드는 사이트별 예외 처리를 일일이 유지하는 대신 소스별 플래그 하나로 분기할 수 있습니다.
프록시 선택의 경우, Proxy Finder가 모든 Single, Browser, Auto 호출의 일부로 실행됩니다. 플랫폼이 요청마다 작동 가능한 출구를 선택하여 응답 내에 고유 ID(Single/Browser에서는 최상위 r.proxy, Auto에서는 r.session.proxy)를 반환하며, 동일한 출구를 유지해야 할 때 후속 호출에서 이 ID를 재사용할 수 있습니다. 크롤러 자체에 별도의 프록시 순위 알고리즘을 둘 필요가 없습니다. (풀 크기가 더 이상 차별점이 되지 않는 이유는 Why Proxy Pool Size Stopped Mattering in 2026에서 다룬 바 있습니다.)
"실제로 제대로 작동했는가"에 대한 질문을 위해, 모든 request는 validate 블록을 지원합니다. 허용되는 상태 코드, 필수 header 값, 반드시 포함되거나 제외되어야 하는 body 문자열 등 무엇이 성공인지 직접 정의합니다. FourA는 7가지 결과 중 하나를 반환하며, 오직 success에만 과금이 발생합니다. 사용자의 콘텐츠 규칙을 통과하지 못한 200 응답은 application_fail로 태그되어 데이터셋에 절대 들어가지 않습니다.
JS 렌더링이 필요한 문서 포털의 recrawl 호출 예시는 다음과 같습니다. 오케스트레이션은 Auto에 맡깁니다. 알맞은 제품(Single, Proxy, Browser)을 선택하고, 봇 탐지를 처리하며, 세션 트리플을 반환하여 다음 recrawl 시 동일한 출구를 유지할 수 있도록 합니다:
import requests
r = requests.post(
"https://api.foura.ai/api/auto",
headers={"Authorization": "Bearer pk_live_..."},
json={
"url": "https://docs.example.com/changelog",
"validate": {
"status": {"accept": [200]},
"data": {"accept": ["<article"], "fail": ["captcha", "Just a moment"]},
},
},
).json()
# r["data"] or r["body"] — rendered content (Auto runs the right sub-product per host;
# Single populates "data", Browser populates "body")
# r["session"] — { "proxy": "<base36 id>", "cookies": [...], "userAgent": "..." }
# On the next recrawl, pass r["session"]["proxy"] back as `ignoreProxies: [<id>]` to avoid
# the same exit, or via /api/single with `proxy: <id>` to stick to it.
대상 사이트가 Cloudflare interstitial을 반환하면 validate.data.fail 규칙이 이를 감지합니다. 사용량에 기록되는 결과는 application_fail입니다. 비용이 청구되지 않으며, 수집 코드는 "Just a moment..." 페이지를 임베딩에 넘기는 대신 다른 proxy로 재시도해야 함을 인지합니다.
더 큰 규모의 말뭉치라면 기존 작업 큐에서 동일한 패턴을 래핑하면 됩니다. 당사가 인터뷰한 팀들은 이전 크롤링 대비 야간 diff를 실행하고 실제로 변경된 문서만 다시 임베딩하여, 500개 소스 규모의 말뭉치를 불과 몇 시간의 실제 소요 시간(wall-clock time) 내에 갱신합니다. 작업 큐는 그대로 직접 관리하십시오. proxy 교체, 렌더링 판단, 성공 여부 판정은 FourA가 처리합니다.
결과
인프라 병목이 사라진 후의 최신성 유지 루프(freshness loop)는 다음과 같은 형태를 띱니다 (버티컬 AI 팀 전반에서 확인되는 패턴 기반의 예시 시나리오):
- 주간 500개 소스 URL 재크롤링, 런칭 시점의 일회성 200개 URL 크롤링 대비 개선
- 스크래퍼 유지보수 엔지니어링 시간: 주당 2시간 미만, 기존 1~2일에서 단축
- 검색 stale 윈도우: 5~7일, 기존의 무제한 지연 대비 개선
- 벡터 저장소 내 쓰레기 데이터 비율 0에 근접, Cloudflare interstitial 및 tarpit 페이지가 임베딩 모델에 도달하기 전
validate계층에서 거부되기 때문 - 소스당 비용 예측 가능, 실패한 크롤링은 과금되지 않기 때문
핵심은 이 중 어느 것도 마법이 아니라는 점입니다. 핵심은 이 과정이 지루할 정도로 안정적이라는 점입니다. 그리고 프로덕션 AI에 필요한 것은 바로 이 지루함입니다. (호스팅형 LLM 추출의 경제성이 무너지는 지점에 대한 자세한 내용은 LLM 추출의 수지타산이 맞지 않게 되는 시점을 참고하십시오.)
핵심 요약
버티컬 AI를 구축하는 대부분의 팀은 해자(moat)가 프롬프트, 모델 선택, 또는 검색 알고리즘에 있다고 생각합니다. 그렇지 않습니다. 해자는 바로 최신성 유지 루프입니다. 매주 지식 베이스의 신뢰성을 묵묵히 지켜내는 실용적인 인프라입니다.
2026년까지 버티컬 AI 시장에서 승리할 팀은 가장 기발한 프롬프트를 작성하는 팀이 아닐 것입니다. 데이터가 언제나 최신 상태로 유지되기에, 사용자가 데이터의 최신성 여부조차 신경 쓸 필요가 없도록 만드는 팀일 것입니다.