누구나 애그리게이터 스크래퍼부터 먼저 구축합니다. Cars.com, CarGurus, AutoTrader까지 3개 사이트에 파서를 각각 하나씩 붙이면, 주말쯤에는 중고차 시장 전체처럼 보이는 피드를 확보할 수 있습니다.
그 다음 누군가 나머지 데이터는 어디 있느냐고 묻습니다.
당면 과제
NADA의 2025년 중반 보고서에 따르면 미국 내 프랜차이즈 경차 딜러는 16,972곳에 달하며, 이는 아무도 일관되게 집계하지 못하는 독립 매매상을 제외한 수치입니다. 동일한 NADA 수치를 다룬 2차 보도들은 15,720곳에서 16,990곳 사이로 제각각인데, 이는 이 시장이 얼마나 부정확하게 측정되고 있는지를 단적으로 보여줍니다.
이들 각 매장(rooftop)은 자체 웹사이트를 운영합니다. 사이트에 등록된 인벤토리는 해당 딜러의 실제 재고이며, 써드파티 리스팅 사이트에 반영되기 며칠 전에 당일 가격으로 책정됩니다. 중고차 가격을 산출하거나 잔존 가치를 예측하거나 딜러 대상 경쟁력 분석 도구를 판매하려는 경우, 필요한 데이터는 바로 이 개별 매장 사이트에 있습니다. 애그리게이터 데이터는 필터링을 거친 지연된 사본에 불과합니다.
이에 따라 팀들은 개별 매장 사이트 공략에 나서며, 세 가지 사실을 순서대로 마주하게 됩니다.
사이트 구조가 완전히 제각각인 것은 아닙니다. 거의 모든 사이트가 Dealer.com, DealerOn, Dealer Inspire, CDK, Reynolds, Sincro, Lotlinx 등 소수의 딜러 웹사이트 플랫폼을 기반으로 구동됩니다(집계 기준에 따라 구체적인 목록은 다를 수 있습니다). 이 데이터를 판매하는 조직은 딜러십마다 파서를 만드는 대신 플랫폼당 하나씩 파서를 구축합니다. Apify의 딜러 웹사이트 인벤토리 스크래퍼 역시 플랫폼을 먼저 감지한 다음 추출한다는 점을 명시합니다. 소수의 템플릿으로 수만 개의 매장을 포괄할 수 있는 셈입니다. 이 점은 다행인 부분입니다.
가져온 HTML에는 대개 가격 정보가 없습니다. 이들 플랫폼은 가격 영역을 클라이언트 사이드에서 렌더링하며, 예상 납입금이나 인센티브는 그 이후 추가 호출로 전달되는 경우가 많습니다. 단순한 HTTP 요청으로는 연식, 제조사, 모델, 주행거리, VIN만 얻을 수 있습니다. 가격 필드는 비어 있는 상태로 반환됩니다.
그리고 데이터셋을 조용히 망가뜨리는 문제가 발생합니다. 딜러 사이트에서는 실패가 정상 데이터와 완전히 동일하게 보입니다. 봇 탐지 서비스는 의심스러운 요청에 대해 HTTP 200과 함께 인터스티셜 페이지를 반환합니다. 렌더링되지 않은 가격 영역은 DOM에 "Call for Price"를 남기는데, 이는 딜러가 의도적으로 기재하는 문구이기도 합니다. 두 경우 모두 데이터 웨어하우스에는 똑같이 정상적인 로우로 적재됩니다.
우리는 다른 도메인에서 차단이 데이터 포인트처럼 보이는 현상을 다룬 바 있습니다. 자동차 분야는 "가격 없음"이 명백한 이상 징후가 아니라 정상적인 비즈니스 상태에 해당하기 때문에 훨씬 더 까다롭습니다.
비용 단위로 분리할 때 달라지는 점
안정적으로 유지되는 파이프라인은 사이트별로 작업을 구성하지 않습니다. 요청에 소요되는 비용을 기준으로 구성합니다.
가장 비싼 요청은 개별 매장을 향한 첫 번째 요청입니다. 브라우저를 실행하고, 딜러 플랫폼이 앞에 둔 보안 장치를 통과하며, 세션을 확보해 돌아와야 하는 요청입니다. 그 이후의 모든 작업은 첫 요청을 통해 확보한 세션을 재사용하는 저렴한 HTTP 호출로 처리됩니다.
import requests
FOURA = "https://api.foura.ai/api"
AUTH = {"Authorization": "Bearer pk_live_..."}
# First page of a rooftop: render it, clear the defense, keep the session.
first = requests.post(f"{FOURA}/browser", headers=AUTH, json={
"url": "https://example-motors.com/used-inventory/index.htm",
"unblocker": True,
"timeout_ms": 45000,
}).json()
listings = first["body"]
jar = "; ".join(f'{c["name"]}={c["value"]}' for c in first["cookies"])
agent = first["userAgent"]
exit_id = first["proxy"] # opaque proxy ID, send it back to stay on the same exit
그런 다음 브라우저 비용을 추가로 지불하지 않고도 해당 딜러의 나머지 인벤토리를 순회할 수 있습니다.
page = requests.post(f"{FOURA}/single", headers=AUTH, json={
"method": "GET",
"url": "https://example-motors.com/used-inventory/index.htm?start=20",
"proxy": exit_id,
"headers": [["Cookie", jar], ["User-Agent", agent]],
"validate": {
"status": {"accept": [200]},
"data": {
"accept": ["vehicle-card"],
"fail": ["Just a moment", "Access Denied"]
}
}
}).json()
여기서 두 가지 세부 사항은 겉보기보다 훨씬 더 중요합니다.
세션은 하나의 단위로 이동합니다. 통과 cookie는 이를 획득한 출구 및 획득 당시의 User-Agent에 바인딩됩니다. 다른 곳에서 재전송하거나 다른 User-Agent로 전송하면 사이트는 다시 challenge부터 시작하게 합니다. 이것이 jar, agent 문자열, proxy ID가 함께 이동해야 하는 이유입니다. 이는 엔지니어들이 가장 자주 실수하는 세부 사항이기도 합니다. cookie는 유지하면서 출구를 버려두고는, 왜 저렴한 경로가 더 이상 저렴하지 않은지 의아해합니다.
validate 블록은 침묵하는 실패(silent failure) 문제를 방지합니다. 이는 request가 실제 정상 페이지의 형태를 직접 명시하는 방식입니다. 목록 그리드가 렌더링된 후에만 존재하는 마커를 승인하고, 중간 interstitial 문자열이 발견되면 실패로 처리합니다. 이러한 규칙을 충족하지 못한 response는 price가 null인 행이 아닙니다. 이는 실패이며, 실패로 분류되어 성공으로 집계되지 않습니다. 자동차 분야에서는 긍정 마커뿐 아니라 제외 목록도 함께 작성해야 합니다. "가격 문의(Call for Price)"는 실제로 모호할 수 있지만, "차량 카드가 전혀 렌더링되지 않음"은 명확한 실패이기 때문입니다.
특정 플랫폼에 어떤 경로가 필요한지 아직 알 수 없는 경우, Auto는 단 한 번의 호출로 이를 확인하고 유효한 세션을 반환합니다. 이를 프로덕션 경로가 아닌 사전 탐색 용도로 취급하십시오. 한 플랫폼에는 브라우저가 필요하고 인접 플랫폼에는 필요하지 않다는 점을 확인했다면, 각각을 직접 엔진에 고정하고 오케스트레이터가 매일 밤 같은 답을 다시 찾는 데 드는 비용 낭비를 중단하십시오.
결과
중간 규모의 작업(특정 고객이 아닌 업계 벤치마크 기반의 예시 시나리오)에 대해 계산해 보십시오. 4,000개 딜러 지점, 지점당 약 180대의 중고차, 매일 밤 갱신되는 조건입니다.
- 720,000개가 아닌 4,000개의 페이지만 렌더링. 지점당 한 번의 렌더링으로 세션을 열고, 나머지 716,000개 페이지는 동일한 세션에서 저렴한 경로를 통해 처리됩니다. 파서가 아니라 바로 이 비율이 매일 밤 전체 수집의 비용 타당성을 결정합니다.
- 두 종류의 가격 누락을 서로 다른 테이블로 분리. validate 규칙을 적용하면 "딜러가 가격을 게시하지 않음"과 "페이지를 전혀 가져오지 못함"이 동일한 행 형태로 섞이지 않습니다. 머신러닝 모델은 첫 번째 유형만 확인하게 됩니다.
- 딜러십별이 아닌 플랫폼별 파서 단 하나 운용. response에서 플랫폼을 감지하고, 해당 HTML을 담당 파서로 전달합니다. 이미 지원 중인 플랫폼의 신규 지점을 추가하는 데 드는 비용은 0입니다.
- 딜러가 플랫폼을 변경하면 즉각 실패 감지. 플랫폼 감지가 빗나가면 행이 작성되지 않으며, 6주 동안 조용히 잘못된 가격 데이터가 쌓이는 대신 담당자에게 티켓이 발행됩니다.
단, 예외적인 부분도 있습니다. 대형 딜러 그룹은 자체 맞춤형 사이트를 구축하는 경우가 점점 늘고 있으며, 이 사이트들은 여전히 수작업으로 제작한 파서와 그에 수반되는 유지보수가 필요합니다. 지점별 데이터 최신성도 균일하지 않습니다. 일부 플랫폼은 재고 페이지를 강력하게 캐싱하므로, 수집 빈도와 관계없이 "오늘의 가격"이 하루 전 데이터일 수 있습니다. 모델이 모든 지점의 타임스탬프를 동일하게 실시간으로 취급한다면, 이는 어떤 수집 인프라로도 해결할 수 없는 데이터 오류를 초래합니다.
핵심 요약
자동차 데이터 수집에서 까다로운 부분은 모두가 벤치마크로 삼는 3대 애그리게이터가 아닙니다. 단독으로는 전용 스크레이퍼를 구축할 가치가 없었지만, 한데 모이면 막대한 가치를 지니는 17,000개의 소규모 사이트들입니다.
이러한 구조는 자동차 분야에만 국한되지 않습니다. 약국, 장비 딜러, 지역 식료품점, 프랜차이즈 등 다양한 분야에 적용됩니다. 롱테일은 각 구성원을 고유한 사이트로 취급할 때만 비용이 많이 드는 것처럼 보일 뿐입니다. 실제로는 그렇지 않은 경우가 대부분입니다. 첫 번째 request를 올바르게 처리하고 session을 재사용 가능하게 만들면, 남은 작업은 수집 문제가 아닌 파싱 문제로 전환됩니다. 그리고 파싱은 수집보다 비용이 훨씬 적게 듭니다.