워싱턴 D.C.의 한 Safeway 매장에서 판매되는 Lucerne 달걀 한 판(12구) 가격이 Instacart에서 3.99달러, 4.28달러, 4.59달러, 4.69달러, 4.79달러로 각각 제시되었습니다. 같은 매장, 같은 시각이었지만 구매자에 따라 달랐습니다. 이 다섯 가지 숫자 중 어떤 것을 가격 패널에 반영해야 할까요?
해결 과제
식료품 분야에서는 "상품 페이지를 가져와 가격을 파싱한다"는 기존의 가격 인텔리전스 방식이 통하지 않습니다. 식료품 가격은 특정 매장에 종속되며, 배송 구역에 따라 달라지기도 하고, 점차 조회하는 사용자가 누구인지에 따라서도 결정됩니다.
먼저 매장 위치 문제입니다. Scrapfly의 식료품 가격 비교 가이드에 따르면, 우유 1갤런 가격이 한 Walmart에서는 3.98달러이지만 20마일 떨어진 다른 매장에서는 4.29달러였으며, 매장 위치가 지정되지 않은 세션에는 실제 매장과 일치하지 않는 기본 데이터가 제공될 수 있다고 경고합니다. ScrapeInsight의 2026년 식료품 배송 가이드는 그보다 한 단계 더 나아간 현상을 보여줍니다. 한 배송 구역에서는 3.99달러인 상품이 불과 몇 마일 떨어진 곳에서는 4.49달러였습니다. Bright Data의 ShopGrok 사례 연구에서는 지난 4년 동안 호주 소매 유통 시장의 가격 책정이 우편번호에 따라 달라지는 구조로 변모했다고 설명합니다.
다음은 구매자 문제입니다. 2025년 12월, Groundwork Collaborative, Consumer Reports, More Perfect Union은 4개 도시에서 437명의 구매자를 대상으로 실시간 테스트를 진행했습니다. 동일한 매장에서 같은 시각에 동일한 Instacart 장바구니를 채우도록 한 결과, 품목의 74%가 두 개 이상의 가격으로 표시되었습니다. 가격 차이가 발생한 경우 최저가와 최고가 간의 격차는 평균 13%에 달했고, 전체 장바구니 기준으로는 약 7%의 차이가 났습니다.
이러한 요인들이 결합되면 식료품 데이터 수집 비용을 급증시키는 오류가 발생합니다. 매장 컨텍스트를 놓쳐도 시스템이 다운되지는 않습니다. 사이트가 에러를 반환하지도 않습니다. 단지 요청하지 않은 다른 매장의 정상적인 가격과 함께 SKU, 숫자, 타임스탬프를 반환하며, 이는 모든 null 체크 검증을 완벽히 통과합니다.
저희는 이전에 차단이 정상 데이터 포인트처럼 보이는 현상에 대해 다룬 적이 있습니다. 하지만 이번 사례는 감지하기가 훨씬 더 어렵습니다. 해당 페이지가 실제로 유효한 가격 페이지이기 때문입니다. 단지 원했던 대상이 아닐 뿐입니다.
응답 데이터 내에서 매장 일치 여부 검증
대부분의 수집기는 매장 선택 값(cookie, 쿼리 파라미터, header)을 전송한 뒤 이를 맹신합니다. 더 안정적인 방법은 응답 자체가 이를 증명하도록 만드는 것입니다. 페이지에 렌더링 대상 매장 정보(예: 임베디드 데이터의 매장 ID 또는 픽업 배너의 매장 이름)가 명시되어 있다면, 해당 식별자를 성공 판별 기준으로 삼을 수 있습니다. FourA에서는 한 번의 Proxy Finder 호출로 이를 처리할 수 있습니다.
import requests
r = requests.post(
"https://api.foura.ai/api/proxy",
headers={"X-API-Key": "pk_live_..."},
json={
"maxTries": 6,
"request": {
"method": "GET",
"url": "https://grocer.example/product/0001234",
"headers": [["Cookie", "store=1234"]],
"validate": {
"status": {"accept": [200]},
"data": {
"accept": ["\"storeId\":\"1234\""],
"fail": ["Just a moment", "Access Denied"]
}
}
}
}
).json()
if "error" in r:
report = r.get("attemptReport", {})
print(report.get("summary", r["error"]))
if report.get("contentRejected", 0) > report.get("defense", 0) + report.get("noResponse", 0):
print("the site answered for another store: check the store selection")
else:
page, exit_id = r["data"], r["proxy"]
해당 request에는 실수하기 쉬운 세 가지 세부사항이 있습니다.
accept는 문자열 중 하나라도 페이지에 나타나면 통과합니다. 매장 식별자 옆에 가격 식별자를 두면 잘못된 매장 페이지도 가격 정보를 포함하고 있어 그대로 통과해 버립니다. 매장 식별자는 accept에 단독으로 유지하고, 챌린지 문자열은 fail에 배치하십시오.
직접 전달하는 Cookie header는 재시도 동작 방식을 변경합니다. 사이트가 제공된 브라우저를 거부할 때, Proxy Finder는 일반적으로 다음 시도에서 다른 브라우저 제품군으로 이동합니다. 그러나 사용자의 cookie가 첨부된 경우에는 다릅니다. 세션은 이를 획득한 시그니처에 바인딩되므로, 자체 cookie를 전달하는 request는 시작할 때 사용한 브라우저를 그대로 유지합니다. 특정 체인 사이트가 브라우저에 민감한 것으로 확인되면 로테이션에 의존하기보다 browser profiles를 사용하여 명시적으로 선택하십시오.
그리고 실패한 작업은 어떤 유형의 실패인지 알려줍니다. 실패한 모든 Proxy Finder response에는 attemptReport가 포함됩니다. defense은 봇 감지가 확인된 응답 수를 집계하고, noResponse은 사이트에 도달하지 못한 exit 수를 집계하며, contentRejected는 봇 감지 없이 HTTP 200으로 반환되었으나 오직 사용자의 콘텐츠 규칙에 의해서만 제외된 페이지 수를 집계합니다. 식료품 수집기에서 이 마지막 수치는 명확한 의미를 가집니다. 사이트가 응답했으나 의도한 매장의 데이터가 아니라는 뜻입니다. 더 많은 exit를 투입해도 이는 해결되지 않습니다. 다른 카운트에 대한 자세한 내용은 시도 보고서 가이드를 참조하십시오.
구매자 조건 고정 또는 가격 분포 측정
Instacart 조사 결과는 두 번째 변수를 추가하며, 이를 처리하는 데는 두 가지 합리적인 접근 방식이 있습니다.
가격 패널의 경우 각 매장의 수집 작업을 단일 identity로 유지하십시오. 성공한 exit(r["proxy"], 불투명 ID)를 동일한 cookie와 함께 Single을 통해 재실행하고, 해당 ID와 X-FourA-Request-Id response header를 모든 행에 저장하십시오. 가격이 급변할 때 실제 매장의 가격 변경인지 세션 변경으로 인한 것인지 구분할 수 있습니다.
가격 책정 연구의 경우 의도적으로 반대 방식을 취하십시오. 여러 독립 세션을 통해 동일한 매장의 동일한 SKU를 샘플링하고 첫 번째 응답 대신 분포를 기록하십시오. 실제 구매자에게 5개의 가격이 표시되는데 단 하나의 수치만 보고하는 패널은 정밀한 것이 아닙니다. 운이 좋았을 뿐입니다.
결과
2,500개 SKU에 대해 120개 경쟁 매장을 매일 벤치마킹하는 지역 체인을 예로 들어보겠습니다(업계 벤치마크 기반 예시 시나리오). 이는 하루 300,000건의 페이지 읽기에 해당하며, 특정 시점에는 잘못된 매장의 데이터가 반환될 수 있습니다. cookie 형식이 변경되었거나, 매장이 문을 닫았거나, 사이트가 cookie보다 IP 위치를 우선하기 시작한 경우입니다.
- 잘못된 매장 페이지는 수집 단계에서 실패 처리됩니다. 해당 페이지는 행 데이터로 저장되지 않으므로, 패널에 표시되는 가격 변동은 실제 해당 매장의 변동입니다.
- 실패 원인이 분류되어 전달됩니다.
contentRejected수치가 높으면 매장 선택 담당자에게 전달되고,defense수치가 높으면 접근 권한 문제이며,noResponse수치가 높으면 exit 문제입니다. 담당자가 셋이고 해결책도 셋이므로, 원인을 추측하느라 오전을 허비할 일이 없습니다. - 모든 행을 추적할 수 있습니다. 관측값마다 exit ID와 request ID가 부여되어 "이 급격한 변동이 실제인가?"라는 의문을 단순 조회 작업으로 바꿉니다.
- 가격 편차가 수치로 확보됩니다. 여러 세션에 걸쳐 샘플링한 SKU의 경우, 단일 관측치 대신 구매자가 실제로 접하는 가격 범위를 보고할 수 있습니다.
이 방식의 한계: 회원 및 로열티 가격은 계정 뒤에 숨어 있으며, 로그인된 구매자를 대상으로 하는 실험은 익명 세션에 전혀 나타나지 않습니다. 이를 수집하는 것은 엔지니어링 문제이기 전에 서비스 이용약관의 문제입니다. 그리고 매장 식별자는 이를 추출하는 선택 기준에 의존합니다. 메모리가 아닌 페이지 소스에서 가져오고, 체인의 사이트 디자인이 바뀔 때마다 다시 검증하십시오.
핵심 요약
예전의 식료품 가격은 제품 자체의 속성이었습니다. 이제는 제품, 매장, 구매자가 결합된 정보이며, 첫 번째 요소만 기록하는 수집기는 정갈한 스키마를 갖춘 노이즈를 만들어낼 뿐입니다.
구매자별 맞춤 가격 책정이 계속 확산된다면, 식료품 데이터 구매자가 던지는 질문은 "비용이 얼마인가?"에서 "이곳에서의 비용은 얼마이며 범위는 얼마나 넓은가?"로 바뀝니다. 따라서 신뢰할 수 있는 수집기는 exit 수가 가장 많은 수집기가 아닙니다. 모든 request가 대상 매장을 명시하고 이를 증명할 수 있는 수집기입니다.