← 전체 글

num=100 지원 중단 이후 대규모 SERP 모니터링

num=100 지원이 중단되면서 Google 순위의 대규모 추적이 더 까다로워졌습니다. SEO 엔지니어링 팀이 2026년을 위해 SERP 모니터링 인프라를 재구축하는 방법을 살펴봅니다.

과제

순위 추적기, SEO 대시보드, 또는 경쟁 인텔리전스 도구를 구축하는 팀이라면 2026년에 비즈니스 단위 경제성이 무너졌을 것입니다. Google은 올해 Google Search에서 num=100 URL 매개변수를 조용히 폐기했습니다. 이는 모든 SERP 스크래퍼가 단일 요청으로 100개의 결과를 가져오는 데 사용하던 트릭이었습니다. 이제 동일한 커버리지를 확보하려면 1회가 아닌 10회의 요청이 필요합니다.

이것은 눈에 보이는 비용일 뿐입니다. 숨겨진 비용은 훨씬 더 치명적입니다.

순위 추적은 올바른 국가, 지역, 도시에서 실제 검색 사용자가 보는 것과 동일한 SERP를 확인할 수 있을 때만 의미가 있습니다. 런던에서 4위인 키워드가 에든버러에서는 11위, 벨파스트에서는 19위에 오를 수 있습니다. 로컬 3-팩, 쇼핑 캐러셀, 뉴스 박스, 지식 패널, AI Overview 등 모든 SERP 기능은 지리적 위치와 기기에 따라 변경됩니다. (Scrape.do의 측정에 따르면 2026년 초 기준으로 대략 36%의 쿼리에서 AI Overview 텍스트가 표시되었습니다.) 스크래퍼가 잘못된 도시의 proxy를 통해 라우팅된다면, 순위 데이터는 단지 그럴듯하게 포장된 허구에 불과합니다.

따라서 2026년에 신뢰할 수 있는 SERP 제품을 운영하려면 세 가지 요소가 유기적으로 작동해야 합니다. 유선 수준에서 실제 브라우저처럼 보이는 요청, 모니터링하려는 정확한 도시에 위치한 proxy, 그리고 Google이 결과의 절반을 클라이언트 측에서 렌더링하도록 결정했을 때 JavaScript를 실행할 수 있는 역량입니다. 셋 중 하나라도 빠지면 데이터 품질은 은밀하게 저하됩니다.

FourA의 접근 방식

대규모 SERP 스크래핑의 병목 현상은 요청 자체가 아닙니다. 라우팅입니다.

자체 구축한 대부분의 파이프라인은 고정된 proxy 풀에서 시작하여 쿼리를 변수로 취급합니다. 하지만 Google의 지리적 타겟팅 환경에서는 그 반대여야 합니다. 쿼리는 이미 정해져 있는 상수이며, 정확하게 맞춰야 하는 것은 proxy입니다.

FourA를 기반으로 팀들이 이를 구현하는 전형적인 패턴은 다음과 같습니다.

  1. Proxy Finder는 최신 활성 상태 확인을 거쳐 국가, 지역, 도시, ASN 태그가 지정된 가용 proxy 풀을 유지 관리합니다. 맨체스터, 보스턴, 상파울루에서 들어오는 요청이 필요할 때 Proxy Finder는 해당 위치에 실제로 존재하며 최근 확인에서 활성 상태였던 proxy를 선택합니다. 이 선택은 가져오기 도중이 아니라 가져오기 전에 수행됩니다. 해당 라우팅 계층이 중요한 이유에 대한 자세한 내용은 스마트 Proxy 라우팅에 대한 글을 참조하십시오.

  2. Single은 SERP 가져오기 자체를 처리합니다. 표준 유기적 결과의 경우 원시 HTML만으로도 충분합니다. unblocker: true을 설정하면 Google이 해당 주에 어떤 서명을 확인하고 있는지 알 필요 없이 요청이 최신 브라우저 서명을 탑재합니다. 해당 플래그가 유선상에서 수행하는 작업은 Web Unblocker 게시물에서 자세히 설명했습니다.

  3. Browser는 JavaScript가 실행된 후에 핵심 콘텐츠가 표시되는 SERP를 처리합니다. AI Overview, 확장 쇼핑 팩, 지식 패널 콘텐츠, 고정형 로컬 3-팩 등이 이에 해당합니다. 동일한 URL과 대상을 유지하면서 요청이 완전한 브라우저 세션을 통해 실행되고 렌더링이 완료된 페이지를 반환합니다. (또한 스크린샷이 함께 제공되므로, SEO 담당자가 대시보드에는 3위로 표시되는데 브라우저에서는 왜 6위로 보이는지 문의할 때 유용하게 대응할 수 있습니다.)

proxy 라우팅된 API에 대한 단일 호출 예시:

curl -X POST "https://api.foura.ai/api/proxy" \
  -H "x-api-key: YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 3,
    "timeout_ms": 20000,
    "request": {
      "method": "GET",
      "url": "https://www.google.co.uk/search?q=plumber+manchester&hl=en-GB",
      "unblocker": true,
      "validate": {
        "status": { "accept": [200] },
        "data": { "fail": ["unusual traffic", "/sorry/", "captcha"] }
      }
    }
  }'

세 가지 관심사가 깔끔하게 분리되었습니다. 지리적으로 정확한 proxy 작업(Proxy Finder), request 자체(Single), 필요할 때 수행하는 JavaScript 렌더링(Browser)입니다. 코드에 proxy 상태 확인 로직을 포함하거나 새벽 3시에 어느 IP가 살아있는지 추측할 필요가 없습니다. 그건 다른 사람의 문제입니다.

그리고 모든 response를 (keyword, location, device, timestamp)를 키로 하여 저장하십시오. 이것이 순위 추적을 위한 실제 단일 진실 공급원입니다. "오늘 이 키워드 순위는 여기였다"가 아니라, "이 도시에서, 이 기기로, 이 시각에, 이 키워드의 순위는 여기였다"가 되어야 합니다. 이러한 수준의 귀속 데이터가 없다면 이틀 치 데이터가 조용히 서로 모순을 일으켜도 어느 쪽이 맞는지 판단할 방법이 없습니다. 보호된 버티컬을 모니터링하는 SEO 팀들은 이미 이를 겪고 있습니다. 우리는 봇 탐지가 행동 기반으로 전환된 방식에 대해서도 다룬 바 있으며, 이는 per-request 신호 대신 request 시퀀싱을 살펴보는 사이트를 위한 네 번째 축(세션 연속성)을 추가합니다.

결과

12개 도시에서 5,000개 키워드를 하루 두 번 모니터링하는 순위 추적기는 기존 num=100 체제에서 하루 약 120,000건의 request를 발생시켰습니다. 이제 단순 페이지네이션 계산만으로도 120만 건에 가깝습니다(업계 벤치마크 기준 예시 시나리오).

이러한 구조를 3개 제품 스택으로 전환한 팀들은 대체로 다음과 같이 보고합니다.

  • 자체 proxy 풀 운영 대비 request당 비용 40-60% 절감: proxy 교체 비용, 비활성 IP, 로테이션 유지에 투입되던 엔지니어링 리소스 지출을 중단했기 때문입니다.
  • 도시 수준 위치 정확도가 약 70%에서 95% 이상으로 향상: Proxy Finder가 도시별로 필터링하고 proxy를 전달하기 직전 마지막 확인에서 활성 상태를 검증하기 때문입니다.
  • AI Overviews를 위한 별도 경로 불필요: Single을 통해 가져오던 키워드를 파이프라인 재작성 없이 Browser로 승격할 수 있습니다. 인터페이스 규약은 URL 입력, response 출력으로 동일합니다.

키워드 10개를 노트북에서 돌릴 때는 이 중 어느 것도 필요하지 않습니다. 하지만 파이프라인이 여러 국가에 걸쳐 수만 개의 키워드를 모니터링하고, 고객이 월요일 오전 9시에 대시보드를 새로고침하며, 순위 데이터가 정확해야 하는 시점에는 반드시 필요합니다.

핵심 요약

SERP 모니터링에서 까다로운 부분은 request 자체가 아닌 지 오래되었습니다. 핵심은 라우팅이었습니다. 어느 도시에서 요청을 보내고 있는가? 해당 IP가 살아있는가? Google이 해당 위치의 실제 검색자가 보게 될 레이아웃을 반환했는가, 아니면 스크래퍼를 감지했을 때 제공하는 빈 페이지를 반환했는가?

자체 구축한 스택으로 순위 추적을 운영하는 SEO 팀이라면, 2026년에 던져야 할 질문은 Google을 스크래핑할 것인가가 아닙니다. 그건 이미 하고 있습니다. 규칙이 예고 없이 바뀔 때 인프라가 신뢰할 수 있는 순위를 계속 산출할 수 있는지, 그리고 그 상태를 유지하기 위해 엔지니어링 팀의 리소스를 얼마나 투입할 용의가 있는지가 진짜 질문입니다.