← 전체 글

Cloudflare Verified Bots: 봇 단위 등급 부여, 기업 단위 자격 박탈

Cloudflare가 이제 robots.txt 준수 여부와 429 응답을 기준으로 Verified bots의 등급을 매깁니다. 등급 분류는 개별 봇에 적용되지만, 문서상 페널티는 회사 전체로 확대될 수 있습니다.

봇 하나의 기록이 회사 전체에 피해를 줄 수 있다

Cloudflare는 새로운 봇 등급 시스템을 운전면허증에 비유해 설명했습니다. 면허증은 그 사람이 누구인지를 알려줄 뿐, 내년에 안전하게 운전할지 여부를 알려주지는 않습니다. 적절한 비유입니다. 하지만 한 가지 세부 사항이 빠졌습니다. 면허 정지는 운전자 한 명만을 도로에서 제외하지만, Cloudflare의 규칙 하에서는 나쁜 기록 하나가 해당 회사가 운영하는 모든 봇을 정지시킬 수 있습니다.

10월 16일, Cloudflare는 현재까지 두 가지 신호를 기준으로 Verified 봇을 지속해서 평가한다고 밝혔습니다. 트래픽이 시간 경과에 따라 사이트의 robots.txt를 준수하는지 여부, 그리고 HTTP 429 이후 속도를 늦추는지 여부입니다. 그 결과는 "신뢰 구간(trust band)"이 됩니다. 이를 읽은 엔지니어들은 먼저 재시도 로직을 수정하려 할 것이며, 좋은 점수를 얻는 fetch 루프에 대한 Crawlbase의 상세 기사가 좋은 출발점입니다.

우리는 재시도 로직이 더 작은 문제라고 생각합니다. 다른 사람들을 위해 스크래퍼를 구축한다면, 정작 중요한 문제는 등록 목록에 누구의 이름이 올라가 있는가입니다.

실제로 출시된 것

헤드라인이 암시하는 것보다 적습니다. Cloudflare는 이력을 쌓는 동안 "이미 내부적으로 이 시스템을 사용하고 있다"고 말합니다. Radar의 공개 점수와 사이트 소유자가 선택할 수 있는 임계값은 모두 확정된 날짜 없이 미래 시제로 작성되어 있습니다. Cloudflare가 발표한 내용 중 아직 신뢰 구간을 이유로 사이트가 크롤러를 차단할 수 있게 해주는 것은 없습니다.

적용 범위도 좁습니다. Verified 목록에 있는 봇만 대상이며, 그 외의 모든 것은 전혀 점수가 매겨지지 않습니다. 이는 거의 전부에 해당합니다. 10월 Cloudflare Connect에서 회사는 자동화된 요청 중 스스로 신원을 밝히는 봇의 비율은 10개 중 하나 미만이라고 밝혔습니다.

따라서 여러분의 스크래퍼가 해당 목록에 없다면 이번 발표는 여러분을 평가하지 않습니다.

의미하는 바: 원장은 아직 사이트 소유자에게 공개되지 않았으며, 대부분의 자동화된 트래픽은 여기에 포함되지 않습니다. 지금 신경 써야 할 대상은 등록된 크롤러가 있거나 등록할 계획이 있는 이들입니다.

점수보다 넓은 페널티 적용 범위

우리가 읽은 분석 글들이 간과한 부분이 바로 여기입니다. 신뢰 구간은 봇 하나를 설명합니다. 하지만 그 결과가 거기에만 머물 필요는 없습니다. 11월 2일에 업데이트된 Cloudflare의 Verified bots 문서에 따르면, 반복적인 위반 후 "조직이 소유하거나 운영하는 모든 봇과 에이전트의 Verified 상태를 취소할 수 있다"고 명시되어 있으며, 회사가 "하나의 봇이나 에이전트에 대해서는 정책을 준수하면서 다른 것으로 위반하는" 경우를 언급합니다.

이를 소규모 에이전시의 관점에서 읽어보십시오. 회사 하나, 여러 고객 프로젝트, 디렉터리에 등록된 이름 하나. 한 고객이 금요일까지 카탈로그를 원하며 요청 속도를 올리라고 요구합니다. 해당 작업이 유발된 429 에러에도 불구하고 속도를 유지하고 이를 반복한다면, 그 비용은 해당 작업에만 국한되지 않습니다. 회사 전체와 그 아래에서 실행되는 다른 모든 프로젝트에 영향을 미칠 수 있습니다.

동일한 페이지를 보면 이것이 왜 상업적 작업에 즉시 적용되는지 알 수 있습니다. Cloudflare의 디렉터리인 BotBase는 이제 "가격 스크래핑, 경쟁 인텔리전스 수집, 서드파티 애널리틱스"로 정의되는 "Data Collection" 동작을 명시합니다. 이는 Search 및 Training과 나란히 자리 잡고 있습니다. 상업적 수집이 공표되고 명명된 활동이 될 수 있다는 점은 분명 긍정적인 소식입니다.

하지만 그 옆에 붙은 라벨을 살펴보십시오. 봇은 Direct(단일 운영자, 주로 자체 인프라 사용)이거나 Intermediary("다양한 최종 사용자가 운영할 수 있는 에이전트 서비스") 중 하나로 분류됩니다. Cloudflare는 두 번째 그룹에서 발생하는 문제를 전이적 신뢰(transitive trust)라고 부릅니다. 운영자는 신뢰하더라도 이를 제어하는 모든 사용자를 신뢰할 수는 없으므로, 최종 사용자에 대한 세부 정보를 전달하는 실험을 진행하고 있습니다. 스크래핑 대행업체는 서류상의 명칭을 제외하면 모든 면에서 중개자(intermediary)입니다.

429 응답이 항상 속도 문제인 것은 아니다

두 번째 신호는 단순하게 들립니다. Cloudflare는 429 응답을 "방문자가 요청 속도를 늦추도록 지시하는 명령"으로 정의하며, 이후 트래픽이 감소하거나 일시 정지하는지 모니터링합니다.

하지만 사이트는 단순 부하 조절 외에도 다양한 이유로 이 상태 코드를 사용합니다. Crawl Readiness가 10월 12일 Tranco 상위 1,000개 사이트를 대상으로 각 홈페이지만 브라우저 및 네 개의 AI 크롤러로 호출하는 테스트를 수행했습니다. 재시도 없이 사이트당 약 10건의 요청을 전송했습니다. 자체 robots.txt에서 허용한 크롤러를 차단한 78개 사이트 중 14개 사이트는 별다른 내용 없이 429 응답만 반환했습니다(1회 테스트이자 User-Agent 문자열만 사용했으므로 참고용 힌트로 보아야 합니다).

테스트 작성자들은 신중한 접근을 위해 이를 단순 rate limit 가능성으로 분류했습니다. 당사의 해석은 다릅니다. 불과 몇 차례의 요청 후 브라우저에는 200을 반환하고 특정 크롤러에는 429를 반환하는 사이트는 네트워크 혼잡 상태를 알리는 것이 아닐 가능성이 높습니다. 혼잡을 나타내는 어휘를 빌려 거부 의사를 표현하는 것입니다.

따라서 모든 429 응답을 단일한 지침으로 처리하는 평가 시스템은 때때로 엉뚱한 지표를 측정하게 되며, 사이트는 현재 어떤 상황인지 명확히 알려주지 않습니다. 동시성 제한, 분당 한도, 단순 거절 모두가 동일한 세 자리 숫자로 전달됩니다.

일반적인 클라이언트 구조도 문제를 키웁니다. 대다수의 재시도 코드는 Retry-After 대기 시간이 지나면 거절을 유발했던 원래 속도 그대로 요청을 다시 이어갑니다. Crawlbase의 로컬 테스트는 이를 수치로 보여줍니다. 초당 2개 요청 제한 환경에서 기존 속도를 유지한 루프는 40개 요청 중 13번 거절된 반면, 상한선을 낮춘 루프는 3번만 거절당하면서도 초당 더 많은 페이지를 가져왔습니다(0.94 대비 1.11). 단순 토이 서버 테스트이지만 방향성은 유효합니다.

핵심 내용: 봇이 Verified 목록에 있다면 점수 산정에서 유리한 대응은 속도를 낮추는 것이며, 이는 생각보다 비용 효율적입니다. 단, 수신된 응답을 반드시 로깅하십시오. 그중 일부 429 응답은 요청 속도와 무관하게 발생한 것이기 때문입니다.

식별자 서명과 규칙 준수의 분리

Google의 문서에서도 이러한 긴장감이 드러납니다. 10월 13일에 마지막으로 업데이트된 Web Bot Auth 페이지에 따르면, 실험의 일환으로 Google-Agent request 중 일부에 서명이 적용됩니다. Google-Agent가 등록된 user-triggered fetchers 페이지에서는 사용자가 fetch를 요청했기 때문에 이러한 fetcher는 "일반적으로 robots.txt 규칙을 무시한다"고 명시합니다.

결국 Google은 다른 모든 주체가 평가받는 기준이 될 수도 있는 파일을 거부하면서 request의 발신자가 누구인지만 증명하고 있습니다. Cloudflare의 게시물에서는 사용자가 직접 지시한 fetch를 어떻게 평가할지에 대해 밝히지 않았습니다. 에이전트를 구축 중이라면 이 경계를 주목해야 합니다. "사람이 이를 요청했다"는 사실이 곧 상당한 영향력을 가지게 될 것이기 때문입니다.

클라이언트를 위한 스크레이퍼 개발자에게 이것이 의미하는 바

누구의 이름이 걸려 있는지에 따라 작업을 분류하세요. 자체 공개 크롤러와 하나의 명확한 목적을 가진 프로덕트는 Verified 상태를 받기 적합합니다. 자사의 이름 아래에서 다른 사람의 작업을 실행하는 플릿의 경우는 판단이 더 어렵습니다. 한 클라이언트의 작업 때문에 전체 등록 상태가 위험해질 수 있기 때문입니다.

계약서에 크롤링 행동 규칙을 명시하세요. 클라이언트가 더 빠른 rate를 요구할 수 있다면, 그에 따른 결과를 누가 책임지는지 계약서에 명시해야 합니다. 429 응답이 기록으로 남게 되면, "그냥 더 빠르게 수집해 달라"는 요구는 더 이상 비용이 들지 않는 단순한 요청이 아닙니다.

자체 로그를 유지하세요. 호스트별로 상태, Retry-After, 전후로 유지한 rate를 기록하세요. Cloudflare는 설명 가능한 범위를 약속하지만, 운영자가 이에 대해 어떻게 이의를 제기할 수 있는지는 밝히지 않았습니다. 자체 데이터가 없다면 평가자의 기록만이 유일한 기록이 됩니다. 이는 EDPB의 가이드라인 초안이 권장하는 습관과도 일치합니다. 무엇을, 어디서, 언제 수집했는지 증명할 수 있어야 합니다.

robots.txt를 허가증으로 해석하지 마세요. Cloudflare의 게시물에 명확히 나와 있습니다. "명시되지 않은 항목이 허용된다는 의미는 아닙니다." RFC 9309는 결코 라이선스가 아니었으며, 이제는 누군가가 이를 기준으로 점수를 매기고 있습니다.

아무도 열어보지 않는 드롭다운

지난 8월, 우리는 웹이 봇을 행동이 아닌 목적에 따라 분류하고 있으며 기본값이 정책을 표준으로 만드는 방법이라고 썼습니다. 행동 기반 평가는 두 달 만에 현실이 되었습니다. 그리고 기본값의 영향력은 이미 측정 가능합니다. Crawlbase가 10월 30일 Tranco 상위 2,000개 사이트를 조사한 결과, 71개 사이트의 robots.txt에 Content-Signal 라인이 있었고, 그중 39개 사이트는 동일한 Cloudflare 매니지드 기본값을 그대로 사용하고 있었습니다. Pay-per-crawl 역시 이번 변화와 같은 조건을 필요로 했습니다. 바로 이름이 명시된 구매자입니다.

우리의 예상은 이렇습니다. 신뢰도 임계값 기능이 배포되면 대부분의 사이트는 기본 선택된 값을 그대로 사용할 것이며, 귀하의 크롤러에 대한 사이트의 평가는 대개 아무도 열어보지 않은 드롭다운 메뉴 수준에 그칠 것입니다. 우리 역시 이 상태 코드의 양쪽 입장에 모두 서 있습니다. 요금제 제한으로 인해 호출이 중단되면, FourA API는 제한 항목을 명시하고 대기가 실제로 유효한 경우에만 Retry-After를 전송합니다. 그리고 Proxy Finder는 해당 사이트에 대해 rate limit이 걸린 출구를 Retry-After가 지정한 대기 시간 동안 일시 중단합니다. 429는 언제나 하나의 요청이었습니다. 이제 곧 하나의 기록이 될 것입니다.