El historial de un solo bot puede costarle a toda la empresa
Cloudflare explicó su nueva calificación de bots con una analogía sobre la licencia de conducir: te dice quién es alguien, no si conducirá de forma responsable el próximo año. Buena analogía. Sin embargo, le falta un detalle. Una licencia suspendida retira a un solo conductor de la carretera, y bajo las reglas de Cloudflare un mal historial puede retirar a todos los bots que opera una empresa.
El 16 de octubre, Cloudflare declaró que ahora evalúa los bots verificados continuamente, basándose hasta ahora en dos señales: si su tráfico se mantiene consistente con el robots.txt de un sitio a lo largo del tiempo, y si bajan la velocidad tras recibir un HTTP 429. Los resultados se convierten en una "franja de confianza". Los ingenieros que lean esto revisarán primero la lógica de reintentos, y el extenso artículo de Crawlbase sobre un bucle de extracción que obtiene buenas puntuaciones es un buen punto de partida.
Creemos que la lógica de reintentos es la parte menor. Si desarrollas scrapers para terceros, la pregunta que realmente importa es de quién es el nombre que figura en el registro.
Lo que realmente se lanzó
Menos de lo que sugieren los titulares. Cloudflare dice que "ya está utilizando este sistema internamente" mientras acumula historial. Las puntuaciones públicas en Radar y un umbral que los propietarios de sitios puedan elegir están redactados en futuro, sin una fecha fija. Nada de lo publicado por Cloudflare permite todavía que un sitio rechace tu crawler debido a una franja de confianza.
El alcance también es limitado. Solo los bots en la lista de verificados forman parte de él, y todo lo demás no se califica en absoluto. Eso abarca casi todo: en Cloudflare Connect en octubre, la empresa afirmó que menos de una de cada diez solicitudes automatizadas proviene de un bot que se identifica a sí mismo.
Por lo tanto, si tu scraper no está en esa lista, este anuncio no te califica.
Qué significa esto: el registro aún no está abierto a los propietarios de sitios, y la mayor parte del tráfico automatizado no figura en él. Quienes deberían preocuparse ahora son aquellos con un crawler listado, o con planes de tener uno.
La penalización tiene un radio mayor que la puntuación
Esta es la parte que los análisis que leímos omiten. La franja de confianza describe a un solo bot. La consecuencia no tiene por qué detenerse allí. La documentación sobre bots verificados de Cloudflare, actualizada el 2 de noviembre, dice que "puede revocar el estado de verificado para todos los bots y agentes que pertenezcan o sean operados por una organización" tras infracciones repetidas, y menciona el caso de una empresa que "cumple con la política para un bot o agente mientras la infringe con otro".
Interprétalo desde la perspectiva de una agencia pequeña. Una sola empresa, varios proyectos de clientes, un único nombre en el directorio. Un cliente quiere un catálogo para el viernes y te pide aumentar la tasa de peticiones. Si ese trabajo mantiene su ritmo a pesar de los errores 429 que provoca, y lo sigue haciendo, el costo no tiene por qué limitarse a ese trabajo. Puede recaer sobre la empresa y sobre cualquier otro proyecto que opere bajo ella.
La misma página muestra por qué esto ahora aplica al trabajo comercial. BotBase, el directorio de Cloudflare, ahora incluye un comportamiento de "Data Collection", definido como "price scraping, competitive intelligence gathering, and third-party analytics". Se ubica junto a Search y Training. La recolección comercial puede ser una actividad declarada e identificada, y consideramos que eso es una buena noticia.
Pero observa las etiquetas a su lado. Un bot es Direct (un solo operador, generalmente en su propia infraestructura) o Intermediary ("un servicio agéntico que una amplia gama de usuarios finales puede operar"). Cloudflare llama al problema con el segundo grupo confianza transitiva: puedes confiar en el operador sin confiar en todos los que lo manejan, por lo que está experimentando con reenviar detalles sobre el usuario final. Una agencia de scraping es un intermediario en todo excepto en los papeles.
Un 429 no siempre es cuestión de velocidad
La segunda señal parece sencilla. Cloudflare define un 429 como "una directiva para que el visitante reduzca su tasa de solicitudes" y observa si el tráfico disminuye o se pausa después.
Pero los sitios usan ese estado para más cosas que la carga. Crawl Readiness probó los primeros 1.000 de Tranco el 12 de octubre, solicitando cada página de inicio como navegador y luego como cuatro crawlers de IA, cerca de diez solicitudes por sitio sin reintentos. De los 78 sitios que rechazaron a un crawler permitido por su propio robots.txt, 14 respondieron con un 429 y nada más (una sola pasada, solo cadenas de user-agent, así que tómalo como una pista).
Los autores los dejaron de lado como posibles rate limits, lo cual es la postura prudente. Nosotros los interpretamos de otra forma. Un sitio que entrega un 200 a un navegador y un 429 a un crawler identificado, tras un puñado de solicitudes, probablemente no esté reportando congestión. Está declarando una preferencia con el vocabulario de la congestión.
Por lo tanto, un evaluador que trate cada 429 como una única instrucción a veces medirá lo incorrecto, y el sitio rara vez te dice en qué caso estás. Un límite de concurrencia, un límite por minuto y un no rotundo llegan bajo los mismos tres dígitos.
El cliente habitual no ayuda. Mucho código de reintento espera a que termine Retry-After y luego continúa a la misma tasa que provocó el rechazo. La prueba local de Crawlbase le pone un número: frente a un límite de dos solicitudes por segundo, un bucle que mantuvo su tasa previa obtuvo 13 rechazos en 40 solicitudes, mientras que uno que redujo su tope obtuvo 3 y aun así extrajo más páginas por segundo (1.11 frente a 0.94). Es un servidor de prueba. La tendencia se mantiene de todos modos.
Qué significa esto: si tu bot está en la lista de Verified, bajar la velocidad es la respuesta que el puntaje premia, y es más barato de lo que parece. Pero registra lo que recibes, porque algunos de esos 429 nunca tuvieron que ver con tu velocidad.
Firmar y obedecer se están separando
La documentación de Google hace visible esta tensión. Su página de Web Bot Auth, actualizada por última vez el 13 de octubre, indica que un subconjunto de las requests de Google-Agent está firmado, a modo de experimento. Su página sobre fetchers activados por usuarios, donde figura Google-Agent, señala que, debido a que un usuario solicitó la extracción, estos fetchers "generalmente ignoran las reglas de robots.txt".
De este modo, Google demuestra quién envió una request mientras ignora el archivo con el que todos los demás podrían ser evaluados. La publicación de Cloudflare no aclara cómo se juzgará un fetch dirigido por un usuario. Si estás construyendo agentes, ese límite es el que debes vigilar, porque el argumento de que "una persona pidió esto" está a punto de tener mucho peso.
Qué significa esto para quienes crean scrapers para clientes
Clasifica tu trabajo según el nombre que lleve. Un producto con su propio crawler público y un propósito claro es un buen candidato para el estado Verified. Una flota que ejecuta tareas de terceros bajo el nombre de tu empresa es un caso más complejo, ya que el trabajo de un solo cliente puede poner en riesgo la autorización para todos los demás.
Establece la conducta de rastreo en el contrato. Si un cliente puede solicitar una tasa más alta, el contrato debe especificar quién asume las consecuencias. Una vez que un 429 se convierte en un registro, "simplemente ve más rápido" deja de ser una petición sin costo.
Mantén tu propio registro. Estado, Retry-After, la tasa que mantuviste antes y después, por host. Cloudflare promete un rango explicable, pero no ha dicho cómo un operador puede disputarlo, y sin tus propios números, la versión del evaluador es la única que cuenta. Es el mismo hábito que premian las directrices preliminares del EDPB: poder demostrar qué recopilaste, de dónde y cuándo.
Deja de interpretar robots.txt como un permiso. La publicación de Cloudflare lo dice directamente: "no se deduce que todo lo no especificado esté permitido". El RFC 9309 nunca fue una licencia, y ahora alguien está llevando la cuenta en base a él.
El menú desplegable que nadie abre
En agosto escribimos que la web estaba clasificando los bots por su propósito y no por su comportamiento, y que los valores predeterminados son la vía por la que una política se convierte en norma. El factor de comportamiento llegó dos meses después. Y el efecto de los valores predeterminados ya es medible: el análisis del 30 de octubre realizado por Crawlbase sobre los 2.000 principales sitios de Tranco encontró 71 sitios con una línea Content-Signal en robots.txt, 39 de los cuales tenían la configuración predeterminada idéntica gestionada por Cloudflare. El modelo pay-per-crawl necesitaba lo mismo que esto: un comprador con nombre y apellido.
Nuestra apuesta: cuando los umbrales de confianza se lancen, la mayoría de los sitios aceptará el valor predeterminado, y la opinión que un sitio tenga sobre tu crawler será casi siempre un menú desplegable que nadie abrió. Nosotros mismos estamos en ambos extremos de este código de estado. Cuando el límite de un plan detiene una llamada, la API de FourA names the limit y envía Retry-After solo donde esperar ayuda, y Proxy Finder pausa una salida con rate limit para ese sitio en particular, durante el tiempo de espera que su Retry-After indica. Un 429 siempre fue una petición. Está a punto de convertirse en un registro.