Diretrizes de Web Scraping do EDPB: Scrapers Direcionados Saem Ganhando

O EDPB Acabou de Escrever uma Especificação para Scrapers

As autoridades de proteção de dados da Europa já falaram muito sobre modelos de IA. Até este verão, nada disso dizia a um engenheiro o que um scraper deveria fazer antes de buscar sua primeira página.

As Diretrizes 03/2026 sobre web scraping no contexto de IA generativa mudaram isso. O Comitê Europeu para a Proteção de Dados adotou a minuta em 7 de julho de 2026, e sua consulta pública termina em 30 de outubro de 2026. No papel, o escopo é restrito: empresas privadas coletando dados pessoais via scraping para treinar ou ajustar IA generativa. Na prática, é a descrição mais detalhada já publicada por um regulador sobre como construir uma operação de scraping defensável, desde os critérios definidos antes da primeira request até o timestamp no último registro.

Nossa leitura, após analisar todas as 23 páginas: a minuta não se importa com as ferramentas que você usa. Ela se importa se você consegue dizer o que coletou, de onde e quando. Scrapers que conseguem responder a isso em uma única consulta não terão problemas. Crawls genéricos e sem foco terão dificuldades com quase todos os parágrafos.

(Aviso: isto não é uma consultoria jurídica. Primeiro, estamos analisando uma minuta; segundo, somos engenheiros lendo o texto pelo que ele representa na perspectiva do código.)

Segmentado ou não segmentado é a divisão que importa

O parágrafo 8 divide o scraping em dois tipos com base em quão específica e restritiva é a coleta, "e não nas ferramentas técnicas utilizadas". O scraping segmentado segue critérios de coleta: um domínio, um idioma, um tópico. O scraping não segmentado é um crawler que segue todos os links encontrados. A preocupação do Comitê é específica: à medida que a fila cresce, o controlador "tem conhecimento limitado sobre quais dados pessoais são coletados e tratados."

Essa divisão se mantém em todo o restante do texto. A minimização de dados exige que você "defina critérios de coleta precisos" e execute um "processo de mapeamento e inventário de dados" antes do início da coleta (parágrafo 37). O teste de necessidade sob legítimo interesse afirma que restringir os critérios, "em vez de fazer scraping de uma ampla parte da internet", pode ser justamente o que torna o tratamento necessário (parágrafo 52). A transparência exige uma lista pública de fontes, de preferência com nomes de domínio, URLs e datas de coleta (parágrafos 30 e 31).

Um monitor de preços com uma lista fixa de páginas de produtos em uma dúzia de domínios de varejo pode gerar cada um desses artefatos a partir do seu arquivo de configuração. Um crawl em largura não consegue. A crítica da Privacy World à minuta resume bem esse conflito: as obrigações foram escritas para um controlador que sabe o que coleta, logo após o Comitê admitir que um crawl não segmentado pode conter dados pessoais que ele simplesmente não consegue inventariar.

O que isso significa: se você faz scraping de qualquer coisa relacionada a pessoas (avaliações com nomes de usuário, anúncios com nome e telefone de corretores, tópicos de fóruns), seus critérios de coleta passam a ser um artefato de conformidade. Mantenha esses critérios sob controle de versão junto ao scraper, e não apenas na cabeça de alguém.

O "não" de um site agora conta contra você

Esta é a parte que mais vai alterar pipelines. A minuta lista as medidas técnicas que demonstram a oposição clara de um site ao scraping: robots.txt, ai.txt, "autenticação de robôs para visualização de conteúdo" e verificações que "impõem uma ação que só pode ser realizada por um ser humano" (parágrafo 37). A orientação para dados de treinamento é excluir esses sites.

Os mesmos sinais retornam no teste de equilíbrio. Quando as pessoas sabem que um site utiliza essas medidas e ele é raspado mesmo assim, a minuta afirma que é menos provável que elas esperem esse tratamento (parágrafo 64). O Exemplo 5 detalha isso: uma plataforma com exclusão via robots.txt, verificação exclusiva para humanos e proibição declarada de treinamento de IA significa que seus usuários "não podem esperar razoavelmente" que terceiros façam scraping de seus dados para essa finalidade. E o inverso não é verdadeiro. A ausência de um robots.txt não constitui consentimento (parágrafo 45).

A CNIL da França chegou primeiro. Sua ficha temática sobre interesse legítimo e web scraping, publicada originalmente em junho de 2025, estabelece que o tratamento "não pode se enquadrar nas expectativas razoáveis dos titulares dos dados" quando o controlador não exclui sites que se opõem por meio de robots.txt ou verificação exclusiva para humanos.

Dois itens menos óbvios figuram entre as medidas de mitigação (parágrafo 66c). Um exclui dados pessoais que só ficam visíveis após o login. O outro abrange sites que retornam uma saída diferente para o user agent de um scraper em relação a um navegador comum, "particularmente onde o serviço de scraping recebe mais dados" do que uma pessoa veria. Se o seu scraper consome uma API interna mais rica do que a página exibe, é a esse caso que eles se referem.

Analisamos a dimensão legível por máquina disso (extensões de robots.txt, agents assinados, sinais de conteúdo) em Search, Agent, Training: The Web's New Bot Rules, e os publicadores que preferem cobrar a recusar o acesso em Pay-Per-Crawl Is Splitting the Web in Two. A minuta do EDPB é a primeira vez em que um regulador tratou esses sinais como prova do que as pessoas esperam.

O que isso significa: registre o estado do robots.txt (e do ai.txt, quando o site tiver um) por domínio no momento da coleta, junto aos dados. Se alguém perguntar daqui a um ano por que uma fonte foi parar em um conjunto de treinamento, dizer que "era permitido no dia da coleta" só será uma resposta válida se você tiver documentado.

O scraper pode ser o operador

A Seção 3.2.1 é curta e fácil de ignorar. Não deveria ser, especialmente se você cria scrapers para clientes. Se você cria um dataset de treinamento em nome do desenvolvedor "de acordo com suas instruções documentadas", você pode ser um operador (processor) e o desenvolvedor o controlador (parágrafo 18). Se você e o cliente definem os critérios de coleta juntos, vocês podem ser controladores conjuntos (parágrafo 20, Exemplo 1). Se você fez o scraping de um dataset por conta própria e outra pessoa o reutiliza, cada um responde pelo seu próprio tratamento (parágrafo 19).

A coluna da IAPP sobre a minuta, escrita por Brian Hengesbaugh, destaca o aspecto comercial. Quando um contrato define o fornecedor como operador, o cliente assume o trabalho de conformidade descrito nas orientações, e os próprios deveres diretos do fornecedor "podem ser mais limitados e menos reconfortantes do que se pensava". Isso vale para os dois lados. Um cliente não pode simplesmente repassar a conformidade para o freelancer que escreveu o scraper, e um freelancer que improvisa a lista de fontes pode acabar se tornando um controlador por acidente.

O que os times de dados devem mudar agora

A maior parte do scraping comercial não é afetada por isso. Preços, níveis de estoque, especificações de produtos e cronogramas geralmente não são dados pessoais, então o GDPR não se aplica a eles. A minuta é explícita ao afirmar que, em um dataset "misto", ela se aplica à parte pessoal (parágrafo 13). Portanto, um anúncio com o nome do vendedor ou uma avaliação com o nome de usuário coloca essa parte no escopo.

Para os jobs que realmente coletam dados de pessoas, veja como as exigências da minuta se traduzem em um pipeline:

Duas dessas linhas merecem mais do que uma célula de tabela.

Filtre no momento do parse, não em um job de limpeza semanas depois. O parágrafo 38 cita expressões regulares para formatos como números de seguridade social e telefones, aplicadas durante a coleta. Dados que você nunca armazenou são dados que você nunca precisará justificar, e o parágrafo 60 é direto sobre por que isso importa para IA: uma vez que o modelo é treinado, os dados pessoais "não podem ser facilmente apagados" dele.

Mantenha a URL de origem e o horário de coleta em cada registro. O parágrafo 42 solicita timestamps para garantir a precisão, mas esses mesmos dois campos respondem a qualquer pergunta futura sobre a origem de uma informação. As regras sobre dados de treinamento já estavam ficando mais rígidas sob o AI Act (escrevemos sobre isso em abril), e elas continuam fazendo essa mesma pergunta.

Se você desenvolve para clientes, é necessário colocar as instruções por escrito: fontes, campos, exclusões. A minuta considera as instruções documentadas como o fator que define você como operador em vez de co-controlador, e uma especificação de uma página evita discussões posteriores sobre papéis.

O que acontece após 30 de outubro

O texto final vai mudar, e a mudança mais significativa pode vir de Bruxelas em vez do Board. Em 21 de outubro de 2026, o Conselho definiu sua posição de negociação sobre o Pacote Digital Omnibus, que alteraria o GDPR. De acordo com o relatório da IAPP sobre o mandato, os Estados-membros adicionaram "esclarecimentos sobre a base legal para o processamento de dados pessoais e a necessidade de manter salvaguardas adequadas" para dados de treinamento de IA. As negociações com o Parlamento Europeu vêm a seguir. Qualquer que seja o texto resultante, os Estados-membros querem que as salvaguardas sejam mantidas, o que aponta para um teste de proporcionalidade muito parecido com o desta minuta.

Acreditamos que a divisão entre direcionado e não direcionado sobreviverá a ambos os processos, pois é a única parte da minuta voltada para engenharia em vez de legislação. Um regulador não vai ler o código do seu crawler. Ele pode exigir seus critérios de coleta, sua lista de fontes e seus timestamps, e uma equipe capaz de entregar isso na mesma tarde tem muito pouco a disputar.

Portanto, a próxima pergunta que um regulador de privacidade fará a um scraper não será "como funciona", mas sim: "o que ele foi instruído a coletar".