O vale-tudo nos dados de treinamento de IA está chegando ao fim
Em meados de 2025, 75% do tráfego web relacionado a IA era coleta de dados para treinamento (Cloudflare Radar via Bright Data, 2025). Não inferência. Não busca. Treinamento. Crawlers capturando páginas para alimentar o próximo modelo.
Essa era está acabando.
Três fatores convergiram nos últimos seis meses. Os requisitos de transparência da Lei de IA da UE passaram da fase de rascunho para a aplicação prática. Sites começaram a bloquear crawlers de IA em escala: 60% dos domínios conceituados no final de 2025, contra 23% em setembro de 2023 (Ars Technica, 2025). E compradores de dados de treinamento começaram a fazer novas perguntas sobre a origem desses dados.
Se você está construindo um produto que usa dados coletados por scraping para treinar modelos, você tem um problema que a maioria das equipes ainda não precificou.
O que a Lei de IA da UE realmente exige
O lançamento em 2026 introduz requisitos de transparência para fontes de dados de treinamento de IA (resumo da Scalevise, 2026). Provedores de modelos de IA de propósito geral precisam publicar resumos do que foi incluído neles. Autores e detentores de direitos podem optar por não participar (opt-out), e esse opt-out deve ser respeitado na camada de coleta de dados, não na camada de treinamento do modelo (onde já é tarde demais).
Na prática, três itens aparecem nas listas de verificação de aquisição:
- Registros públicos de quais sites você rastreou, quando e sob quais permissões
- Mecanismos para respeitar o robots.txt e sinais explícitos de opt-out
- Linhagem de dados que resista a uma auditoria daqui a dois anos
Mas aqui está o problema: você não pode adicionar conformidade a um pipeline que não faz ideia do que extraiu ou de onde veio. Equipes que construíram scraping como um projeto paralelo estão prestes a descobrir que "projeto paralelo" e "pronto para auditoria" são mutuamente exclusivos.
Em resumo: a seleção de fornecedores agora inclui a pergunta "seu parceiro de coleta de dados consegue fornecer uma trilha de auditoria limpa?". Essa pergunta não estava na maioria dos checklists em 2024. Ela estará em todos os checklists sérios até o terceiro trimestre de 2026.
A questão dos corretores de dados ficou mais complexa
A Bright Data reportou receita anualizada de mais de US$ 300 milhões com crescimento superior a 50% ano a ano, e eles foram explícitos ao afirmar que o fornecimento de dados para IA é o motor que impulsiona isso. O mercado de dados de treinamento em conformidade explodiu porque a alternativa (apenas fazer scraping do que quiser) ficou mais arriscada de duas formas específicas.
Primeiro, a superfície jurídica se ampliou. A Suprema Corte rejeitou a petição de patente da Bright Data em fevereiro de 2026, e duas de suas patentes de proxy residencial foram invalidadas. A Oxylabs moveu uma contra-ação, com julgamento marcado para 18 de maio de 2026. Independentemente do que você ache do mérito, o resultado é um litígio caro sobre como os dados são coletados. Os players menores que acompanham isso não estão tranquilos.
Segundo, a superfície técnica se ampliou. Fornecedores de detecção de bots começaram a compartilhar inteligência sobre ameaças entre sites de clientes em tempo real. Um padrão de scraping sinalizado em um site de e-commerce pode ser bloqueado em centenas de outros em questão de horas (SecurityBoulevard, 2026). O método antigo de alternar proxies baratos e torcer pelo melhor parou de funcionar no final de 2025. Cobrimos essa mudança em a detecção de bots se tornou comportamental.
Juntando tudo: o custo da coleta de dados de treinamento própria aumentou em ambos os eixos. A exposição jurídica subiu. A dificuldade técnica subiu. As empresas que ainda fazem isso estão gastando dinheiro de verdade em infraestrutura ou aceitando que seus datasets não sobreviverão a uma auditoria.
Para onde isso vai até meados de 2027
Acreditamos que os próximos 18 meses reformularão o mercado de fornecedores de três maneiras.
Conformidade se torna o básico. ISO 27001, SOC 2, processos alinhados ao GDPR, linhagem de dados. Não são diferenciais, são requisitos mínimos. A Bright Data já possui ISO 27001 e SOC 2. A maioria dos seus concorrentes está correndo atrás. Equipes que lançam produtos sérios de IA vão se recusar a integrar um fornecedor de coleta de dados que não apresente os certificados.
Trilhas de auditoria viram um recurso. A maioria das APIs de scraping hoje retorna os dados e descarta todo o resto. Até 2027, uma parcela significativa de clientes vai querer um registro: URL de origem, horário de busca, código de resposta, status do robots.txt no momento da busca, verificações de opt-out. Metadados operacionais que se tornam essenciais para a conformidade quando um modelo é contestado.
A consolidação de fornecedores acelera. O overhead de conformidade favorece a escala. APIs de scraping pequenas que sobrevivem com planos de $69/mês terão que subir de categoria ou serão excluídas de qualquer contrato relacionado ao treinamento de IA. Fornecedores intermediários que combinam conformidade com preços razoáveis absorvem a demanda deslocada. A conta de construir versus comprar que detalhamos no mês passado acabou de piorar para o lado de construir.
O que isso significa para equipes de engenharia
Se você pretende lançar um produto de IA nos próximos 12 meses, suas decisões sobre obtenção de dados deixaram de ser apenas uma questão de infraestrutura. Elas são uma questão de risco jurídico e de acesso ao mercado.
Três perguntas para fazer sobre o seu pipeline atual:
Você consegue listar todos os domínios que você rastreou nos últimos 12 meses, com timestamps? Se não, você não passa em uma auditoria básica.
Você respeita os sinais de opt-out no momento da coleta, e não no momento do treinamento? Robots.txt e X-Robots-Tag não são mais opcionais.
Se o seu fornecedor de dados mudasse os termos amanhã, o seu pipeline de treinamento sobreviveria? A maioria das equipes não se perguntou isso.
Portanto, verifique agora. As primeiras solicitações de auditoria estão chegando a empresas que achavam que tinham mais um ano para resolver isso.
Nosso posicionamento
Compliance-by-design não é uma frase de marketing. É uma decisão de sobrevivência para qualquer equipe cujo produto depende de dados da web. Equipes que tratam a linhagem de dados como uma feature P0 agora vão se poupar de uma correria brutal em 2027. Equipes que a tratam como burocracia vão descobrir, mais cedo ou mais tarde, que a burocracia é o que separa o produto delas do mercado.
O vale-tudo nos dados de treinamento não está acabando porque os órgãos reguladores são vingativos. Está acabando porque as consequências de errar passaram de "post embaraçoso no blog" para "você não pode lançar na Europa". Isso muda a conta para todos na cadeia de suprimentos.