Cloudflare Verified Bots: avaliados por bot, revogados por empresa
A Cloudflare agora avalia bots Verified por robots.txt e erros 429. A faixa descreve um bot específico, mas a documentação permite que a penalidade afete toda a sua empresa.
A Cloudflare agora avalia bots Verified por robots.txt e erros 429. A faixa descreve um bot específico, mas a documentação permite que a penalidade afete toda a sua empresa.
A minuta das diretrizes de web scraping do EDPB foca no treinamento de IA, mas favorece qualquer scraper capaz de demonstrar o que coletou, de quais sites e em qual data.
O valor "a partir de $X por 1.000" em uma API de scraping é a opção mais barata da tabela. Nos sites que você realmente precisa coletar, um multiplicador de créditos define o preço real.
Dois tribunais, uma verificação de bot da Google, decisões opostas com onze dias de diferença. O processo entre Google e SerpApi mostra o que define isso agora: de quem é o conteúdo protegido pela verificação.
A Cloudflare agora classifica bots por finalidade, não por comportamento: Search, Agent ou Training. O padrão de 15 de setembro é mais restrito do que o pânico sugere, e falta uma opção.
A Oxylabs captou US$ 130 milhões com valuation de US$ 3,6 bilhões. A Bright Data ultrapassou US$ 300 milhões em ARR. A API de web scraping de mercado intermediário está desaparecendo rápido. Faça estas cinco perguntas.
Os detectores ampliaram a lacuna entre sessões de navegadores headless e normais em 2026. Se você executa Puppeteer ou Playwright em produção, planeje-se para o custo da detecção.
A Cloudflare lançou o Precursor em 13 de julho. A detecção comportamental com escopo de sessão significa que atualizar a página não zera mais o seu bot score. Por que isso importa.
O marketplace de pay-per-crawl da Cloudflare e o HTTP 402 dividem a web em dados licenciados e abertos. Veja o que muda para as equipes que coletam dados da web em 2026.
O Firecrawl cobra 5x mais para extrair uma página com LLM em vez de fazer o scrape. Com 100 mil páginas por dia, a matemática entra em colapso. Quando a extração por LLM justifica o custo, e quando não.