Lidando com Proteção Anti-Bot

Sites modernos usam detecção avançada de bots. Este guia explica como o FourA lida com sistemas anti-bot e como maximizar sua taxa de sucesso.

Como Funciona a Detecção de Bots

Os sites usam várias camadas de proteção:

Reputação de IP: Data centers e IPs de proxy conhecidos são bloqueados
Fingerprinting de rede: Cada cliente HTTP possui uma assinatura de handshake exclusiva que os sites podem detectar
Fingerprinting de navegador: O JavaScript busca por indicadores de navegador headless
Análise comportamental: Padrões de request, tempo e fluxo de navegação
CAPTCHAs: Desafios visuais como última linha de defesa

Provedores comuns de anti-bot incluem Cloudflare, DataDome, PerimeterX e Akamai Bot Manager.

Como o FourA Ajuda

Requests Realistas em Nível de Rede

O endpoint single (POST /api/single/) emite características de handshake que correspondem a um navegador real. Isso passa pelas verificações mais comuns em nível de rede sem o overhead de executar um navegador completo.

Ative o unblocker para injetar também headers de navegador realistas (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding):

{
  "method": "GET",
  "url": "https://protected-site.com/data",
  "unblocker": true
}

Renderização em Navegador Real

O endpoint browser (POST /api/browser/) executa uma instância completa do navegador Chrome. Combinado com patches anti-detecção, ele passa pela maioria das verificações de fingerprint baseadas em JavaScript.

Rotação de Proxy

O endpoint proxy (POST /api/proxy/) rotaciona automaticamente entre proxies residenciais e de data center. Se um IP for bloqueado, a próxima tentativa usará um diferente.

Estratégia por Nível de Proteção

Proteção Baixa (maioria dos sites)

Use o endpoint single com unblocker. A correspondência em nível de rede é suficiente.

curl -X POST https://eu.api.foura.ai/api/single/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'

Proteção Média (Cloudflare, WAF básico)

Use o endpoint browser para passar por desafios de JavaScript:

curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'

Proteção Alta (DataDome, PerimeterX)

Use o endpoint proxy com múltiplas tentativas de repetição:

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 10,
    "request": {
      "method": "GET",
      "url": "https://heavily-protected.com/prices",
      "unblocker": true
    }
  }'

Para cadeias WAF tier-1 (Vercel Security Checkpoint, Cloudflare "Just a moment", Akamai Bot Manager) onde você precisa da página renderizada após a liberação do desafio, consulte a receita de desafio WAF para o padrão encadeado proxy → browser.

Boas Práticas

Comece simples, aumente gradualmente. Tente o endpoint single primeiro. Só mude para browser ou proxy quando necessário.
Respeite os rate limits. Mesmo com a rotação de proxy, enviar centenas de requests por segundo para um único site ativará a detecção comportamental. Espace seus requests em pelo menos 1 a 2 segundos.
Use o unblocker. Para requests single e proxy, ative o unblocker para injetar headers de navegador realistas automaticamente em vez de definir manualmente as strings de User-Agent.
Monitore as taxas de sucesso. Verifique as métricas do Dashboard para acompanhar sua taxa de sucesso ao longo do tempo. Uma queda repentina geralmente significa que o site de destino atualizou sua proteção.
Aumente o maxTries para alvos difíceis. O endpoint proxy tem como padrão 5 tentativas, mas você pode definir até 90 para sites altamente protegidos.

O que o FourA não Consegue Contornar

Alguns cenários exigem tratamento adicional fora da API:

Conteúdo protegido por login: O FourA não gerencia sessões ou cookies entre requests (o endpoint browser suporta a definição de cookies por request)
CAPTCHAs interativos: reCAPTCHA v3 e hCaptcha exigem serviços de resolução
Allowlists de país / ASN: sites com licença nacional (casas de apostas online, alguns serviços governamentais) aceitam apenas tráfego de um pequeno conjunto de ISPs. A rotação de proxy não ajudará; você precisará de uma fonte de dados diferente.
Sites com restrições legais: Certifique-se sempre de que sua coleta de dados esteja em conformidade com os termos de serviço do site de destino e com as leis aplicáveis

Próximos Passos

Escolhendo o Endpoint Correto: Guia de decisão para endpoints
Problemas Comuns: Corrija erros 403 e bloqueios de captcha
Endpoints da API: Referência completa de parâmetros
Receitas MCP: Templates de fluxo de trabalho, incluindo a cadeia de desafios WAF

Atualizado em: 20 de maio de 2026