Sites protegidos

Sites modernos usam detecção avançada de bots. Este guia explica como o FourA obtém a página em sites que verificam quem está solicitando, e como aumentar sua taxa de sucesso.

Como funciona a detecção de bots

Os sites usam várias camadas de proteção:

  • Reputação de IP: Data centers e endereços de proxy conhecidos são bloqueados
  • Fingerprinting de rede: Cada cliente HTTP tem uma assinatura de handshake exclusiva que os sites podem detectar
  • Fingerprinting de navegador: O JavaScript verifica indicadores de navegadores headless
  • Análise comportamental: Padrões de request, timing e fluxo de navegação
  • Páginas de verificação: uma tarefa visual que o visitante precisa concluir

A response identifica o sistema que executou a verificação; Site checks lista todos eles.

Caminho mais rápido: Auto

Se você ainda não conhece o nível de proteção, chame /api/auto/ com uma substring validate.data.accept presente apenas na página real. O Auto percorre uma escala com foco em custo (um proxy rotacionado, depois um navegador via proxy; com forceProxy: false, uma sondagem direta de baixo custo e uma renderização direta via navegador vêm primeiro) e para no primeiro nível que retornar uma response aceita pelas suas regras. Em chamadas repetidas para o mesmo host, uma sessão ativa é reutilizada, tornando a segunda requisição mais barata.

curl -X POST https://eu.api.foura.ai/api/auto/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://protected-site.com/product/42",
    "validate": {"data": {"accept": ["Add to cart"]}}
  }'

Auto reconhece as páginas de desafio comuns e continua avançando quando encontra uma. Sua string validate.data.accept captura o restante: uma página de verificação desconhecida, uma tela de login ou uma página sem o conteúdo que você precisa. Consulte o guia do Smart Fetch para o passo a passo completo.

Como o FourA Ajuda em Cada Camada

Requests Realistas em Nível de Conexão

O endpoint único (POST /api/single/) emite características de handshake correspondentes a um navegador real. Os sites respondem a ele da mesma forma que responderiam a um navegador, sem o consumo de recursos de executar um.

Ative unblocker para também injetar headers realistas de navegador (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding). unblocker vem ativado por padrão; defina false apenas se quiser enviar seus próprios headers sem adições.

{
  "method": "GET",
  "url": "https://protected-site.com/data",
  "unblocker": true
}

Renderização com Navegador Real

O endpoint de browser (POST /api/browser/) executa uma instância completa do navegador Chrome. Ele processa o JavaScript da página exatamente como o navegador de um visitante faria. O unblocker no Browser conclui as verificações exigidas pela página antes do carregamento (Turnstile e proteções semelhantes); mantenha-o ativado, a menos que você queira receber a página de desafio exatamente como foi entregue.

Rotação de Proxy

O endpoint de proxy (POST /api/proxy/) faz a rotação através do pool padrão de saídas do FourA. Quando um site recusa uma saída ou a saída não responde, a próxima tentativa é enviada por outra diferente. Use ignoreProxies em uma chamada seguinte para ignorar saídas que você já utilizou; use maxTries (padrão 5, máximo 90) para controlar a quantidade de tentativas.

Saídas premium são usadas apenas quando uma request solicita. O parâmetro exitClass: "premium" permite que o Proxy avance para uma saída premium quando o pool padrão não conseguir alcançar a página, em um plano que inclua saídas premium. O header exitClass de uma response bem-sucedida informa qual tipo de saída fez a entrega, e quando o seu tráfego premium do período acabar, a request continua no pool padrão e indica standard. Consulte exitClass.

Saídas Delimitadas por País

Envie exitCountries em /api/proxy/ para restringir a seleção a proxies cujo país visível pelo destino corresponda a uma allowlist estrita. Os valores são códigos de duas letras (["CZ", "GB"]), sem espaços, em maiúsculas e sem duplicatas. O pool padrão nunca recorre a um país não solicitado; se o pool atual não tiver correspondência, a response retorna code: "no_eligible_proxy" com o escopo normalizado em details.exitCountries para que você possa tentar novamente mais tarde sem flexibilizar o requisito. Uma saída premium também respeita a lista: com exitClass: premium, uma saída premium parte de um dos seus países, e o exitCountry na response informa o país utilizado. A delimitação por país está incluída a partir do plano Startup. Em um plano que não a inclua, uma chamada que envie exitCountries será recusada com 403 e X-FourA-Limit: plan_limit_feature.

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 5,
    "exitCountries": ["CZ", "GB"],
    "request": {"method": "GET", "url": "https://target.example/pricing"}
  }'

A response inclui exitCountry quando o escopo foi solicitado. Verifique se ele pertence à sua allowlist antes de confiar no payload e, em seguida, reutilize o ID proxy retornado em qualquer chamada de Browser seguinte para que a renderização de JavaScript ocorra pela mesma saída.

O FourA Informa o Que Bloqueou Você

Você não precisa adivinhar qual sistema bloqueou uma request. Quando um destino executa uma verificação de bot, a response informa o nome dele.

  • POST /api/single/ e POST /api/proxy/ retornam um objeto defense: defense.vendor é o sistema, defense.solved indica se a verificação foi liberada e defense.present lista tudo o que foi reconhecido nessa response.
  • POST /api/browser/ retorna defenseSolved além de defenses.present e defenses.cleared.
{
  "status": 200,
  "data": "<!doctype html>...",
  "defense": {
    "vendor": "sgcaptcha",
    "solved": true,
    "present": ["sgcaptcha"],
    "cookie": "_I_=<clearance>"
  }
}

Duas regras decorrem disso:

  1. solved: false significa que o corpo pode ser o desafio, não a página. O FourA nunca apresenta uma página de desafio como conteúdo, portanto verifique a flag antes de fazer o parse.
  2. Uma resolução entrega a você a liberação. Quando defense.cookie estiver presente, envie-o de volta como um header Cookie na mesma saída com o mesmo User-Agent, e as requests seguintes ignorarão a verificação completamente.

O FourA reconhece os sistemas de verificação comuns, incluindo as verificações proprietárias de eBay, Reddit e Amazon. Reconhecer abrange mais do que liberar: um sistema que conseguimos identificar, mas não liberar, é reportado e nunca aumenta o custo da request. Quando a página retornada for a página de verificação desse sistema, mesmo com HTTP 200, a request não é faturada e o header X-FourA-Check-Page indica seu nome. Consulte Verificações de sites para ver cada campo, a divisão atual entre liberar e detectar, e um exemplo de replay.

A página de botão único "continuar comprando" da Amazon é respondida para você em vez de liberada. Single, Proxy e Browser clicam no botão na mesma saída e retornam a página real. Com unblocker ativado (o padrão), Single e Proxy reportam isso em defense como retry: "amazon-continue" com solved: false, e o preço não se altera. A verificação leve em JavaScript do Reddit funciona da mesma forma no Single e no Proxy: eles a respondem na mesma saída, retornam a página real e reportam retry: "reddit-js-check" com solved: false pelo mesmo preço.

Estratégia por Nível de Proteção

Proteção Desconhecida

Use auto. Ele inicia em um proxy rotativo e só escala até onde o alvo exigir, para que você pague pela descoberta uma única vez por host.

Baixa Proteção (maioria dos sites)

Use o endpoint single com unblocker. A correspondência em nível de rede é suficiente.

curl -X POST https://eu.api.foura.ai/api/single/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'

Médio: uma página de desafio ou um firewall básico

Use o endpoint do browser para passar por desafios de JavaScript:

curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'

Alto: verificações de comportamento e fingerprint

Use o endpoint de proxy com múltiplas tentativas de repetição:

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 10,
    "request": {
      "method": "GET",
      "url": "https://heavily-protected.com/prices",
      "unblocker": true
    }
  }'

Para páginas de desafio encadeadas ("Just a moment", uma verificação de segurança) onde você precisa da página renderizada após o desafio ser concluído, consulte as MCP Recipes. A receita "Protected page: proxy first, browser when JavaScript is needed" mostra o handoff exato de proxy para browser.

Melhores práticas

  1. Comece com auto para alvos desconhecidos. Passe uma regra validate, deixe a sequência escolher a camada mais barata e leia meta.rung na resposta para ver qual engine funcionou. Assim que souber, chame essa engine diretamente para o tráfego recorrente.

  2. Reutilize a sessão vencedora. Após uma chamada auto, o session retornado (ID do proxy + cookies + userAgent) pode ser reutilizado via /api/single/ ou /api/browser/ para páginas seguintes no mesmo host, com o preço do próprio endpoint: 2 créditos no Single com unblocker, 5 no Browser (10 quando a chamada conclui uma etapa de verificação solicitada pela página).

  3. Respeite os rate limits. Mesmo com rotação de proxy, enviar centenas de requests por segundo para um único site ativará a detecção comportamental. Espace seus requests em pelo menos 1 a 2 segundos.

  4. Mantenha unblocker ativado. No Single e no Proxy, unblocker: true (o padrão) adiciona headers de browser realistas. No Browser, ele ativa o solucionador de desafios. Desative-o apenas quando você precisar especificamente de um request sem headers adicionais ou de uma página de desafio bruta.

  5. Monitore as taxas de sucesso. Verifique as métricas do Dashboard para acompanhar sua taxa de sucesso ao longo do tempo. Uma queda repentina geralmente significa que o site de destino atualizou sua proteção.

  6. Ignore saídas queimadas. Se uma chamada /api/proxy/ ou /api/auto/ retornou um ID de proxy que depois começou a falhar, passe-o em ignoreProxies na chamada seguinte para que o FourA escolha uma saída diferente.

  7. Leia defense antes de tentar novamente. O nome do fornecedor indica se vale a pena tentar um perfil de browser diferente, se você precisa de uma renderização completa ou se a verificação exige um serviço de resolução para ser superada.

  8. Altere o browser que você apresenta. Alguns alvos aceitam um browser e recusam outro. Defina browser, os ou version no Single e no Proxy, e leia GET /api/profiles para consultar o catálogo atual. Detalhes na referência de endpoints.

Limites

Alguns cenários exigem tratamento adicional fora da API:

  • Conteúdo protegido por login: o FourA não gerencia logins persistentes para você. O endpoint browser aceita cookies por request; envie seus cookies de sessão diretamente.
  • Tarefas de verificação interativas: o FourA reconhece as verificações visuais e as reporta em defense.present, mas não as conclui. O Turnstile é resolvido pelo Browser.
  • Conteúdo restrito a determinados países: use exitCountries no /api/proxy/ para fixar a seleção aos países permitidos. Sites que também verificam a qual rede pertence um endereço (algumas casas de apostas licenciadas por país, certos serviços governamentais) ainda podem recusar saídas do país correto. Com exitClass: premium e um país em exitCountries, uma saída premium também pode partir de uma região, cidade ou rede especificada por você: consulte Exit location. Quando o pool não possui saída nos países permitidos, a request retorna no_eligible_proxy.
  • Sites com restrições legais: certifique-se sempre de que sua coleta de dados esteja em conformidade com os termos de serviço do site de destino e as leis aplicáveis.

Próximos passos

Atualizado em: 11 de novembro de 2026