Verificações do site
Quando um destino executa uma verificação de bot a caminho da página solicitada, o FourA avisa você. Cada request que encontra uma dessas verificações retorna com um campo indicando o sistema, se a verificação foi superada e (em caso positivo) a liberação que você pode reutilizar para que a próxima chamada a ignore.
Esta página é a referência para esses campos. Para ver estratégias, consulte Sites protegidos.
Onde o campo fica
| Endpoint | Campo | Presente quando |
|---|---|---|
POST /api/single/ |
defense (object) |
Uma verificação de bot foi reconhecida na response |
POST /api/proxy/ |
defense (object) |
O mesmo, reportado pela tentativa que respondeu |
POST /api/browser/ |
defenseSolved (boolean) e defenses (object) |
Sempre, em uma página que carregou. defenseSolved é false e defenses fica vazio quando nada foi reconhecido. |
POST /api/auto/ |
meta.solved (boolean) |
Em todas as respostas assim que o ladder iniciar. true quando uma verificação for superada em alguma etapa do ladder. Um body que falha na validação ou um host que não resolve é respondido antes do ladder, sem meta. |
A ausência significa que nada foi reconhecido. Não interprete a falta de defense como uma falha.
No Single e no Proxy, a emissão do relatório requer unblocker, que vem ativado por padrão. Com unblocker: false você pediu a página exatamente como ela veio, então o Single entrega o desafio sem alterações e o Browser o renderiza sem resolver.
defense no Single e no Proxy
{
"status": 200,
"data": "<!doctype html>...",
"total_time": 3.61,
"defense": {
"vendor": "sgcaptcha",
"solved": true,
"present": ["sgcaptcha"],
"ms": 3412,
"hashes": 1048576,
"complexity": 20,
"cookie": "_I_=<clearance>"
}
}
| Campo | Tipo | Descrição |
|---|---|---|
vendor |
string | O sistema ao qual este registro se refere: aquele que foi liberado ou o principal encontrado. Veja a lista de provedores abaixo. |
solved |
boolean | true significa que a verificação foi liberada e data é a página real. false significa que data pode ser a página de desafio. |
present |
string[] | Todos os sistemas reconhecidos nesta resposta. Pode conter mais nomes do que vendor e pode conter nomes que ninguém libera ainda. |
ms |
number | Milissegundos gastos na liberação da verificação. Apenas em caso de liberação bem-sucedida. |
hashes |
number | Quanto trabalho computacional o desafio exigiu. Apenas em caso de liberação bem-sucedida. |
complexity |
number | A dificuldade declarada pelo desafio. Apenas em caso de liberação bem-sucedida e somente onde o desafio informa uma. |
answers |
number | Quantas respostas aceitas foram fornecidas, para desafios que exigem várias em vez de apenas uma. Apenas em caso de liberação bem-sucedida. |
retry |
string | Presente quando o corpo retornou de uma nova tentativa em vez de uma liberação: refusal-cookies, amazon-continue, reddit-js-check ou verify-challenge. Veja abaixo. |
cookie |
string | O jar a ser reutilizado: a autorização obtida por uma liberação ou a sessão retornada por uma recusa. |
solved: false é o caso que vale a pena tratar em ramificações de código. O FourA nunca apresenta uma página de desafio como conteúdo, portanto a flag é o seu sinal de que o corpo precisa de escalonamento em vez de análise.
retry: "refusal-cookies"
Alguns sites não executam um quebra-cabeça. Eles recusam a primeira request, definem cookies nessa recusa e entregam a página real a qualquer um que envie esses cookies de volta. As páginas de itens do eBay são o caso de referência.
Quando isso acontece, o FourA os envia de volta para você e entrega a página. A response então inclui retry: "refusal-cookies":
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "akamai",
"solved": false,
"present": ["akamai"],
"retry": "refusal-cookies",
"cookie": "bm_sv=...; dp1=..."
}
}
Leia desta forma:
solvedcontinuafalse. Responder a um handshake não significa resolver um desafio, e isso nunca altera o custo da chamada. Você é cobrado pela request feita.dataé conteúdo real, não uma página de desafio. Este é o único caso em quesolved: falsenão significa que o body precisa de escalonamento, e é por isso que o campo existe.cookieé a sessão fornecida pelo site. Faça o replay dela da mesma forma que faria com uma liberação de acesso, e as páginas seguintes ignorarão a recusa.- Uma nova tentativa e uma liberação podem ocorrer na mesma request. Se a resposta da nova tentativa for um desafio que o FourA consegue resolver, você recebe
solved: truecom os campos próprios do fornecedor eretry: "refusal-cookies"ao lado deles.
vendor exibe unknown quando uma nova tentativa gerou o conteúdo e nenhum sistema foi reconhecido no caminho. present fica então como um array vazio.
retry: "amazon-continue"
A Amazon às vezes responde com uma verificação de robô de um botão: uma página simples pedindo para clicar e continuar comprando, com a resposta já preenchida. Com unblocker ativo (o padrão), Single e Proxy clicam nesse botão na mesma saída, dentro do seu timeout_ms, e solicitam a sua página novamente com os cookies definidos. Quando isso abre a página, a response inclui retry: "amazon-continue":
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "akamai",
"solved": false,
"present": ["akamai", "amazon"],
"retry": "amazon-continue",
"cookie": "ak_bmsc=...; ..."
}
}
Interprete isso como uma nova tentativa de cookies de recusa. solved continua false, data é a página real, você é cobrado pela request que fez, e cookie é o jar para reproduzir em páginas seguintes. Procure por amazon em present em vez de em vendor: a página de verificação geralmente define um cookie que o FourA também reconhece, e vendor nomeia o primeiro sistema da lista.
A versão em imagem da mesma verificação, onde uma pessoa precisa ler a resposta, é reportada e mantida como veio. O mesmo ocorre com um clique que apenas traz a verificação de volta. De qualquer forma, essa página não é cobrada (veja Quanto Custa).
retry: "reddit-js-check"
O Reddit às vezes responde com uma verificação de página leve: uma página pequena contendo um formulário oculto e um script que preenche o formulário. Com unblocker ativado (o padrão), Single e Proxy enviam esse formulário na mesma saída, dentro do seu timeout_ms, e solicitam sua página novamente com os cookies que ele definiu. Quando isso abre a página, a response traz retry: "reddit-js-check":
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "reddit",
"solved": false,
"present": ["reddit"],
"retry": "reddit-js-check",
"cookie": "edgebucket=...; ..."
}
}
Interprete isso como uma nova tentativa de amazon-continue. solved permanece false, data é a página real, você é cobrado pela request que fez e cookie é o jar para reutilizar nas páginas seguintes. Quando a verificação continua retornando, o FourA mantém a página como veio, e essa página não é cobrada.
retry: "verify-challenge"
Alguns sites abrem com uma breve página de verificação própria: um spinner e um script que redireciona você para a página assim que a verificação é concluída. Com o unblocker ativado (o padrão), Single e Proxy concluem essa verificação na mesma saída, dentro do seu timeout_ms, e solicitam sua página novamente com o cookie definido por ela. Quando isso abre a página, a response traz retry: "verify-challenge":
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "verify-challenge",
"solved": false,
"present": ["verify-challenge"],
"retry": "verify-challenge",
"cookie": "token=..."
}
}
Interprete isso como uma nova tentativa de reddit-js-check. solved permanece false, data é a página real, você é cobrado pela request que fez e cookie é o jar para reproduzir nas páginas seguintes. Quando a página de verificação retorna sem resposta, ela não é cobrada.
defenses no Browser
{
"status": 200,
"body": "<!doctype html>...",
"userAgent": "Mozilla/5.0...",
"defenseSolved": true,
"defenses": {
"present": ["cloudflare"],
"cleared": ["cloudflare"]
}
}
| Campo | Tipo | Descrição |
|---|---|---|
defenseSolved |
boolean | true quando um sistema foi encontrado durante o carregamento e sua liberação é mantida na página final. Esta é a flag que define se a chamada custa 5 ou 10 créditos. |
defenses.present |
string[] | Cada sistema reconhecido em qualquer momento durante o carregamento da página, não apenas na resposta final. Uma verificação é algo que aconteceu e, quando a página real chega, a resposta do desafio já se foi há muito tempo. |
defenses.cleared |
string[] | Os sistemas cuja liberação a página final mantém. |
Um nome em present que nunca chega a cleared é um sistema que o FourA reconheceu sem obter uma liberação para ele: um que ainda não pode concluir ou um dos poucos que o Browser trata de outra forma (consulte O Que É Liberado Hoje). Esses nunca aumentam o preço de uma chamada.
Fornecedores
Valor vendor |
O sistema |
|---|---|
cloudflare |
Desafios e bot management da Cloudflare |
sgcaptcha |
Verificação de site do SiteGround |
datadome |
DataDome |
perimeterx |
PerimeterX |
akamai |
Akamai Bot Manager |
incapsula |
Imperva Incapsula |
awswaf |
Desafio do AWS WAF |
ebay-splashui |
Desafio próprio do eBay |
reddit |
Páginas próprias de verificação e recusa do Reddit |
verify-challenge |
Página de verificação própria de um site que redireciona você assim que a verificação é concluída |
amazon |
Verificação de robô da Amazon |
hcaptcha |
hCaptcha |
recaptcha |
reCAPTCHA |
unknown |
Nenhum sistema foi reconhecido. Só aparece junto a retry, onde o registro existe para relatar a nova tentativa em vez de um fornecedor. |
O Que É Liberado Hoje
| Endpoint | Libera |
|---|---|
| Single, Proxy | sgcaptcha, ebay-splashui. Ambos são computacionais em vez de visuais, portanto nenhum navegador é envolvido. |
| Browser | cloudflare, sgcaptcha |
Mais alguns são tratados sem uma liberação. Single e Proxy pressionam a verificação de robô de um botão da Amazon e a relatam como retry: "amazon-continue", enviam a verificação de página leve do Reddit e a relatam como retry: "reddit-js-check" e concluem a página de verificação própria de um site e a relatam como retry: "verify-challenge". O Browser aguarda até 10 segundos para que essa mesma página de verificação faça o redirecionamento. O Browser pressiona o botão da Amazon e aguarda enquanto a página de sensor da Akamai, a página de desafio do AWS WAF, a verificação de dispositivo do DataDome ou a página de desafio própria do eBay carrega a próxima página por conta própria, retornando essa página em seguida. Se essa página nunca chegar, o Browser retorna a que estava segurando, dentro do seu timeout_ms. No Browser, esses nomes aparecem em defenses.present, nunca em cleared, e a chamada custa 5.
Todo o resto da lista é reconhecido e relatado, e nada mais. Essa divisão muda à medida que o FourA aprende a liberar mais deles, portanto leia solved em vez de deduzir a partir desta tabela.
Duas observações sobre os casos limites:
hcaptchaerecaptchatambém são widgets comuns de formulário. Eles só são reportados quando a resposta realmente bloqueou você (403, 429 ou 503), portanto uma página de checkout com um widget de verificação em um formulário não reporta uma defesa.- Estar atrás do Cloudflare não é uma defesa.
cloudflareaparece quando há um desafio real ou um artefato de gerenciamento de bots na resposta, não apenas porque um site usa o Cloudflare.
Reutilizando uma Autorização
defense.cookie é todo o propósito do campo. Uma autorização está vinculada à saída que a obteve e ao User-Agent que a obteve, portanto, repita-a através do mesmo par e a verificação não será executada novamente.
import requests
API = "https://eu.api.foura.ai"
H = {"X-API-Key": "YOUR_API_KEY", "Content-Type": "application/json"}
# 1) First call pays for the clear.
first = requests.post(f"{API}/api/proxy/", headers=H, json={
"maxTries": 5,
"request": {"method": "GET", "url": "https://example.com/catalog"},
}).json()
defense = first.get("defense", {})
if defense.get("solved"):
clearance = defense["cookie"]
exit_id = first["proxy"]
# 2) Follow-up pages skip the check: same exit, same clearance.
for page in range(2, 6):
r = requests.post(f"{API}/api/single/", headers=H, json={
"method": "GET",
"url": f"https://example.com/catalog?page={page}",
"proxy": exit_id,
"headers": [["Cookie", clearance]],
}).json()
print(page, r["status"])
A primeira chamada arca com o custo da liberação. Cada repetição é uma request comum pelo preço normal.
Três coisas quebram uma repetição:
- Uma saída diferente. Fixe o ID do proxy retornado pela response de liberação. Consulte Reuse a Proxy Across Requests.
- Um User-Agent diferente. As responses do Browser retornam o
userAgentutilizado. Envie-o de volta com o cookie. - Expiração. As liberações têm prazos de validade próprios, definidos pelo destino. A do SiteGround dura cerca de 30 dias para o site inteiro; uma liberação da Cloudflare costuma ser muito mais curta. Trate uma liberação como um cache: quando as repetições começarem a retornar desafios novamente, execute uma chamada nova e use o novo token.
Quanto Custa
Uma verificação liberada altera o preço apenas no Browser:
| Engine | Base | Cleared defense |
|---|---|---|
| Single | 1 (2 com unblocker) |
Sem alteração |
| Proxy | 2 (4 com unblocker) |
Sem alteração |
| Browser | 5 | 10 |
O Browser cobra 10 apenas quando o solver estava ativo e um sistema foi realmente liberado. Um sistema reconhecido e não liberado custa 5, o mesmo que uma página sem verificação alguma.
Uma página de verificação ou de recusa que o FourA reconhece retornada com HTTP 200 (por exemplo, a verificação de robô da Amazon, a página de verificação do Reddit ou a página de desafio do eBay) não é cobrada em nenhum endpoint. As responses de Single, Proxy e Browser a identificam em X-FourA-Check-Page.
Combine com validate
O defense informa que uma verificação foi encontrada. O validate informa ao FourA como é a página real, permitindo que a request falhe em vez de entregar um interstitial que por acaso retorne HTTP 200.
{
"method": "GET",
"url": "https://example.com/product/42",
"validate": {
"data": {"accept": ["Add to cart"], "fail": ["Just a moment"]}
}
}
No POST /api/auto/, validate é o que impede a escala de aceitar uma página de desafio e considerá-la concluída.
Relacionados
- Sites protegidos: Qual mecanismo utilizar em cada nível de proteção
- Endpoints da API: Referência de request e response para todos os quatro endpoints
- Reutilizar um Proxy Entre Requests: Fixe a saída à qual uma autorização está vinculada
- Smart Fetch (Auto): Como
meta.solvedse encaixa na escala - Headers de Response: Onde o custo em créditos de uma chamada é exibido