Sitios protegidos
Los sitios web modernos utilizan detección avanzada de bots. Esta guía explica cómo FourA obtiene la página en sitios que verifican quién hace la solicitud y cómo aumentar tu tasa de éxito.
Cómo funciona la detección de bots
Los sitios web utilizan varias capas de protección:
- Reputación de IP: los centros de datos y las direcciones proxy conocidas son bloqueados
- Huella digital a nivel de red: cada cliente HTTP tiene una firma de handshake única que los sitios pueden detectar
- Huella digital del navegador: el código JavaScript comprueba si hay indicadores de navegadores headless
- Análisis de comportamiento: patrones de solicitud, tiempos y flujo de navegación
- Páginas de verificación: una tarea visual que el visitante debe completar
La respuesta indica el sistema que ejecutó una verificación; Site checks los enumera.
La ruta más rápida: Auto
Si aún no conoces el nivel de protección, llama a /api/auto/ con una subcadena validate.data.accept que solo contenga la página real. Auto recorre una escala con optimización de costos (un proxy rotativo, luego un navegador a través de un proxy; con forceProxy: false, un sondeo directo económico y un renderizado directo en navegador van primero) y se detiene en el primer nivel que devuelve una respuesta aceptada por tus reglas. En llamadas repetidas al mismo host, se reutiliza una sesión activa, por lo que la segunda solicitud resulta económica.
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://protected-site.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Auto reconoce las páginas de desafío comunes y sigue avanzando cuando encuentra una. Tu cadena validate.data.accept captura el resto: una página de verificación que no conoce, un muro de inicio de sesión o una página sin el contenido que necesitas. Consulta la guía de Smart Fetch para ver el recorrido completo.
Cómo ayuda FourA en cada capa
Requests realistas a nivel de cable
El endpoint único (POST /api/single/) emite características de handshake que coinciden con las de un navegador real. Los sitios le responden del mismo modo que a un navegador, sin la sobrecarga de ejecutar uno.
Activa unblocker para inyectar también headers de navegador realistas (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding). unblocker está activado por defecto; define false solo para enviar tus propios headers sin agregar ninguno.
{
"method": "GET",
"url": "https://protected-site.com/data",
"unblocker": true
}
Renderizado con navegador real
El endpoint browser (POST /api/browser/) ejecuta una instancia completa del navegador Chrome. Ejecuta el JavaScript de la página tal como lo hace el navegador de un visitante. unblocker en Browser completa las comprobaciones que solicita una página antes de cargar (Turnstile y barreras similares); déjalo activado a menos que quieras recibir la página de desafío tal cual vino.
Rotación de proxy
El endpoint proxy (POST /api/proxy/) rota a través del pool estándar de salidas de FourA. Cuando un sitio rechaza una salida o la salida no responde, el siguiente intento sale a través de una diferente. Usa ignoreProxies en una llamada de seguimiento para omitir las salidas que ya quemaste; usa maxTries (por defecto 5, máximo 90) para controlar cuántos intentos realiza.
Las salidas premium solo se utilizan cuando una request las solicita. exitClass: "premium" permite que Proxy pase a una salida premium una vez que el pool estándar no puede acceder a la página, en un plan que incluye salidas premium. El exitClass de una response exitosa indica qué tipo de salida respondió, y una vez que se agota tu tráfico premium para el período, la request continúa en el pool estándar e indica standard. Consulta exitClass.
Salidas delimitadas por país
Pasa exitCountries en /api/proxy/ para restringir la selección a proxies cuyo país visible para el destino coincida con una allowlist estricta. Los valores son códigos de dos letras (["CZ", "GB"]), sin espacios, en mayúsculas y sin duplicados. El pool estándar nunca recurre a un país no solicitado; si el pool actual no tiene coincidencias, la response devuelve code: "no_eligible_proxy" con el alcance normalizado en details.exitCountries para que puedas reintentar más tarde sin relajar el requisito. Una salida premium también se mantiene dentro de la lista: con exitClass: premium, una salida premium parte de uno de tus países, y exitCountry en la response lo especifica. La delimitación por país se incluye a partir del plan Startup. En un plan que no lo incluye, una llamada que envíe exitCountries se rechaza con un 403 y X-FourA-Limit: plan_limit_feature.
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"exitCountries": ["CZ", "GB"],
"request": {"method": "GET", "url": "https://target.example/pricing"}
}'
La respuesta incluye exitCountry cuando se solicitó la delimitación de alcance. Verifica que pertenezca a tu lista de permitidos antes de confiar en el payload, luego reutiliza el ID proxy devuelto en cualquier llamada posterior de Browser para que el renderizado de JavaScript ocurra a través de la misma salida.
FourA te dice qué te detuvo
No tienes que adivinar qué sistema bloqueó una solicitud. Cuando un objetivo ejecuta una comprobación de bots, la respuesta lo identifica.
POST /api/single/yPOST /api/proxy/devuelven un objetodefense:defense.vendores el sistema,defense.solvedindica si se superó la comprobación ydefense.presentlista todo lo reconocido en esa respuesta.POST /api/browser/devuelvedefenseSolvedademás dedefenses.presentydefenses.cleared.
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "sgcaptcha",
"solved": true,
"present": ["sgcaptcha"],
"cookie": "_I_=<clearance>"
}
}
De esto se derivan dos reglas:
solved: falsesignifica que el cuerpo puede ser el challenge, no la página. FourA nunca presenta una página de challenge como contenido, así que comprueba el flag antes de parsear.- Una resolución te entrega la autorización. Cuando
defense.cookieestá presente, devuélvelo como un headerCookieen la misma salida con el mismo User-Agent y las requests posteriores omitirán la comprobación por completo.
FourA reconoce los sistemas de comprobación comunes, incluidos los sistemas propios de eBay, Reddit y Amazon. Reconocer abarca más que resolver: un sistema que podemos identificar pero no resolver se reporta y nunca incrementa el coste de la request. Cuando la página devuelta es la página de comprobación de dicho sistema, incluso con HTTP 200, la request no se factura y el header X-FourA-Check-Page lo indica por su nombre. Consulta Comprobaciones del sitio para ver cada campo, la división actual entre resolución y detección, y un ejemplo de repetición.
La página de un solo botón "continue shopping" de Amazon se responde por ti en lugar de resolverse. Single, Proxy y Browser pulsan el botón en la misma salida y devuelven la página real. Con unblocker activado (el valor por defecto), Single y Proxy lo reportan en defense como retry: "amazon-continue" con solved: false, y el precio no cambia. La comprobación ligera de JavaScript de Reddit funciona de la misma manera en Single y Proxy: la responden en la misma salida, devuelven la página real y reportan retry: "reddit-js-check" con solved: false al mismo precio.
Estrategia por nivel de protección
Protección desconocida
Usa auto. Empieza en un proxy rotativo y solo escala tanto como el objetivo lo obligue, por lo que pagas el descubrimiento una sola vez por host.
Protección baja (la mayoría de los sitios)
Usa el endpoint single con unblocker. La coincidencia a nivel de cable es suficiente.
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'
Medio: una página de desafío o un firewall básico
Usa el endpoint de navegador para superar desafíos de JavaScript:
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'
Alto: comprobaciones de comportamiento y huella digital
Usa el endpoint de proxy con múltiples intentos de reintento:
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 10,
"request": {
"method": "GET",
"url": "https://heavily-protected.com/prices",
"unblocker": true
}
}'
Para páginas con desafíos encadenados ("Just a moment", un control de seguridad) donde necesitas la página renderizada después de que se resuelva el desafío, consulta las recetas de MCP. La receta "Protected page: proxy first, browser when JavaScript is needed" muestra la transferencia exacta de proxy a browser.
Buenas prácticas
Comienza con auto para destinos desconocidos. Pasa una regla
validate, deja que la escala elija el nivel más económico y luego leemeta.rungen la respuesta para ver qué motor funcionó. Una vez que lo sepas, llama a ese motor directamente para el tráfico repetido.Reutiliza la sesión ganadora. Después de una llamada auto, el
sessiondevuelto (ID de proxy + cookies + userAgent) se puede reproducir mediante/api/single/o/api/browser/para páginas posteriores en el mismo host, al precio propio de ese endpoint: 2 créditos en Single conunblocker, 5 en Browser (10 cuando la llamada completa un paso de verificación solicitado por la página).Respeta los rate limits. Incluso con rotación de proxy, enviar cientos de requests por segundo a un solo sitio activará la detección por comportamiento. Espacia tus requests al menos de 1 a 2 segundos.
Mantén
unblockeractivado. En Single y Proxy,unblocker: true(el valor predeterminado) añade headers de navegador realistas. En Browser activa el resolutor de desafíos. Desactívalo solo cuando necesites específicamente una request sin headers adicionales o una página de desafío sin procesar.Monitorea las tasas de éxito. Revisa las métricas del Dashboard para rastrear tu tasa de éxito a lo largo del tiempo. Una caída repentina suele significar que el sitio de destino actualizó su protección.
Omite las salidas quemadas. Si una llamada a
/api/proxy/o/api/auto/devolvió un ID de proxy que luego comenzó a fallar, pásalo enignoreProxiesen la siguiente llamada para que FourA elija una salida diferente.Lee
defenseantes de reintentar. El nombre del proveedor te indica si vale la pena probar un perfil de navegador diferente, si necesitas un renderizado completo o si el control es uno que nadie supera sin un servicio de resolución.Cambia el navegador que presentas. Algunos destinos aceptan un navegador y rechazan otro. Configura
browser,osoversionen Single y Proxy, y leeGET /api/profilespara ver el catálogo actual. Más detalles en la referencia del endpoint.
Límites
Algunos escenarios requieren gestión adicional fuera de la API:
- Contenido protegido por inicio de sesión: FourA no gestiona inicios de sesión de larga duración por ti. El endpoint browser acepta
cookiespor request; debes incluir tus propias cookies de sesión. - Tareas de verificación interactivas: FourA reconoce las visuales y las reporta en
defense.present, pero no las completa. Turnstile es gestionado por Browser. - Contenido limitado a ciertos países: usa
exitCountriesen/api/proxy/para fijar la selección a los países permitidos. Los sitios que también comprueban a qué red pertenece una dirección (algunas casas de apuestas con licencia nacional, ciertos servicios gubernamentales) aún pueden rechazar salidas del país correcto. ConexitClass: premiumy un país enexitCountries, una salida premium también puede originarse desde una región, ciudad o red que especifiques: consulta Ubicación de salida. Cuando el pool no tiene ninguna salida en los países que permitiste, el request devuelveno_eligible_proxy. - Sitios con restricciones legales: asegúrate siempre de que tu recolección de datos cumpla con los términos de servicio del sitio de destino y las leyes aplicables.
Próximos pasos
- Smart Fetch (Auto): Análisis detallado sobre
/api/auto/ - Elegir el endpoint correcto: Guía de decisión para endpoints
- Problemas comunes: Soluciona errores 403 y páginas de verificación
- Endpoints de la API: Referencia completa de parámetros incluyendo
exitCountries - Comprobaciones del sitio: El campo
defense, la lista de sistemas y la reproducción de clearance - Recetas MCP: Plantillas de flujo de trabajo incluyendo la cadena proxy primero y luego browser