← Todos los artículos

Control de redirecciones y modo de búfer sin procesar

La API de FourA ahora admite límites de redirección configurables y respuestas binarias directas. Dos opciones que cambian cómo gestionas casos límite reales de scraping.

Las cadenas de redirecciones rompen los scrapers. Las respuestas binarias se corrompen al decodificarse como texto. Son dos problemas recurrentes una vez que superas la etapa de "obtener una página, parsear el HTML".

Lanzamos dos nuevas opciones de request para resolver ambos: followRedirects y returnBuffer. Ya están disponibles en la API.

Cómo funciona

Control de redirecciones con followRedirects

La mayoría de las API de scraping manejan las redirecciones como un booleano: seguirlas o no. Eso funciona hasta que encuentras una cadena de redirecciones en bucle, o necesitas la respuesta 302 intermedia para extraer un parámetro de seguimiento.

followRedirects de FourA acepta un entero entre 0 y 20. Si lo omites (o defines 0), obtienes la respuesta de redirección directa, con sus headers completos. Si lo defines en 5, la request sigue hasta cinco saltos antes de devolver el destino final.

curl -X POST "https://eu.api.foura.ai/v1/request" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/short-link",
    "followRedirects": 3,
    "unblocker": true
  }'

Esto sigue hasta tres redirecciones. Si la cadena se resuelve en dos, obtienes la página final. Si tiene más de tres, obtienes lo que haya devuelto el tercer salto.

La distinción importa más de lo que crees. Los sitios de e-commerce redirigen a través de URLs de seguimiento antes de llegar a la página del producto. Quieres seguir esas redirecciones. Pero las redes de afiliados y los acortadores de URL a veces crean cadenas que alcanzan seis, siete u ocho saltos de profundidad. Y algunos bucles de redirección nunca se resuelven. Limitarlo a un número específico te permite recopilar datos sin quedarte atrapado en un bucle infinito que agote tu timeout de request.

Antes de esto, la solución provisional consistía en enviar un request con las redirecciones desactivadas, analizar manualmente el header Location y enviar otro request. Eso implica un mínimo de dos llamadas a la API, el doble de latencia y código adicional que debes mantener. Ahora es una sola llamada con un número.

Respuestas binarias en bruto con returnBuffer

Cuando recopilas imágenes, PDFs o payloads de protobuf, la decodificación de texto destruye los datos. La librería HTTP asume que la respuesta es texto, aplica detección de charset y corrompe silenciosamente cada byte que no encaja. Protobuf se vuelve ilegible. Los headers de las imágenes se rompen. Terminas con archivos dañados y ningún mensaje de error claro que explique el motivo.

returnBuffer le indica a la API que omita la decodificación de texto por completo.

curl -X POST "https://eu.api.foura.ai/v1/request" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/product-image.jpg",
    "returnBuffer": true
  }'

El response body se devuelve como bytes crudos (codificado en base64 en respuestas JSON). Decodifícalo en tu extremo y tendrás exactamente lo que envió el servidor. Sin suposiciones de charset, sin conversión de codificación, sin corrupción silenciosa.

Este era uno de los tickets de soporte más comunes que veíamos: usuarios recopilando imágenes de productos o catálogos en PDF y recibiendo archivos que no abrían. La solución siempre era la misma, pero ahora hay un flag para esto en lugar de un workaround.

Impacto

Ambas funciones reducen la cantidad de llamadas a la API por tarea. followRedirects elimina los bucles manuales de seguimiento de redirects. returnBuffer elimina el ciclo de "obtener, notar que está corrupto, volver a obtener con ajustes diferentes".

Para objetivos con muchos redirects (enlaces de afiliados, acortadores de URL, cadenas de tracking de e-commerce), hemos visto caer el recuento de requests entre un 40 y un 60% en pruebas iniciales cuando los usuarios pasan de gestionar redirects manualmente a followRedirects. Y para tareas de recolección de binarios (imágenes de productos, descargas de documentos), returnBuffer convierte un workaround de varios pasos en una sola opción (resultados preliminares).

No son funciones llamativas. Son el tipo de cosas en las que no piensas hasta que tu scraper se rompe a las 3 de la mañana porque un sitio agregó un salto de redirect adicional en su flujo de checkout.

Para usuarios avanzados

Combina followRedirects con validación de response para un control preciso sobre las cadenas de redirects. Sigue los redirects, pero falla el request si el destino final choca contra una pared:

curl -X POST "https://eu.api.foura.ai/v1/request" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/product/12345",
    "followRedirects": 5,
    "unblocker": true,
    "validate": {
      "status": { "fail": [403, 503] },
      "data": { "fail": ["Access Denied", "captcha"] }
    }
  }'

Esto sigue hasta cinco redirecciones y luego comprueba la respuesta final. Si el sitio te redirigió a una página de verificación o a un bloqueo de acceso denegado, la request falla de forma limpia. Sin datos basura que filtrar más adelante.

Para la recolección de binarios, combina returnBuffer con requests HEAD cuando necesites verificar los tipos de contenido antes de descargar archivos grandes. FourA gestiona HEAD correctamente, por lo que puedes inspeccionar los headers sin descargar el body. Comprueba el Content-Type, decide si vale la pena descargarlo y luego realiza la request completa con returnBuffer: true.

Y si estás utilizando tareas de navegador para objetivos con mucho JavaScript, ten en cuenta que estas opciones se aplican al motor HTTP directo. Las requests de navegador gestionan las redirecciones a través de la navegación integrada del navegador, que las sigue por defecto sin límite.

Próximos pasos

Estamos trabajando para exponer más controles a nivel de request mediante la API: resolución DNS personalizada, ajuste de timeouts por fase y opciones de gestión de certificados. El objetivo es ofrecer un control total del perfil de navegador mediante una interfaz REST limpia, sin la sobrecarga de infraestructura.

Si necesitas una opción específica, te escuchamos. El dashboard ya muestra el rendimiento de tus requests con estas nuevas opciones, para que puedas medir la diferencia por ti mismo.