Scraping de un sitio web dinámico
Los sitios web dinámicos cargan contenido mediante JavaScript después de la carga inicial de la página. Esta guía muestra cómo recolectar datos de estos sitios utilizando el endpoint de navegador de FourA.
El problema
Cuando envías una request HTTP estándar a un sitio web con alto uso de JavaScript, obtienes la estructura HTML pero no el contenido real. Los datos que necesitas (listados de productos, precios, resultados de búsqueda) son cargados por JavaScript después de que la página se renderiza en un navegador.
Esto es cada vez más común con frameworks modernos como React, Vue, Angular y Next.js.
La solución: Requests con navegador
El endpoint de navegador de FourA (POST /api/browser/) abre tu URL en una instancia de navegador Chrome que:
- Carga la página
- Ejecuta todo el JavaScript
- Espera a que el contenido se renderice
- Devuelve el HTML completamente renderizado
Paso 1: Identifica lo que necesitas
Antes de hacer la request, visita la página de destino en tu navegador y usa DevTools (F12) para encontrar un fragmento de texto o un elemento que confirme que el contenido se ha cargado. Por ejemplo:
- Un nombre de producto que aparece después de que JS renderiza
- Una clase CSS como
product-griden el HTML renderizado - Una cadena de texto como "results" que solo aparece cuando los datos cargan
Paso 2: Envía una request con navegador
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products",
"timeout_ms": 15000,
"checkText": "product-grid"
}'
La opción checkText le indica a FourA que verifique que "product-grid" esté en la página una vez que haya terminado de cargar. Si no está, la request se devuelve como un fallo con checkText:product-grid not found, y una request fallida no se factura. checkText no hace que FourA espere más tiempo por el texto.
Paso 3: Analiza el HTML
La response contiene el HTML renderizado por completo en el campo body. Analízalo con tu biblioteca preferida:
Python (BeautifulSoup)
import requests
from bs4 import BeautifulSoup
resp = requests.post("https://eu.api.foura.ai/api/browser/", headers={
"X-API-Key": "YOUR_API_KEY",
"Content-Type": "application/json"
}, json={
"url": "https://example.com/products",
"timeout_ms": 15000,
"checkText": "product-grid"
})
html = resp.json()["body"]
soup = BeautifulSoup(html, "html.parser")
for product in soup.select(".product-card"):
name = product.select_one(".product-name").text.strip()
price = product.select_one(".product-price").text.strip()
print(f"{name}: {price}")
Node.js (cheerio)
import * as cheerio from 'cheerio';
const resp = await fetch('https://eu.api.foura.ai/api/browser/', {
method: 'POST',
headers: { 'X-API-Key': 'YOUR_API_KEY', 'Content-Type': 'application/json' },
body: JSON.stringify({
url: 'https://example.com/products',
timeout_ms: 15000,
checkText: 'product-grid'
})
});
const { body: html } = await resp.json();
const $ = cheerio.load(html);
$('.product-card').each((i, el) => {
console.log($(el).find('.product-name').text(), $(el).find('.product-price').text());
});
Solución de problemas
¿Sigues recibiendo contenido vacío?
- Verifica si la página realmente usa renderizado de JavaScript (compara "Ver código fuente" con DevTools)
- Aumenta
timeout_ms: algunas páginas tardan en cargar - Comprueba si la página requiere autenticación o cookies (usa el parámetro
cookies)
¿Recibes una página de verificación?
- Para requests individuales/HTTP, cambia al endpoint de proxy (
POST /api/proxy/) para rotación automática de IP. - Para enrutar un request de navegador a través de un proxy, pasa el parámetro
proxydel endpoint de navegador. El endpoint de proxy solo envuelve requests individuales/HTTP, no requests de navegador.
El parámetro proxy toma el ID de proxy opaco devuelto por una respuesta anterior, nunca una dirección de proxy propia. Ejecuta primero una llamada POST /api/proxy/ (o POST /api/auto/), lee el campo proxy que devuelve (session.proxy en Auto) y luego fíjalo:
# Step 1: let FourA find a working exit. The response carries "proxy": "A1B2C3".
curl -X POST "https://eu.api.foura.ai/api/proxy/" \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"maxTries": 5, "request": {"method": "GET", "url": "https://example.com/products"}}'
# Step 2: render through that same exit.
curl -X POST "https://eu.api.foura.ai/api/browser/" \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products", "proxy": "A1B2C3", "timeout_ms": 20000}'
Enviar una dirección en lugar de un ID devuelve 400 Invalid proxy format. El patrón completo se encuentra en Reutilizar un proxy entre requests.
Próximos pasos
- Elegir el endpoint adecuado: Cuándo usar browser vs. single
- Monitorear precios de competidores: Tutorial completo de seguimiento de precios
- Sitios protegidos: Manejar sitios protegidos
- Reutilizar un proxy entre requests: Fijar una salida a lo largo de un flujo de trabajo completo