# Scraping de un sitio web dinámico

> URL: https://foura.ai/es/docs/how-to/scrape-dynamic-website
> Updated: 2026-10-15
> Index: https://foura.ai/llms.txt

Los sitios web dinámicos cargan contenido mediante JavaScript después de la carga inicial de la página. Esta guía muestra cómo recolectar datos de estos sitios utilizando el endpoint de navegador de FourA.

## El problema

Cuando envías una request HTTP estándar a un sitio web con alto uso de JavaScript, obtienes la estructura HTML pero no el contenido real. Los datos que necesitas (listados de productos, precios, resultados de búsqueda) son cargados por JavaScript después de que la página se renderiza en un navegador.

Esto es cada vez más común con frameworks modernos como React, Vue, Angular y Next.js.

## La solución: Requests con navegador

El endpoint de navegador de FourA (`POST /api/browser/`) abre tu URL en una instancia de navegador Chrome que:
1. Carga la página
2. Ejecuta todo el JavaScript
3. Espera a que el contenido se renderice
4. Devuelve el HTML completamente renderizado

## Paso 1: Identifica lo que necesitas

Antes de hacer la request, visita la página de destino en tu navegador y usa DevTools (F12) para encontrar un fragmento de texto o un elemento que confirme que el contenido se ha cargado. Por ejemplo:

- Un nombre de producto que aparece después de que JS renderiza
- Una clase CSS como `product-grid` en el HTML renderizado
- Una cadena de texto como "results" que solo aparece cuando los datos cargan

## Paso 2: Envía una request con navegador

```bash
curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
  }'
```

La opción `checkText` le indica a FourA que verifique que "product-grid" esté en la página una vez que haya terminado de cargar. Si no está, la request se devuelve como un fallo con `checkText:product-grid not found`, y una request fallida no se factura. `checkText` no hace que FourA espere más tiempo por el texto.

## Paso 3: Analiza el HTML

La response contiene el HTML renderizado por completo en el campo `body`. Analízalo con tu biblioteca preferida:

### Python (BeautifulSoup)

```python
import requests
from bs4 import BeautifulSoup

resp = requests.post("https://eu.api.foura.ai/api/browser/", headers={
    "X-API-Key": "YOUR_API_KEY",
    "Content-Type": "application/json"
}, json={
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
})

html = resp.json()["body"]
soup = BeautifulSoup(html, "html.parser")

for product in soup.select(".product-card"):
    name = product.select_one(".product-name").text.strip()
    price = product.select_one(".product-price").text.strip()
    print(f"{name}: {price}")
```

### Node.js (cheerio)

```javascript
import * as cheerio from 'cheerio';

const resp = await fetch('https://eu.api.foura.ai/api/browser/', {
  method: 'POST',
  headers: { 'X-API-Key': 'YOUR_API_KEY', 'Content-Type': 'application/json' },
  body: JSON.stringify({
    url: 'https://example.com/products',
    timeout_ms: 15000,
    checkText: 'product-grid'
  })
});

const { body: html } = await resp.json();
const $ = cheerio.load(html);

$('.product-card').each((i, el) => {
  console.log($(el).find('.product-name').text(), $(el).find('.product-price').text());
});
```

## Solución de problemas

**¿Sigues recibiendo contenido vacío?**
- Verifica si la página realmente usa renderizado de JavaScript (compara "Ver código fuente" con DevTools)
- Aumenta `timeout_ms`: algunas páginas tardan en cargar
- Comprueba si la página requiere autenticación o cookies (usa el parámetro `cookies`)

**¿Recibes una página de verificación?**
- Para requests individuales/HTTP, cambia al endpoint de proxy (`POST /api/proxy/`) para rotación automática de IP.
- Para enrutar un request de navegador a través de un proxy, pasa el parámetro `proxy` del endpoint de navegador. El endpoint de proxy solo envuelve requests individuales/HTTP, no requests de navegador.

El parámetro `proxy` toma el ID de proxy opaco devuelto por una respuesta anterior, nunca una dirección de proxy propia. Ejecuta primero una llamada `POST /api/proxy/` (o `POST /api/auto/`), lee el campo `proxy` que devuelve (`session.proxy` en Auto) y luego fíjalo:

```bash
# Step 1: let FourA find a working exit. The response carries "proxy": "A1B2C3".
curl -X POST "https://eu.api.foura.ai/api/proxy/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"maxTries": 5, "request": {"method": "GET", "url": "https://example.com/products"}}'

# Step 2: render through that same exit.
curl -X POST "https://eu.api.foura.ai/api/browser/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products", "proxy": "A1B2C3", "timeout_ms": 20000}'
```

Enviar una dirección en lugar de un ID devuelve `400 Invalid proxy format`. El patrón completo se encuentra en [Reutilizar un proxy entre requests](https://foura.ai/docs/how-to/reuse-a-proxy).

## Próximos pasos

- [Elegir el endpoint adecuado](https://foura.ai/docs/guides/choosing-task-type): Cuándo usar browser vs. single
- [Monitorear precios de competidores](https://foura.ai/docs/how-to/monitor-competitor-prices): Tutorial completo de seguimiento de precios
- [Sitios protegidos](https://foura.ai/docs/guides/protected-sites): Manejar sitios protegidos
- [Reutilizar un proxy entre requests](https://foura.ai/docs/how-to/reuse-a-proxy): Fijar una salida a lo largo de un flujo de trabajo completo
