# Scraping de Site Dinâmico

> URL: https://foura.ai/pt/docs/how-to/scrape-dynamic-website
> Updated: 2026-10-15
> Index: https://foura.ai/llms.txt

Sites dinâmicos carregam conteúdo usando JavaScript após o carregamento inicial da página. Este guia mostra como coletar dados desses sites usando o endpoint de navegador do FourA.

## O problema

Quando você envia uma request HTTP padrão para um site com uso intenso de JavaScript, obtém a estrutura HTML básica, mas não o conteúdo real. Os dados de que você precisa (listas de produtos, preços, resultados de busca) são carregados por JavaScript após a página ser renderizada em um navegador.

Isso é cada vez mais comum com frameworks modernos como React, Vue, Angular e Next.js.

## A solução: Requests de navegador

O endpoint de navegador do FourA (`POST /api/browser/`) abre sua URL em uma instância do navegador Chrome que:
1. Carrega a página
2. Executa todo o JavaScript
3. Aguarda a renderização do conteúdo
4. Retorna o HTML totalmente renderizado

## Etapa 1: Identifique o que você precisa

Antes de fazer a request, acesse a página de destino no seu navegador e use o DevTools (F12) para encontrar um trecho de texto ou elemento que confirme o carregamento do conteúdo. Por exemplo:

- O nome de um produto que aparece após a renderização do JS
- Uma classe CSS como `product-grid` no HTML renderizado
- Uma string de texto como "results" que só aparece quando os dados são carregados

## Etapa 2: Envie uma request de navegador

```bash
curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
  }'
```

A opção `checkText` informa à FourA para verificar se "product-grid" está na página assim que o carregamento for concluído. Se não estiver, a request retorna como falha com `checkText:product-grid not found`, e uma request com falha não é cobrada. `checkText` não faz a FourA esperar mais tempo pelo texto.

## Etapa 3: Fazer o parse do HTML

A response contém o HTML totalmente renderizado no campo `body`. Faça o parse com a biblioteca de sua preferência:

### Python (BeautifulSoup)

```python
import requests
from bs4 import BeautifulSoup

resp = requests.post("https://eu.api.foura.ai/api/browser/", headers={
    "X-API-Key": "YOUR_API_KEY",
    "Content-Type": "application/json"
}, json={
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
})

html = resp.json()["body"]
soup = BeautifulSoup(html, "html.parser")

for product in soup.select(".product-card"):
    name = product.select_one(".product-name").text.strip()
    price = product.select_one(".product-price").text.strip()
    print(f"{name}: {price}")
```

### Node.js (cheerio)

```javascript
import * as cheerio from 'cheerio';

const resp = await fetch('https://eu.api.foura.ai/api/browser/', {
  method: 'POST',
  headers: { 'X-API-Key': 'YOUR_API_KEY', 'Content-Type': 'application/json' },
  body: JSON.stringify({
    url: 'https://example.com/products',
    timeout_ms: 15000,
    checkText: 'product-grid'
  })
});

const { body: html } = await resp.json();
const $ = cheerio.load(html);

$('.product-card').each((i, el) => {
  console.log($(el).find('.product-name').text(), $(el).find('.product-price').text());
});
```

## Solução de problemas

**Ainda está recebendo conteúdo vazio?**
- Verifique se a página realmente usa renderização em JavaScript (compare "Exibir código-fonte da página" com o DevTools)
- Aumente `timeout_ms`: algumas páginas demoram para carregar
- Verifique se a página exige autenticação ou cookies (use o parâmetro `cookies`)

**Está recebendo uma página de verificação?**
- Para requests únicos/HTTP, mude para o endpoint de proxy (`POST /api/proxy/`) para obter rotação automática de IP.
- Para rotear um request de navegador por meio de um proxy, passe o parâmetro `proxy` do endpoint de navegador. O endpoint de proxy encapsula apenas requests únicos/HTTP, não requests de navegador.

O parâmetro `proxy` aceita o ID opaco de proxy retornado por uma response anterior, nunca um endereço de proxy próprio. Execute uma chamada `POST /api/proxy/` (ou `POST /api/auto/`) primeiro, leia o campo `proxy` retornado (`session.proxy` no Auto) e fixe-o:

```bash
# Step 1: let FourA find a working exit. The response carries "proxy": "A1B2C3".
curl -X POST "https://eu.api.foura.ai/api/proxy/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"maxTries": 5, "request": {"method": "GET", "url": "https://example.com/products"}}'

# Step 2: render through that same exit.
curl -X POST "https://eu.api.foura.ai/api/browser/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products", "proxy": "A1B2C3", "timeout_ms": 20000}'
```

Enviar um endereço em vez de um ID retorna como `400 Invalid proxy format`. O padrão completo está em [Reutilizar um proxy entre requisições](https://foura.ai/docs/how-to/reuse-a-proxy).

## Próximos passos

- [Escolhendo o endpoint certo](https://foura.ai/docs/guides/choosing-task-type): Quando usar browser vs. single
- [Monitorar preços da concorrência](https://foura.ai/docs/how-to/monitor-competitor-prices): Tutorial completo de rastreamento de preços
- [Sites protegidos](https://foura.ai/docs/guides/protected-sites): Lidar com sites protegidos
- [Reutilizar um proxy entre requisições](https://foura.ai/docs/how-to/reuse-a-proxy): Fixar uma saída durante todo um fluxo de trabalho
