# Dynamische Website scrapen

> URL: https://foura.ai/de/docs/how-to/scrape-dynamic-website
> Updated: 2026-10-15
> Index: https://foura.ai/llms.txt

Dynamische Websites laden Inhalte nach dem ersten Seitenaufruf per JavaScript nach. Diese Anleitung zeigt, wie du Daten von solchen Websites über den Browser-Endpoint von FourA abrufst.

## Das Problem

Wenn du einen Standard-HTTP-Request an eine JavaScript-lastige Website sendest, erhältst du nur das HTML-Gerüst, nicht aber die eigentlichen Inhalte. Die benötigten Daten (Produktlisten, Preise, Suchergebnisse) werden erst nach dem Rendern im Browser per JavaScript geladen.

Das ist bei modernen Frameworks wie React, Vue, Angular und Next.js zunehmend üblich.

## Die Lösung: Browser-Requests

Der Browser-Endpoint von FourA (`POST /api/browser/`) öffnet deine URL in einer Chrome-Browser-Instanz, die:
1. Die Seite lädt
2. Sämtliches JavaScript ausführt
3. Wartet, bis der Inhalt gerendert ist
4. Das vollständig gerenderte HTML zurückgibt

## Schritt 1: Benötigte Inhalte identifizieren

Bevor du den Request sendest, öffne die Zielseite in deinem Browser und nutze die DevTools (F12), um ein Textelement oder DOM-Element zu finden, das das erfolgreiche Laden der Inhalte bestätigt. Zum Beispiel:

- Ein Produktname, der erst nach dem JS-Rendering erscheint
- Eine CSS-Klasse wie `product-grid` im gerenderten HTML
- Eine Zeichenkette wie "results", die erst erscheint, wenn die Daten geladen sind

## Schritt 2: Browser-Request senden

```bash
curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
  }'
```

Die Option `checkText` weist FourA an zu prüfen, ob „product-grid“ nach dem Laden auf der Seite vorhanden ist. Falls nicht, schlägt der Request mit `checkText:product-grid not found` fehl, und ein fehlgeschlagener Request wird nicht abgerechnet. `checkText` führt nicht dazu, dass FourA länger auf den Text wartet.

## Schritt 3: HTML parsen

Die Response enthält das vollständig gerenderte HTML im Feld `body`. Parse es mit deiner bevorzugten Bibliothek:

### Python (BeautifulSoup)

```python
import requests
from bs4 import BeautifulSoup

resp = requests.post("https://eu.api.foura.ai/api/browser/", headers={
    "X-API-Key": "YOUR_API_KEY",
    "Content-Type": "application/json"
}, json={
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
})

html = resp.json()["body"]
soup = BeautifulSoup(html, "html.parser")

for product in soup.select(".product-card"):
    name = product.select_one(".product-name").text.strip()
    price = product.select_one(".product-price").text.strip()
    print(f"{name}: {price}")
```

### Node.js (cheerio)

```javascript
import * as cheerio from 'cheerio';

const resp = await fetch('https://eu.api.foura.ai/api/browser/', {
  method: 'POST',
  headers: { 'X-API-Key': 'YOUR_API_KEY', 'Content-Type': 'application/json' },
  body: JSON.stringify({
    url: 'https://example.com/products',
    timeout_ms: 15000,
    checkText: 'product-grid'
  })
});

const { body: html } = await resp.json();
const $ = cheerio.load(html);

$('.product-card').each((i, el) => {
  console.log($(el).find('.product-name').text(), $(el).find('.product-price').text());
});
```

## Fehlerbehebung

**Du erhältst weiterhin leere Inhalte?**
- Prüfe, ob die Seite tatsächlich JavaScript-Rendering nutzt (vergleiche "Seitenquelltext anzeigen" mit den DevTools)
- Erhöhe `timeout_ms`: manche Seiten laden langsam
- Prüfe, ob die Seite eine Authentifizierung oder Cookies benötigt (nutze den Parameter `cookies`)

**Wirst du auf eine Verifizierungsseite geleitet?**
- Wechsle bei einzelnen HTTP-Requests zum Proxy-Endpoint (`POST /api/proxy/`), um automatische IP-Rotation zu nutzen.
- Um einen Browser-Request über einen Proxy zu leiten, übergib den Parameter `proxy` des Browser-Endpoints. Der Proxy-Endpoint verarbeitet nur einzelne HTTP-Requests, keine Browser-Requests.

Der Parameter `proxy` akzeptiert die opake Proxy-ID aus einer früheren Response, niemals eine eigene Proxy-Adresse. Führe zuerst einen `POST /api/proxy/`- (oder `POST /api/auto/`-) Aufruf aus, lies das zurückgegebene Feld `proxy` aus (`session.proxy` bei Auto) und pinne es anschließend:

```bash
# Step 1: let FourA find a working exit. The response carries "proxy": "A1B2C3".
curl -X POST "https://eu.api.foura.ai/api/proxy/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"maxTries": 5, "request": {"method": "GET", "url": "https://example.com/products"}}'

# Step 2: render through that same exit.
curl -X POST "https://eu.api.foura.ai/api/browser/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products", "proxy": "A1B2C3", "timeout_ms": 20000}'
```

Das Senden einer Adresse anstelle einer ID führt zu `400 Invalid proxy format`. Das vollständige Pattern findest du unter [Reuse a Proxy Across Requests](https://foura.ai/docs/how-to/reuse-a-proxy).

## Nächste Schritte

- [Choosing the Right Endpoint](https://foura.ai/docs/guides/choosing-task-type): Wann du browser vs. single nutzt
- [Monitor Competitor Prices](https://foura.ai/docs/how-to/monitor-competitor-prices): Vollständiges Tutorial zum Preis-Tracking
- [Protected sites](https://foura.ai/docs/guides/protected-sites): Geschützte Seiten handhaben
- [Reuse a Proxy Across Requests](https://foura.ai/docs/how-to/reuse-a-proxy): Einen Exit-Node über einen gesamten Workflow fixieren
