Dynamische Website scrapen

Dynamische Websites laden Inhalte nach dem ersten Seitenaufruf per JavaScript nach. Diese Anleitung zeigt, wie du Daten von solchen Websites über den Browser-Endpoint von FourA abrufst.

Das Problem

Wenn du einen Standard-HTTP-Request an eine JavaScript-lastige Website sendest, erhältst du nur das HTML-Gerüst, nicht aber die eigentlichen Inhalte. Die benötigten Daten (Produktlisten, Preise, Suchergebnisse) werden erst nach dem Rendern im Browser per JavaScript geladen.

Das ist bei modernen Frameworks wie React, Vue, Angular und Next.js zunehmend üblich.

Die Lösung: Browser-Requests

Der Browser-Endpoint von FourA (POST /api/browser/) öffnet deine URL in einer Chrome-Browser-Instanz, die:

  1. Die Seite lädt
  2. Sämtliches JavaScript ausführt
  3. Wartet, bis der Inhalt gerendert ist
  4. Das vollständig gerenderte HTML zurückgibt

Schritt 1: Benötigte Inhalte identifizieren

Bevor du den Request sendest, öffne die Zielseite in deinem Browser und nutze die DevTools (F12), um ein Textelement oder DOM-Element zu finden, das das erfolgreiche Laden der Inhalte bestätigt. Zum Beispiel:

  • Ein Produktname, der erst nach dem JS-Rendering erscheint
  • Eine CSS-Klasse wie product-grid im gerenderten HTML
  • Eine Zeichenkette wie "results", die erst erscheint, wenn die Daten geladen sind

Schritt 2: Browser-Request senden

curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
  }'

Die Option checkText weist FourA an zu prüfen, ob „product-grid“ nach dem Laden auf der Seite vorhanden ist. Falls nicht, schlägt der Request mit checkText:product-grid not found fehl, und ein fehlgeschlagener Request wird nicht abgerechnet. checkText führt nicht dazu, dass FourA länger auf den Text wartet.

Schritt 3: HTML parsen

Die Response enthält das vollständig gerenderte HTML im Feld body. Parse es mit deiner bevorzugten Bibliothek:

Python (BeautifulSoup)

import requests
from bs4 import BeautifulSoup

resp = requests.post("https://eu.api.foura.ai/api/browser/", headers={
    "X-API-Key": "YOUR_API_KEY",
    "Content-Type": "application/json"
}, json={
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
})

html = resp.json()["body"]
soup = BeautifulSoup(html, "html.parser")

for product in soup.select(".product-card"):
    name = product.select_one(".product-name").text.strip()
    price = product.select_one(".product-price").text.strip()
    print(f"{name}: {price}")

Node.js (cheerio)

import * as cheerio from 'cheerio';

const resp = await fetch('https://eu.api.foura.ai/api/browser/', {
  method: 'POST',
  headers: { 'X-API-Key': 'YOUR_API_KEY', 'Content-Type': 'application/json' },
  body: JSON.stringify({
    url: 'https://example.com/products',
    timeout_ms: 15000,
    checkText: 'product-grid'
  })
});

const { body: html } = await resp.json();
const $ = cheerio.load(html);

$('.product-card').each((i, el) => {
  console.log($(el).find('.product-name').text(), $(el).find('.product-price').text());
});

Fehlerbehebung

Du erhältst weiterhin leere Inhalte?

  • Prüfe, ob die Seite tatsächlich JavaScript-Rendering nutzt (vergleiche "Seitenquelltext anzeigen" mit den DevTools)
  • Erhöhe timeout_ms: manche Seiten laden langsam
  • Prüfe, ob die Seite eine Authentifizierung oder Cookies benötigt (nutze den Parameter cookies)

Wirst du auf eine Verifizierungsseite geleitet?

  • Wechsle bei einzelnen HTTP-Requests zum Proxy-Endpoint (POST /api/proxy/), um automatische IP-Rotation zu nutzen.
  • Um einen Browser-Request über einen Proxy zu leiten, übergib den Parameter proxy des Browser-Endpoints. Der Proxy-Endpoint verarbeitet nur einzelne HTTP-Requests, keine Browser-Requests.

Der Parameter proxy akzeptiert die opake Proxy-ID aus einer früheren Response, niemals eine eigene Proxy-Adresse. Führe zuerst einen POST /api/proxy/- (oder POST /api/auto/-) Aufruf aus, lies das zurückgegebene Feld proxy aus (session.proxy bei Auto) und pinne es anschließend:

# Step 1: let FourA find a working exit. The response carries "proxy": "A1B2C3".
curl -X POST "https://eu.api.foura.ai/api/proxy/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"maxTries": 5, "request": {"method": "GET", "url": "https://example.com/products"}}'

# Step 2: render through that same exit.
curl -X POST "https://eu.api.foura.ai/api/browser/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products", "proxy": "A1B2C3", "timeout_ms": 20000}'

Das Senden einer Adresse anstelle einer ID führt zu 400 Invalid proxy format. Das vollständige Pattern findest du unter Reuse a Proxy Across Requests.

Nächste Schritte

Aktualisiert: 15. Oktober 2026