Scraper un site web dynamique
Les sites web dynamiques chargent du contenu à l'aide de JavaScript après le chargement initial de la page. Ce guide vous montre comment collecter des données à partir de ces sites en utilisant l'endpoint browser de FourA.
Le problème
Lorsque vous envoyez une requête HTTP standard à un site web reposant lourdement sur JavaScript, vous obtenez la structure HTML de base, mais pas le contenu réel. Les données dont vous avez besoin (listes de produits, prix, résultats de recherche) sont chargées par JavaScript après le rendu de la page dans un navigateur.
Ce comportement est de plus en plus courant avec les frameworks modernes tels que React, Vue, Angular et Next.js.
La solution : les requêtes Browser
L'endpoint browser de FourA (POST /api/browser/) ouvre votre URL dans une instance de navigateur Chrome qui :
- Charge la page
- Exécute tout le code JavaScript
- Attend le rendu du contenu
- Renvoie le code HTML complètement rendu
Étape 1 : Identifiez ce dont vous avez besoin
Avant d'effectuer la requête, visitez la page cible dans votre navigateur et utilisez les DevTools (F12) pour trouver un élément ou un fragment de texte confirmant le chargement du contenu. Par exemple :
- Un nom de produit qui s'affiche après l'exécution du JS
- Une classe CSS comme
product-griddans le HTML rendu - Une chaîne de texte comme "results" qui n'apparaît que lorsque les données sont chargées
Étape 2 : Envoyez une requête Browser
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products",
"timeout_ms": 15000,
"checkText": "product-grid"
}'
L'option checkText indique à FourA de vérifier que "product-grid" est présent sur la page une fois son chargement terminé. Si ce n'est pas le cas, la request échoue avec le code checkText:product-grid not found, et une request ayant échoué n'est pas facturée. checkText ne force pas FourA à attendre le texte plus longtemps.
Étape 3 : Parser le HTML
La response contient le HTML entièrement rendu dans le champ body. Analysez-le avec votre bibliothèque préférée :
Python (BeautifulSoup)
import requests
from bs4 import BeautifulSoup
resp = requests.post("https://eu.api.foura.ai/api/browser/", headers={
"X-API-Key": "YOUR_API_KEY",
"Content-Type": "application/json"
}, json={
"url": "https://example.com/products",
"timeout_ms": 15000,
"checkText": "product-grid"
})
html = resp.json()["body"]
soup = BeautifulSoup(html, "html.parser")
for product in soup.select(".product-card"):
name = product.select_one(".product-name").text.strip()
price = product.select_one(".product-price").text.strip()
print(f"{name}: {price}")
Node.js (cheerio)
import * as cheerio from 'cheerio';
const resp = await fetch('https://eu.api.foura.ai/api/browser/', {
method: 'POST',
headers: { 'X-API-Key': 'YOUR_API_KEY', 'Content-Type': 'application/json' },
body: JSON.stringify({
url: 'https://example.com/products',
timeout_ms: 15000,
checkText: 'product-grid'
})
});
const { body: html } = await resp.json();
const $ = cheerio.load(html);
$('.product-card').each((i, el) => {
console.log($(el).find('.product-name').text(), $(el).find('.product-price').text());
});
Dépannage
Vous obtenez toujours un contenu vide ?
- Vérifiez si la page utilise réellement le rendu JavaScript (comparez le « Code source » aux DevTools)
- Augmentez
timeout_ms: certaines pages se chargent lentement - Vérifiez si la page requiert une authentification ou des cookies (utilisez le paramètre
cookies)
Vous obtenez une page de vérification ?
- Pour les requêtes uniques/HTTP, basculez vers l'endpoint proxy (
POST /api/proxy/) pour bénéficier de la rotation automatique des IP. - Pour router une requête de navigateur via un proxy, transmettez le paramètre
proxyde l'endpoint du navigateur. L'endpoint proxy prend uniquement en charge les requêtes uniques/HTTP, pas les requêtes de navigateur.
Le paramètre proxy accepte l'ID de proxy opaque retourné par une réponse précédente, jamais une adresse proxy qui vous est propre. Exécutez d'abord un appel POST /api/proxy/ (ou POST /api/auto/), lisez le champ proxy renvoyé (session.proxy en mode Auto), puis épinglez-le :
# Step 1: let FourA find a working exit. The response carries "proxy": "A1B2C3".
curl -X POST "https://eu.api.foura.ai/api/proxy/" \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"maxTries": 5, "request": {"method": "GET", "url": "https://example.com/products"}}'
# Step 2: render through that same exit.
curl -X POST "https://eu.api.foura.ai/api/browser/" \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products", "proxy": "A1B2C3", "timeout_ms": 20000}'
Envoyer une adresse au lieu d'un identifiant renvoie 400 Invalid proxy format. Le modèle complet se trouve dans Réutiliser un proxy sur plusieurs requêtes.
Étapes suivantes
- Choisir le bon endpoint : quand utiliser browser vs. single
- Surveiller les prix des concurrents : tutoriel complet sur le suivi des prix
- Sites protégés : gérer les sites protégés
- Réutiliser un proxy sur plusieurs requêtes : figer une sortie sur l'ensemble d'un flux de travail