Sites protégés

Les sites modernes utilisent une détection de bots avancée. Ce guide explique comment FourA récupère la page sur les sites qui vérifient l'identité du client, et comment augmenter votre taux de réussite.

Fonctionnement de la détection de bots

Les sites web appliquent plusieurs niveaux de protection :

  • Réputation de l'IP : Les datacenters et les adresses de proxy connues sont bloqués
  • Fingerprinting réseau : Chaque client HTTP possède une signature de handshake unique que les sites peuvent détecter
  • Fingerprinting du navigateur : Le JavaScript recherche les indicateurs de navigateurs headless
  • Analyse comportementale : Modèles de requêtes, délais et parcours de navigation
  • Pages de vérification : Une tâche visuelle que le visiteur doit accomplir

La réponse indique le système ayant exécuté un contrôle ; Vérifications du site les répertorie.

Méthode la plus rapide : Auto

Si vous ne connaissez pas encore le niveau de protection, appelez /api/auto/ avec une sous-chaîne validate.data.accept que seule la page réelle contient. Le mode Auto parcourt une échelle optimisée en fonction du coût (un proxy tournant, puis un navigateur via un proxy ; avec forceProxy: false, un probe direct économique et un rendu direct par navigateur sont tentés d'abord) et s'arrête au premier échelon renvoyant une réponse acceptée par vos règles. Lors d'appels répétés vers le même hôte, une session active est rejouée, ce qui réduit le coût de la seconde requête.

curl -X POST https://eu.api.foura.ai/api/auto/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://protected-site.com/product/42",
    "validate": {"data": {"accept": ["Add to cart"]}}
  }'

Auto reconnaît les pages de challenge courantes et poursuit son exécution lorsqu'il en rencontre une. Votre chaîne validate.data.accept intercepte le reste : une page de vérification inconnue, un mur de connexion ou une page dépourvue du contenu nécessaire. Consultez le guide Smart Fetch pour découvrir le tutoriel complet.

Comment FourA intervient à chaque couche

Requêtes réseau réalistes

L'endpoint unique (POST /api/single/) génère des caractéristiques de handshake identiques à celles d'un véritable navigateur. Les sites y répondent comme ils répondraient à un navigateur, sans la surcharge liée à son exécution.

Activez unblocker pour injecter également des headers de navigateur réalistes (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding). unblocker est activé par défaut ; définissez false uniquement pour envoyer vos propres headers sans aucun ajout.

{
  "method": "GET",
  "url": "https://protected-site.com/data",
  "unblocker": true
}

Rendu avec un véritable navigateur

L'endpoint de navigateur (POST /api/browser/) exécute une instance complète de navigateur Chrome. Il exécute le JavaScript de la page exactement comme le ferait le navigateur d'un visiteur. unblocker sur Browser effectue les vérifications requises par une page avant son chargement (Turnstile et protections similaires) ; laissez cette option activée à moins que vous ne souhaitiez récupérer la page de test telle quelle.

Rotation des proxies

L'endpoint proxy (POST /api/proxy/) alterne parmi le pool standard de sorties de FourA. Lorsqu'un site rejette une sortie ou que celle-ci ne répond pas, la tentative suivante passe par une sortie différente. Utilisez ignoreProxies lors d'un appel ultérieur pour ignorer les sorties déjà consommées ; utilisez maxTries (5 par défaut, 90 au maximum) pour ajuster l'intensité des tentatives.

Les sorties premium sont utilisées uniquement lorsqu'une request le demande explicitement. exitClass: "premium" permet au Proxy de basculer vers une sortie premium dès que le pool standard ne parvient pas à joindre la page, sous réserve d'un forfait incluant des sorties premium. Le header exitClass d'une response réussie indique quel type de sortie a été utilisé, et lorsque votre volume de trafic premium pour la période est épuisé, la request continue via le pool standard et renvoie standard. Consultez exitClass.

Sorties restreintes par pays

Transmettez exitCountries sur /api/proxy/ pour restreindre la sélection aux proxies dont le pays visible par la cible correspond à une liste d'autorisation stricte. Les valeurs sont des codes à deux lettres (["CZ", "GB"]), nettoyés, mis en majuscules et dédupliqués. Le pool standard ne bascule jamais vers un pays non demandé ; si le pool actuel ne contient aucune correspondance, la response renvoie code: "no_eligible_proxy" avec le périmètre normalisé dans details.exitCountries afin que vous puissiez réessayer plus tard sans assouplir la contrainte. Une sortie premium respecte également cette liste : avec exitClass: premium, une sortie premium part de l'un de vos pays sélectionnés, et exitCountry dans la response en indique le nom. Le ciblage géographique par pays est inclus à partir du forfait Startup. Sur un forfait ne disposant pas de cette option, tout appel envoyant exitCountries est rejeté avec un code 403 et X-FourA-Limit: plan_limit_feature.

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 5,
    "exitCountries": ["CZ", "GB"],
    "request": {"method": "GET", "url": "https://target.example/pricing"}
  }'

La response inclut exitCountry lorsque le scoping a été demandé. Vérifiez qu'elle appartient à votre allowlist avant de faire confiance au payload, puis réutilisez l'ID proxy renvoyé pour chaque appel Browser ultérieur afin que le rendu JavaScript s'exécute via la même sortie.

FourA vous indique ce qui vous a bloqué

Vous n'avez pas à deviner quel système a bloqué une request. Lorsqu'une cible exécute une vérification de bot, la response le nomme.

  • POST /api/single/ et POST /api/proxy/ renvoient un objet defense : defense.vendor correspond au système, defense.solved indique si le contrôle a été validé, et defense.present liste tout ce qui a été détecté sur cette response.
  • POST /api/browser/ renvoie defenseSolved ainsi que defenses.present et defenses.cleared.
{
  "status": 200,
  "data": "<!doctype html>...",
  "defense": {
    "vendor": "sgcaptcha",
    "solved": true,
    "present": ["sgcaptcha"],
    "cookie": "_I_=<clearance>"
  }
}

Deux règles en découlent :

  1. solved: false signifie que le corps de la réponse peut être le challenge et non la page. FourA ne présente jamais une page de challenge comme du contenu, vérifiez donc cet indicateur avant d'analyser la réponse.
  2. Une résolution vous transmet l'autorisation d'accès. Lorsque defense.cookie est présent, renvoyez-le dans un header Cookie sur le même point de sortie avec le même User-Agent, et les requêtes suivantes ignoreront totalement la vérification.

FourA identifie les systèmes de vérification courants, y compris les contrôles internes d'eBay, Reddit et Amazon. La détection va plus loin que la simple résolution : un système que nous pouvons nommer sans pouvoir le résoudre est signalé et n'augmente jamais le coût de la requête. Lorsque la page renvoyée est la page de vérification de ce système, même avec un statut HTTP 200, la requête n'est pas facturée et le header X-FourA-Check-Page la nomme. Consultez Vérifications de sites pour chaque champ, la distinction actuelle entre détection et résolution, ainsi qu'un exemple de rejeu.

La page à bouton unique "continue shopping" d'Amazon est traitée automatiquement pour vous plutôt que résolue. Single, Proxy et Browser cliquent sur le bouton depuis le même point de sortie et renvoient la véritable page. Avec unblocker activé (par défaut), Single et Proxy le signalent dans defense comme retry: "amazon-continue" avec solved: false, sans modifier le prix. La vérification JavaScript légère de Reddit fonctionne de la même manière sur Single et Proxy : ils y répondent sur le même point de sortie, renvoient la véritable page et signalent retry: "reddit-js-check" avec solved: false au même tarif.

Stratégie par niveau de protection

Protection inconnue

Utilisez auto. Il démarre sur un proxy avec rotation et ne monte en charge que si la cible l'impose, ce qui vous permet de ne payer la phase de découverte qu'une seule fois par hôte.

Protection faible (la plupart des sites)

Utilisez l'endpoint single avec unblocker. La correspondance au niveau réseau suffit.

curl -X POST https://eu.api.foura.ai/api/single/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'

Moyen : page de challenge ou pare-feu basique

Utilisez l'endpoint browser pour passer les challenges JavaScript :

curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'

Élevé : vérifications de comportement et d'empreinte

Utilisez l'endpoint proxy avec plusieurs tentatives de nouvel essai :

curl -X POST https://eu.api.foura.ai/api/proxy/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 10,
    "request": {
      "method": "GET",
      "url": "https://heavily-protected.com/prices",
      "unblocker": true
    }
  }'

Pour les pages de défi enchaînées ("Just a moment", un point de contrôle de sécurité) où vous avez besoin de la page rendue une fois le défi résolu, consultez les recettes MCP. La recette "Page protégée : proxy d'abord, navigateur lorsque JavaScript est nécessaire" montre le passage exact du proxy au navigateur.

Bonnes pratiques

  1. Commencez par auto pour les cibles inconnues. Transmettez une règle validate, laissez l'échelle sélectionner l'échelon le moins cher, puis lisez meta.rung dans la réponse pour identifier le moteur qui a fonctionné. Une fois que vous le savez, appelez directement ce moteur pour le trafic récurrent.

  2. Réutilisez la session gagnante. Après un appel auto, le session renvoyé (proxy ID + cookies + userAgent) peut être rejoué via /api/single/ ou /api/browser/ pour les pages suivantes sur le même hôte, au tarif propre de cet endpoint : 2 crédits sur Single avec unblocker, 5 sur Browser (10 lorsque l'appel valide une étape de vérification requise par la page).

  3. Respectez les rate limits. Même avec la rotation des proxys, l'envoi de centaines de requêtes par seconde vers un seul site déclenchera une détection comportementale. Espacez vos requêtes d'au moins 1 à 2 secondes.

  4. Laissez unblocker activé. Sur Single et Proxy, unblocker: true (par défaut) ajoute des headers de navigateur réalistes. Sur Browser, il active le résolveur de défis. Désactivez-le uniquement si vous avez expressément besoin d'une requête sans headers ajoutés ou d'une page de défi brute.

  5. Surveillez les taux de réussite. Consultez les métriques du Dashboard pour suivre votre taux de réussite dans le temps. Une chute soudaine signifie généralement que le site cible a mis à jour sa protection.

  6. Ignorez les sorties brûlées. Si un appel /api/proxy/ ou /api/auto/ a renvoyé un proxy ID qui a ensuite commencé à échouer, transmettez-le dans ignoreProxies lors de l'appel suivant afin que FourA choisisse une sortie différente.

  7. Lisez defense avant de réessayer. Le nom du fournisseur vous indique s'il vaut la peine d'essayer un autre profil de navigateur, si vous avez besoin d'un rendu complet ou si le contrôle est un obstacle que personne ne franchit sans service de résolution.

  8. Modifiez le navigateur présenté. Certaines cibles acceptent un navigateur et en refusent un autre. Définissez browser, os ou version sur Single et Proxy, et consultez GET /api/profiles pour obtenir le catalogue actuel. Plus de détails dans la référence de l'endpoint.

Limites

Certains scénarios nécessitent un traitement supplémentaire en dehors de l'API :

  • Contenu protégé par authentification : FourA ne gère pas les connexions persistantes à votre place. L'endpoint browser accepte cookies par request; transmettez vous-même vos cookies de session.
  • Tâches de vérification interactives : FourA identifie les défis visuels et les signale dans defense.present, mais ne les résout pas. Turnstile est pris en charge par Browser.
  • Contenu restreint à certains pays : utilisez exitCountries sur /api/proxy/ pour restreindre la sélection aux pays autorisés. Les sites qui vérifient également le réseau auquel appartient une adresse (certains sites de paris agréés par un pays, certains services gouvernementaux) peuvent tout de même refuser les sorties provenant du bon pays. Avec exitClass: premium et un seul pays dans exitCountries, une sortie premium peut également provenir d'une région, d'une ville ou d'un réseau que vous désignez : voir Emplacement de sortie. Lorsque le pool ne dispose d'aucune sortie dans les pays autorisés, la request renvoie no_eligible_proxy.
  • Sites soumis à des restrictions légales : veillez toujours à ce que votre collecte de données respecte les conditions d'utilisation du site cible ainsi que les lois applicables.

Prochaines étapes

Mis à jour : 11 novembre 2026