Geschützte Websites
Moderne Websites nutzen fortschrittliche Bot-Erkennung. Diese Anleitung erklärt, wie FourA dir Zugriff auf Seiten verschafft, die Anfragen überprüfen, und wie du deine Erfolgsrate steigerst.
Wie Bot-Erkennung funktioniert
Websites nutzen mehrere Schutzebenen:
- IP-Reputation: Rechenzentren und bekannte Proxy-Adressen werden blockiert
- Wire-Fingerprinting: Jeder HTTP-Client hat eine eindeutige Handshake-Signatur, die Seiten erkennen können
- Browser-Fingerprinting: JavaScript prüft auf Merkmale von Headless-Browsern
- Verhaltensanalyse: Request-Muster, Timing und Navigationsverlauf
- Verifizierungsseiten: Eine visuelle Aufgabe, die der Besucher lösen muss
Die Response nennt das System, das eine Prüfung durchgeführt hat; Website-Prüfungen listet sie auf.
Schnellster Weg: Auto
Wenn du das Schutzlevel noch nicht kennst, rufe /api/auto/ mit einem validate.data.accept-Substring auf, den nur die echte Seite enthält. Auto durchläuft eine kostenoptimierte Kaskade (ein rotierter Proxy, dann ein Browser über einen Proxy; mit forceProxy: false kommen zuerst ein günstiger direkter Test und ein direktes Browser-Rendering) und stoppt auf der ersten Stufe, die eine Response liefert, die deine Regeln akzeptieren. Bei wiederholten Aufrufen desselben Hosts wird stattdessen eine bestehende Session wiederverwendet, sodass die zweite Anfrage günstig ist.
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://protected-site.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Auto erkennt typische Challenge-Seiten und macht automatisch weiter, sobald eine auftritt. Dein validate.data.accept-String fängt den Rest ab: eine unbekannte Prüfseite, eine Login-Wall oder eine Seite, der die benötigten Inhalte fehlen. Siehe die Smart Fetch-Anleitung für die vollständige Dokumentation.
Wie FourA auf jeder Ebene hilft
Realistische Requests auf Wire-Ebene
Der zentrale Endpoint (POST /api/single/) liefert Handshake-Merkmale, die einem echten Browser entsprechen. Websites antworten wie bei einem regulären Browser, ganz ohne den Overhead einer Browser-Instanz.
Aktiviere unblocker, um zusätzlich realistische Browser-Header (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding) einzufügen. unblocker ist standardmäßig aktiv. Setze false nur, wenn du ausschließlich deine eigenen Header ohne Zusätze senden willst.
{
"method": "GET",
"url": "https://protected-site.com/data",
"unblocker": true
}
Echtes Browser-Rendering
Der Browser-Endpoint (POST /api/browser/) führt eine vollständige Chrome-Browser-Instanz aus. Er führt das JavaScript der Seite genau wie der Browser eines Besuchers aus. unblocker bei Browser schließt die Überprüfungen ab, die eine Seite vor dem Laden verlangt (Turnstile und ähnliche Abfragen). Lass dies aktiviert, es sei denn, du möchtest die Challenge-Seite unverändert zurückerhalten.
Proxy-Rotation
Der Proxy-Endpoint (POST /api/proxy/) rotiert durch den Standard-Exit-Pool von FourA. Wenn eine Website einen Exit ablehnt oder der Exit nicht antwortet, erfolgt der nächste Versuch über einen anderen Exit. Verwende ignoreProxies bei einem Folgeaufruf, um bereits verbrauchte Exits zu überspringen. Verwende maxTries (Standard 5, Maximum 90), um die Anzahl der Versuche zu steuern.
Premium-Exits werden nur verwendet, wenn ein Request dies anfordert. exitClass: "premium" erlaubt Proxy den Wechsel zu einem Premium-Exit, sobald der Standard-Pool die Seite nicht erreichen kann, sofern dein Plan Premium-Exits enthält. Der Header exitClass einer erfolgreichen Response gibt an, welcher Exit-Typ verwendet wurde. Sobald dein Premium-Traffic für den Zeitraum aufgebraucht ist, wird der Request im Standard-Pool fortgesetzt und gibt standard an. Siehe exitClass.
Länderspezifische Exits
Übergib exitCountries an /api/proxy/, um die Auswahl auf Proxys zu beschränken, deren für das Ziel sichtbares Land mit einer strikten Allowlist übereinstimmt. Werte sind zweistellige Ländercodes (["CZ", "GB"]), getrimmt, in Großbuchstaben und dedupliziert. Der Standard-Pool weicht niemals auf ein nicht angefordertes Land aus. Wenn der aktuelle Pool keine Übereinstimmung hat, gibt die Response code: "no_eligible_proxy" mit dem normalisierten Scope in details.exitCountries zurück, sodass du es später erneut versuchen kannst, ohne die Anforderung zu lockern. Ein Premium-Exit bleibt ebenfalls innerhalb der Liste: Bei exitClass: premium erfolgt der Ausgang über eines deiner Länder, und exitCountry in der Response nennt dieses. Länderspezifische Auswahl ist ab dem Startup-Plan enthalten. Bei Plänen ohne dieses Feature wird ein Aufruf mit exitCountries mit 403 und X-FourA-Limit: plan_limit_feature abgewiesen.
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"exitCountries": ["CZ", "GB"],
"request": {"method": "GET", "url": "https://target.example/pricing"}
}'
Die Response enthält exitCountry, wenn Scoping angefordert wurde. Prüfe vor dem Verarbeiten der Payload, ob sie zu deiner Allowlist gehört, und verwende dann die zurückgegebene proxy-ID bei jedem weiteren Browser-Call wieder, damit das JavaScript-Rendering über denselben Exit erfolgt.
FourA zeigt dir, was dich blockiert hat
Du musst nicht raten, welches System einen Request blockiert hat. Wenn ein Ziel einen Bot-Check durchführt, nennt die Response diesen beim Namen.
POST /api/single/undPOST /api/proxy/geben eindefense-Objekt zurück:defense.vendorist das System,defense.solvedgibt an, ob der Check bestanden wurde, unddefense.presentlistet alles auf, was in dieser Response erkannt wurde.POST /api/browser/gibtdefenseSolvedsowiedefenses.presentunddefenses.clearedzurück.
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "sgcaptcha",
"solved": true,
"present": ["sgcaptcha"],
"cookie": "_I_=<clearance>"
}
}
Daraus folgen zwei Regeln:
solved: falsebedeutet, dass der Body die Challenge sein kann, nicht die Seite. FourA gibt eine Challenge-Seite niemals als Inhalt aus, prüfe das Flag also vor dem Parsen.- Ein Solve liefert dir das Clearance. Wenn
defense.cookievorhanden ist, sende es alsCookie-Header auf demselben Exit mit demselben User-Agent zurück, und nachfolgende Requests überspringen die Prüfung vollständig.
FourA erkennt gängige Prüfsysteme, einschließlich der First-Party-Checks von eBay, Reddit und Amazon. Erkennen ist weiter gefasst als Clearen: Ein System, das wir benennen, aber nicht clearen können, wird gemeldet und erhöht niemals die Kosten des Requests. Wenn die zurückgegebene Seite die Prüfseite dieses Systems ist, selbst bei HTTP 200, wird der Request nicht abgerechnet und der X-FourA-Check-Page-Header benennt sie. Siehe Site checks für jedes Feld, die aktuelle Unterscheidung zwischen Clearen und Erkennen sowie ein Replay-Beispiel.
Amazons Ein-Klick-Seite "Weiter einkaufen" wird für dich beantwortet, statt gecleart zu werden. Single, Proxy und Browser betätigen den Button auf demselben Exit und liefern die echte Seite zurück. Wenn unblocker aktiviert ist (Standard), melden Single und Proxy dies in defense als retry: "amazon-continue" mit solved: false, und der Preis ändert sich nicht. Reddits einfacher JavaScript-Check funktioniert bei Single und Proxy genauso: Sie beantworten ihn auf demselben Exit, geben die echte Seite zurück und melden retry: "reddit-js-check" mit solved: false zum selben Preis.
Strategie nach Schutzlevel
Unbekannter Schutz
Verwende auto. Es startet auf einem rotierten Proxy und eskaliert nur so weit, wie das Ziel es erzwingt, sodass du die Erkennung nur einmal pro Host bezahlst.
Geringer Schutz (die meisten Websites)
Verwende den single-Endpoint mit unblocker. Der Abgleich auf Protokollebene reicht aus.
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'
Mittel: Challenge-Seite oder einfache Firewall
Nutze den Browser-Endpoint, um JavaScript-Challenges zu bestehen:
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'
Hoch: Verhaltens- und Fingerprint-Prüfungen
Nutze den Proxy-Endpoint mit mehreren Retry-Versuchen:
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 10,
"request": {
"method": "GET",
"url": "https://heavily-protected.com/prices",
"unblocker": true
}
}'
Für verkettete Challenge-Seiten ("Just a moment", ein Sicherheits-Checkpoint), bei denen du die gerenderte Seite nach dem Bestehen der Challenge benötigst, siehe die MCP Recipes. Das Rezept "Protected page: proxy first, browser when JavaScript is needed" zeigt die genaue Übergabe von Proxy zu Browser.
Best Practices
Starte bei unbekannten Zielen mit auto. Übergib eine
validate-Regel, lass die Stufenleiter die günstigste Option wählen und lies dannmeta.rungin der Response aus, um zu sehen, welche Engine funktioniert hat. Sobald du das weißt, rufe diese Engine für wiederholten Traffic direkt auf.Verwende die erfolgreiche Session wieder. Nach einem auto-Aufruf kann die zurückgegebene
session(Proxy-ID + Cookies + User-Agent) über/api/single/oder/api/browser/für Folgeseiten auf demselben Host wiederverwendet werden, zum regulären Preis dieses Endpoints: 2 Credits bei Single mitunblocker, 5 bei Browser (10, wenn der Aufruf einen Verifizierungsschritt abschließt, den die Seite verlangt).Beachte Rate Limits. Selbst mit Proxy-Rotation löst das Senden von Hunderten Requests pro Sekunde an eine einzelne Website Verhaltenserkennung aus. Setze den Abstand zwischen deinen Requests auf mindestens 1 bis 2 Sekunden.
Lass
unblockeraktiviert. Bei Single und Proxy fügtunblocker: true(Standard) realistische Browser-Header hinzu. Bei Browser wird der Challenge-Solver aktiviert. Deaktiviere dies nur, wenn du ausdrücklich einen Request ohne zusätzliche Header oder eine unveränderte Challenge-Seite benötigst.Überwache die Erfolgsraten. Prüfe die Dashboard-Metriken, um deine Erfolgsrate im Zeitverlauf zu verfolgen. Ein plötzlicher Abfall bedeutet meist, dass die Zielseite ihren Schutz aktualisiert hat.
Überspringe blockierte Exits. Wenn ein
/api/proxy/- oder/api/auto/-Aufruf eine Proxy-ID zurückgegeben hat, die danach fehlgeschlagen ist, übergib sie beim nächsten Aufruf inignoreProxies, damit FourA einen anderen Exit wählt.Lies
defensevor dem erneuten Versuch. Der Name des Anbieters zeigt dir, ob sich ein anderes Browser-Profil lohnt, ob du ein vollständiges Rendering benötigst oder ob die Prüfung ohne Solver-Dienst nicht gelöst werden kann.Ändere den vorgegebenen Browser. Manche Ziele akzeptieren einen bestimmten Browser und verweigern einen anderen. Setze
browser,osoderversionbei Single und Proxy, und liesGET /api/profilesfür den aktuellen Katalog aus. Details findest du in der Endpoint-Referenz.
Limits
Einige Szenarien erfordern zusätzliche Verarbeitungsschritte außerhalb der API:
- Login-geschützte Inhalte: FourA verwaltet keine langlebigen Logins für dich. Der Browser-Endpoint akzeptiert
cookiespro Request; übermittle deine Session-Cookies selbst. - Interaktive Verifizierungsaufgaben: FourA erkennt visuelle Aufgaben und meldet sie in
defense.present, schließt sie jedoch nicht ab. Turnstile wird von Browser verarbeitet. - Auf bestimmte Länder beschränkte Inhalte: Nutze
exitCountriesbei/api/proxy/, um die Auswahl auf zulässige Länder festzulegen. Websites, die zusätzlich prüfen, zu welchem Netzwerk eine Adresse gehört (einige landesweit lizenzierte Buchmacher, bestimmte Behördendienste), lehnen Exits aus dem korrekten Land eventuell dennoch ab. MitexitClass: premiumund einem einzelnen Land inexitCountrieskann ein Premium-Exit auch aus einer von dir angegebenen Region, Stadt oder einem Netzwerk erfolgen: siehe Exit-Standort. Hat der Pool keinen Exit in den erlaubten Ländern, liefert der Requestno_eligible_proxyzurück. - Websites mit rechtlichen Einschränkungen: Stelle stets sicher, dass deine Datenerfassung mit den Nutzungsbedingungen der Ziel-Website und den geltenden Gesetzen übereinstimmt.
Nächste Schritte
- Smart Fetch (Auto): Detailanalyse zu
/api/auto/ - Den richtigen Endpoint wählen: Entscheidungshilfe für Endpoints
- Häufige Probleme: 403-Fehler und Verifizierungsseiten beheben
- API-Endpoints: Vollständige Parameter-Referenz einschließlich
exitCountries - Website-Prüfungen: Das
defense-Feld, die Liste der Systeme und Clearance-Replay - MCP-Rezepte: Workflow-Vorlagen einschließlich der Kette Proxy-zuerst-dann-Browser