Highlights
Viele Websites setzen ein Cookie, sobald ihre Prüfung einen Request durchlässt. Danach verweigern sie ihre eigene API jedem, der dieses Cookie nicht mitsendet. Auto liefert dieses Cookie jetzt in der Session zurück, sodass der Folgeaufruf an die API der Website über Single laufen kann. Ein fehlgeschlagener Auto-Aufruf benennt zudem die tatsächliche Antwort der Website, eine entfernte Seite beendet den Aufruf in Sekunden und Browser löst das Verifizierungs-Widget, das manche Websites auf ihrer Verweigerungsseite anzeigen.
Was gibt es Neues?
Auto liefert das Cookie zurück, das die Seite geöffnet hat
Manche Websites sichern ihre Daten doppelt ab. Die Seite lädt, sobald ein kurzer Check deinen Request durchlässt, und das dahinterliegende JSON (der Aufruf des seiteneigenen Skripts) antwortet nur, wenn du das gesetzte Cookie mitsendest. Auto liefert dieses Cookie jetzt in session.cookies zurück, damit die Session, die die Seite geöffnet hat, auch die API freischaltet.
Die Aufgabe von Auto ist es hier, einmalig den Zugang zu finden. Die Folgeaufrufe gehören auf Single, über dieselbe Proxy-ID:
import requests
H = {"X-API-Key": "pk_live_..."}
# 1) Find the route once
r = requests.post(
"https://api.foura.ai/api/auto",
headers=H,
json={"url": "https://example.com/"},
).json()
s = r.get("session") or {}
# 2) Call the site's own API on Single, with the cookie the check set
body = {
"method": "GET",
"url": "https://example.com/api/products?page=1",
"headers": [["Referer", "https://example.com/"]],
}
if s.get("proxy"):
body["proxy"] = s["proxy"]
if s.get("cookies"):
body["headers"].append(
["Cookie", "; ".join(f"{c['name']}={c['value']}" for c in s["cookies"])]
)
data = requests.post("https://api.foura.ai/api/single", headers=H, json=body).json()
Sende die Seite auch als Referer. Viele dieser APIs lehnen einen Request ohne diesen Header ab, weil das seigene Skript der Seite ihn immer mitsendet. Die Cookies sind meist kurzlebig. Wenn die API also wieder blockiert, liefert dir ein weiterer Auto-Aufruf ein frisches Cookie. Falls du nicht weisst, welchen Request die Seite absetzt: Der DevTools-Tab unserer Chrome-Extension (aktuell in der Beta) listet sie auf und kopiert jeden Request als fertigen Call (behandle einen Call samt Cookies wie ein Passwort, da er eine aktive Session enthalten kann). Wir haben das in Jeder Seiten-Request als API-Call gezeigt.
Zwei kleinere Anpassungen sind ebenfalls dabei. Ein Cookie, den du an Auto sendest, erreicht die Website nun unveraendert. Cookies einer warmen Session werden daneben nur unter Namen ergaenzt, die du nicht selbst gesendet hast. Deine Header werden jetzt auch bei den Single- und Proxy-Finder-Requests uebertragen, die Auto ausfuehrt, einschliesslich der Suche nach einem funktionierenden Exit-Knoten. Die Browser-Stufen senden sie weiterhin nicht mit. Das gesamte Muster findest du in Replay mit der Session.
Ein fehlgeschlagener Auto-Call nennt die Antwort der Website
Wenn Auto keine Route findet, willst du den Grund kennen, bevor du etwas aenderst. attemptReport bei einer fehlgeschlagenen Antwort zaehlt eine Website, die den Request abgelehnt hat (Status 401, 403, 429 oder 503 oder eine Challenge-Seite), nun unter defense, selbst wenn kein Bot-Check-Anbieter erkannt wurde. Eine entfernte Seite faellt unter statusRejected. Die Zeile summary nennt den gelieferten HTTP-Status der Website und meldet, falls dein taegliches Browser-Kontingent erschoepft war und kein Browser geoeffnet werden konnte.
Pruefe zuerst contentRejected. Dieser Zaehler bedeutet, dass die Seite zurueckkam und nur deine eigene validate-Regel sie abgelehnt hat. Das ist der Punkt, den du anpassen kannst, bevor der Job auf Single oder Browser wechselt. Die restlichen Felder findest du in Warum ein Auto-Call fehlgeschlagen ist.
Entfernte Seiten werden ebenfalls schnell beendet. Wenn eine Website fuer eine geloeschte Seite mit 410 antwortet, bricht Auto den Call in Sekunden ab, selbst wenn mehrere deiner Calls auf derselben Website warten. Wenn eine entfernte Seite fuer dich ein relevantes Ergebnis ist, fuehre 404 oder 410 in validate.status.accept auf.
Browser schliesst eigene Verifikationsschritte der Website ab
Einige Websites antworten mit einer eigenen Verweigerungsseite, etwa einem 401 oder 403 mit einem Verifikations-Widget. Browser mit unblocker: true fuehrt den geforderten Schritt des Widgets nun aus und wartet bis zu 10 Sekunden auf die Zielseite.
Nicht jeder Versuch ist erfolgreich. Blockiert die Website weiterhin, erhaeltst du nach der Wartezeit deren Check-Seite zurueck, genau wie zuvor. Dein Code benoetigt keinen neuen Branch.
Auto nutzt Browser-Requests nur dort, wo sie nuetzen
Auf manchen Websites liefern die Browser-Requests nach den ersten paar in einem Call selten die Seite zurück. Auto lernt das jetzt Website für Website. Wo Requests nach den ersten drei eines Calls fast nie funktionieren, bleibt es für den nächsten Tag bei drei pro Call, nutzt stattdessen seine anderen Routen und lernt dann erneut. Dein tägliches Browser-Kontingent reicht so weiter. Browser-Requests über Premium-Exits sind nicht limitiert, da sie auf einigen Websites der einzige Weg hinein sind.
Wenn Auto eine Browser-Route findet, spiele die zurückgegebene Session auf Browser für das Volumen ab. Dort gehört Produktions-Traffic hin.
Auf immer mehr Websites ist die Seite nicht die eigentliche Information. Sie ist der Handshake vor der API, die die Daten enthält, und Auto liefert dir jetzt beides.