Highlights
Viele Websites liefern ihre Startseite an jeden aus und sperren alles, was einen Klick tiefer liegt. Auto geht jetzt durch den Haupteingang: Es übernimmt die Session, die die Einstiegsseite vergibt, und fordert damit die gewünschte Seite an. Browser hat diese Woche die schwerere Arbeit übernommen. Er löst Checkbox-Prüfungen einer Website, wenn mehrere Requests dieselbe Seite gleichzeitig aufrufen. Bleibt eine Seite verschlossen, meldet er genau, was er vorgefunden hat, statt nur ein einziges Wort.
Neuheiten
Auto öffnet Seiten, die hinter einer Session liegen
Ein eBay-Angebot blockiert einen Cold-Request über jede unserer Routen. Dieselbe URL öffnet sich, sobald der Request das Cookie-Jar mitsendet, das die Einstiegsseite von eBay jedem Besucher mitgibt. Kein Login, kein geliehener Account, nichts, was du nicht manuell in einem Tab machen könntest.
Auto übernimmt das jetzt für dich. Wenn ein Exit den Origin erreicht und die tiefere Seite dennoch verweigert wird, ruft Auto die Root-URL über denselben Exit ab, behält alle zurückgegebenen Cookies und fragt erneut an. Die Response zeigt dir, was passiert ist: Die erfolgreiche Stufe lautet warmup.
Der interessante Teil sind die Kosten. Die Session ist portabel, das Jar ist also nicht an den Exit gebunden, der es geholt hat. Folgeaufrufe laufen als Replay über /api/proxy und landen bei /api/single für 2 Credits. Das ist dieselbe Escalate-then-Replay-Kette, über die wir für Cloudflare-Clearance geschrieben haben, wobei die Session-Cookies des Anbieters an die Stelle von cf_clearance treten.
Gezielt begrenzt: zwei Versuche pro Request, über verschiedene Exits, erst nachdem die tiefe URL bereits fehlgeschlagen ist, und nur wenn der Exit den Origin überhaupt erreicht hat. Blockiert uns eine Website komplett, fallen also einmalig zwei zusätzliche Sub-Calls an, keine Endlosschleife. Mehr zur Stufenauswahl findest du in unserem Auto-Artikel.
Browser löst Checkbox-Challenges bei überlappenden Requests
Browser schließt die Checkbox-Prüfung jetzt bei parallelen Requests auf dieselbe Seite ab. Drei gleichzeitige Requests auf einer Nachrichtenseite hinter Turnstile: 5,2 s, 5,8 s, 9,1 s.
Zwei kleinere Änderungen kamen mit. Ein Klick zählt erst, wenn das Widget tatsächlich verschwunden ist, da Cloudflare Challenges öfter neu ausstellt, als man denkt (der erste Klick beendet den Vorgang oft noch nicht). Und eine erfolgreich gelöste Seite meldet defenseSolved: true bei dem Call, der sie gelöst hat. Genau dieser Call wird für den Solve abgerechnet.
Eine blockierte Seite meldet, was der Solver gesehen hat
"Timeout" deutet auf Latenz hin. Meistens ist Latenz nicht das Problem und die Lösung liegt einen Exit weiter.
Lehnt der Prüfdienst einen Versuch ab, stellt er die Prüfung neu aus und legt einen eigenen Retry-Marker ins Jar. Browser liest diesen Marker aus. Statt das Timeout abzuwarten, antwortet er nach etwa 17 Sekunden mit dem Namen des Anbieters, den ausgeführten Klicks und der Information, ob Clearance erteilt wurde:
Timeout after 12s: the cloudflare challenge did not complete from this exit
(2 checkbox presses, clearance granted, challenge re-issued by the site)
Eine dieser Zeilen sagt dir, dass du den Request anders senden sollst. Die andere sagt dir gar nichts.
Fehler auf API-Ebene sind jetzt ebenfalls eindeutiger. Ein Request, der das Zeitlimit überschreitet, liefert ein Timeout. Ein Dienst, den wir nicht erreichen können, gilt als nicht verfügbar. Keiner von beiden wird als Proxy-Problem deklariert, wenn der Request überhaupt keinen Proxy verwendet hat. timeout_ms bei einem Browser-Aufruf wird bis zu den vollen 120 Sekunden berücksichtigt, die die API akzeptiert. Ein langsames Ziel erhält also das von dir festgelegte Zeitbudget, und du siehst das direkte Ergebnis der Engine statt das des Gateways. Die Parameter findest du in der API-Referenz.
Rechnungsdetails und Rechnungskorrekturen im Ausstellungsmonat
Bulgarische Rechnungen führen im Empfängerfeld einen Unternehmensvertreter (MOL) auf. Da das System diesen Wert bisher nicht erfasst hat, blieb diese Zeile immer leer. Unter Rechnungsdetails gibt es dieses Feld nun.
Die Rechnungstabelle bietet zudem die Option "Details aktualisieren" für Rechnungen, die noch im Ausstellungsmonat liegen und deren gespeicherte Daten von deinem aktuellen Abrechnungsprofil abweichen. Der Dialog listet jedes geänderte Feld mit dem neuen Wert auf und stellt klar, dass Rechnungsnummer, Daten und Beträge unverändert bleiben. Deine Bestätigung gilt als Zustimmung und wird bei uns protokolliert. Bei einer Rechnung im Zeitfenster ohne Änderungsbedarf steht "Bearbeitbar bis" samt Datum. So ist das Zeitfenster direkt ersichtlich, statt erst im Nachhinein aufzufallen.
Unter der Haube
Jedes Skript, das das Dashboard ausführt, wird von unserem eigenen Origin ausgeliefert, und die Anmeldung leitet dich ausschließlich auf einen Pfad dieser Website weiter.
Rollouts des Rendering-Dienstes erfolgen Server für Server. Jeder Server muss eine echte Seite ausliefern, bevor der nächste aktualisiert wird.
Im Status-Portal liefert der issues-Endpoint offene und behobene Vorfälle über die öffentliche API aus, identisch zur Anzeige auf der Seite.
Eine Ablehnung mit klarer Ursache kostet dich einen Aufruf. Eine Wartezeit, die mit einem einfachen "Timeout" endet, lässt dich raten, was als Nächstes zu tun ist, und kostet genauso viel. Fehler sind Teil des Produkts, und ab dieser Woche behandeln wir sie auch so.