OddFeeds betreibt einen Live-Feed für Sportwetten-Quoten. Er sammelt Wettquoten von Dutzenden Quellen in Echtzeit und liefert sie als einen kontinuierlich aktualisierten Stream.
Dieser Stream speist OddStorm, eine Sport-Arbitrage-Plattform, die Quoten liest, um Arbitrage-Möglichkeiten zu finden. Arbitrage verzeiht keine Fehler: Ein Preis, der eine Sekunde zu spät oder leicht falsch ankommt, sieht nicht nur schlecht aus. Er führt zu Millionen fehlerhafter Arbitragen. Daher hat der Feed eine strenge Anforderung, die niemals nachlässt: bleibe schnell und akkurat, kontinuierlich, über jede Quelle hinweg.
Beide gehören zur OddStorm.Company, einer Sportdaten- und Arbitrage-Gruppe. So betreibt OddFeeds seine Pipeline auf FourA.
Mehr als 250 Millionen Requests pro Monat. Etwa 50 Terabyte Traffic. Neuscannen alle ein bis zwei Sekunden. Null Credits für fehlgeschlagene Requests.
Den Markt alle ein bis zwei Sekunden scannen
Quoten ändern sich ständig, daher liest OddFeeds sie alle ein bis zwei Sekunden aus Dutzenden Quellen neu. Bei diesem Takt werden die Zahlen schnell groß: mehr als 250 Millionen Requests pro Monat und etwa 50 Terabyte Traffic. Viele dieser Quellen verbergen sich hinter strengem Bot-Management, wo die meisten Scraping-Setups anfangen, viel Geld zu verbrennen.
Warum der übliche Ansatz hier scheitert
Die Kosten explodieren bei diesem Volumen und hängen davon ab, wie ein Tool abrechnet. Manche berechnen pro Versuch, also ist jede Blockade umsonst ausgegebenes Geld. Bei Hunderten von Millionen Requests können allein die fehlgeschlagenen Versuche die nützlichen Ausgaben übersteigen. Andere berechnen nach Bandbreite, was günstig wirkt, bis der Traffic groß wird: bei einem Preis von 0,30 $ pro GB kosten 50 Terabyte pro Monat 15.000 $ monatlich oder 180.000 $ im Jahr, bevor eine einzige Blockade gezählt wird. Zusätzlich zu beiden Modellen benötigen die schwierigsten Quellen einen echten Browser und einen sauberen Netzwerkpfad, um überhaupt zu laden. Das für jeden Request zu tun, ist langsam und teuer. Eine Pipeline, die den Markt im Sekundentakt ausliest, kann sich diese Abgaben nicht leisten.
Zahle nur für das, was funktioniert
Auf FourA kostet ein fehlgeschlagener Request null Credits. Nur eine ausgelieferte, gültige Response wird berechnet. Diese einzige Regel ändert die Struktur der Rechnung: Blockaden, Timeouts und Retries summieren sich nicht mehr, und die Kosten richten sich nach den Daten, die OddFeeds tatsächlich empfängt. In dieser Größenordnung macht das Reduzieren der Fehlerkosten auf null den Unterschied zwischen planbaren monatlichen Kosten und solchen, die mit jeder Quelle schwanken.
Nutze die leichteste Methode, die funktioniert
FourA sendet nicht jeden Request auf die gleiche Weise. Einfache Quellen werden direkt von der leichtgewichtigen Request-Engine gelesen. Wenn eine Quelle blockiert, räumt der Proxy-Endpoint mit eingeschaltetem Unblocker die große Mehrheit der Anti-Bot-Verteidigungen von selbst aus dem Weg, ohne einen Browser. Für die meisten geschützten Quellen reicht das aus und es bleibt günstig.
Nur die schwierigsten Quellen benötigen die Browser-Engine, und selbst dann nur einmal. Sie lädt die Seite wie ein echter Browser und richtet eine gültige, bereinigte Session ein. Diese Session wird dann an die leichtgewichtige Engine zurückgegeben, die sie wiederverwendet, um tausende Male aktuelle Quoten zu einem Bruchteil der Kosten abzurufen.
Der teure Pfad ist also selten und wird nur einmal bezahlt, um dann auf eine lange Reihe von günstigen Lesezugriffen verteilt zu werden. Das Diagramm unten zeigt eine dieser schwierigeren Sessions: ein einzelner, teurer Request für die Einrichtung, gefolgt von einem Long Tail an günstigen Refreshes.
Auto, der One-Shot-Endpoint von FourA, der eine URL annimmt und Content zurückgibt, wird für Discovery genutzt, wenn OddFeeds eine neue Quelle mappt. Die Produktions-Pipeline steuert die Kern-Request-, Proxy- und Browser-Endpoints direkt an, orchestriert, um die Kosten pro Datensatz niedrig zu halten.
Zuverlässig bleiben, wenn Quellen abblocken
Quellen verhalten sich unterschiedlich. Manche liefern Quoten nur in bestimmte Länder. Manche prüfen jeden Besuch. FourA routet jeden Request durch einen passenden Exit und die richtige Engine, damit der Feed fließt, ohne manuelles Tuning pro Quelle. Das Ziel ist nicht Cleverness zum Selbstzweck. Es geht um eine echte Daten-Pipeline, die stabil und präzise bleibt, während sich die Quellen um sie herum ändern.
Das Ergebnis
OddFeeds betreibt einen Live-Quoten-Feed mit mehr als 250 Millionen Requests und 50 Terabyte pro Monat, aktualisiert alle ein bis zwei Sekunden. Die Kosten skalieren mit erfolgreichen Daten, nicht mit Versuchen oder Blocks. Schwierige Quellen werden einmal gelöst und danach günstig ausgelesen, und Fehlschläge kosten nichts. Nur so bleibt ein Feed dieser Größe schnell und bezahlbar.
Baue deine Pipeline auf derselben Infrastruktur
FourA ist die Plattform, auf der OddFeeds läuft: Zahle nur für erfolgreiche Requests, löse schwierige Quellen einmal und skaliere, ohne dass deine Rechnung durch Fehlschläge steigt. Kostenlos starten oder Preise ansehen.