OddFeeds betreibt einen Live-Feed für Sportwetten-Quoten. Er sammelt Wettquoten aus Dutzenden von Quellen in Echtzeit und liefert sie als einen kontinuierlich aktualisierten Stream.
Dieser Stream speist OddStorm, eine Plattform für Sportwetten-Arbitrage, die Quoten analysiert, um Arbitrage-Möglichkeiten zu finden. Arbitrage verzeiht keine Fehler: Ein Preis, der eine Sekunde zu spät oder leicht fehlerhaft ankommt, sieht nicht nur schlecht aus. Er führt zu Millionen fehlerhafter Arbitragen. Daher hat der Feed eine strikte Anforderung, die niemals gelockert wird: schnell bleiben und präzise bleiben, kontinuierlich, über jede Quelle hinweg.
Beide gehören zu OddStorm.Company, einer Gruppe für Sportdaten und Arbitrage. So betreibt OddFeeds seine Pipeline auf FourA.
Mehr als 250 Millionen Requests pro Monat. Rund 50 Terabyte Traffic. Alle ein bis zwei Sekunden neu gescannt. Null Credits für einen fehlgeschlagenen Request.
Den Markt alle ein bis zwei Sekunden scannen
Quoten ändern sich ständig, daher liest OddFeeds sie alle ein bis zwei Sekunden über Dutzende von Quellen hinweg neu ein. Bei dieser Frequenz wachsen die Zahlen schnell: mehr als 250 Millionen Requests pro Monat und rund 50 Terabyte Traffic. Viele dieser Quellen liegen hinter strengem Bot-Management. Genau hier beginnen die meisten Scraping-Setups, Geld zu verbrennen.
Warum der übliche Ansatz hier scheitert
Die Rechnung summiert sich bei diesem Volumen massiv, abhängig vom Abrechnungsmodell des Tools. Einige rechnen pro Versuch ab: Jeder Block, auf den du stößt, kostet Geld für nichts. Bei Hunderten Millionen Requests können fehlgeschlagene Versuche allein die nützlichen Ausgaben übersteigen. Andere rechnen nach Bandbreite ab, was günstig wirkt, bis der Traffic groß wird: Bei 0,30 $ pro GB summieren sich 50 Terabyte im Monat auf 15.000 $ monatlich oder 180.000 $ pro Jahr, noch bevor ein einziger Block gezählt ist. Zusätzlich erfordern die schwierigsten Quellen einen echten Browser und einen sauberen Netzwerkpfad, um überhaupt zu laden. Das für jeden Request zu tun, ist langsam und teuer. Eine Pipeline, die den Markt sekündlich einliest, kann sich diese Extrakosten nicht leisten.
Zahle nur für das, was funktioniert
Auf FourA kostet ein fehlgeschlagener Request null Credits. Nur eine erfolgreich gelieferte, valide Response wird abgerechnet. Diese eine Regel verändert die gesamte Kostenstruktur: Blöcke, Timeouts und Retries fallen nicht mehr ins Gewicht, und die Kosten richten sich rein nach den Daten, die OddFeeds tatsächlich empfängt. Bei dieser Größenordnung ist der Nullpreis für Fehlschläge der Unterschied zwischen planbaren monatlichen Kosten und Ausgaben, die mit jeder Quelle schwanken.
Nutze die leichteste Methode, die funktioniert
FourA sendet nicht jeden Request auf dieselbe Weise. Einfache Quellen werden direkt von der leichtgewichtigen Request-Engine gelesen. Wenn eine Quelle blockiert, ruft der Proxy-Endpoint mit einem Browser-Profil den Großteil der Seiten eigenständig ab, ganz ohne echten Browser. Für die meisten geschützten Quellen reicht das völlig aus, und es bleibt günstig.
Nur die schwierigsten Quellen benötigen die Browser-Engine, und selbst dann nur einmal. Sie lädt die Seite wie ein echter Browser und baut eine gültige, freigegebene Session auf. Diese Session wird dann an die schlanke Engine zurückgegeben, die sie wiederverwendet, um frische Quoten tausende Male zu einem Bruchteil der Kosten abzurufen.
Der teure Pfad ist also selten, fällt nur einmal an und verteilt sich dann über eine lange Reihe günstiger Lesezugriffe. Das Diagramm unten zeigt eine dieser schwierigeren Sessions: ein einzelner, aufwendiger Request zum Aufbau, gefolgt von einer langen Reihe kostengünstiger Aktualisierungen.
Auto, der One-Shot-Endpoint von FourA, der eine URL entgegennimmt und Inhalte zurückgibt, wird für das Discovery genutzt, wenn OddFeeds eine neue Quelle kartiert. Die Production-Pipeline steuert die Core-Request-, Proxy- und Browser-Endpoints direkt an, orchestriert für minimale Kosten pro Datensatz.
Zuverlässig bleiben, wenn Quellen abwehren
Quellen verhalten sich unterschiedlich. Manche liefern Quoten nur für bestimmte Länder aus. Andere fordern jeden Besuch heraus. FourA leitet jeden Request über einen passenden Exit und die richtige Engine, damit der Feed ohne manuelles Nachjustieren pro Quelle weiterläuft. Das Ziel ist keine Spielerei um ihrer selbst willen. Es ist eine funktionierende Daten-Pipeline, die stabil und präzise bleibt, während sich die Quellen ringsherum ständig ändern.
Das Ergebnis
OddFeeds betreibt einen Live-Quoten-Feed mit mehr als 250 Millionen Requests und 50 Terabyte pro Monat, aktualisiert alle ein bis zwei Sekunden, mit Kosten, die mit erfolgreichen Daten skalieren statt mit Fehlversuchen oder Sperren. Schwierige Quellen werden einmal gelöst und danach günstig ausgelesen. Fehlversuche kosten nichts. Genau das macht einen Feed dieser Größe gleichzeitig schnell und bezahlbar.
Baue deine Pipeline auf derselben Infrastruktur auf
FourA ist die Plattform, auf der OddFeeds läuft: Zahle nur für erfolgreiche Requests, löse schwierige Quellen einmal und skaliere, ohne dass deine Rechnung mit deinen Fehlern skaliert. Kostenlos starten oder Preise ansehen.