OddFeeds gère un flux de cotes sportives en direct. Il collecte les cotes de paris auprès de dizaines de sources en temps réel et les fournit sous la forme d'un flux unique mis à jour en continu.
Ce flux alimente OddStorm, une plateforme d'arbitrage sportif qui analyse les cotes pour détecter des opportunités d'arbitrage. L'arbitrage ne pardonne rien: un prix qui arrive avec une seconde de retard, ou légèrement erroné, n'est pas simplement un problème visuel. Il génère des millions d'arbitrages incorrects. Le flux a donc une exigence stricte et permanente: rester rapide et précis, en continu, sur chaque source.
Les deux appartiennent à OddStorm.Company, un groupe de données sportives et d'arbitrage. Voici comment OddFeeds exécute son pipeline sur FourA.
Plus de 250 millions de requêtes par mois. Environ 50 téraoctets de trafic. Réanalysé toutes les une à deux secondes. Zéro crédit pour une requête échouée.
Scanner le marché toutes les une à deux secondes
Les cotes évoluent en permanence, OddFeeds les relit donc toutes les une à deux secondes sur des dizaines de sources. À cette cadence, les volumes grimpent vite: plus de 250 millions de requêtes par mois, et environ 50 téraoctets de trafic. Beaucoup de ces sources sont protégées par des systèmes anti-bot avancés, là où la plupart des architectures de scraping commencent à perdre de l'argent.
Pourquoi l'approche habituelle échoue ici
À ce volume, la facture explose, et tout dépend du modèle de tarification de l'outil. Certains facturent à la tentative: chaque blocage rencontré est de l'argent dépensé pour rien, et sur des centaines de millions de requêtes, les échecs peuvent à eux seuls dépasser la dépense utile. D'autres facturent à la bande passante, ce qui semble économique jusqu'à ce que le trafic devienne massif: à un tarif de 0,30 $ par Go, 50 téraoctets par mois représentent 15 000 $ par mois, soit 180 000 $ par an, avant même de compter le moindre blocage. En plus de ces modèles, les sources les plus complexes nécessitent un navigateur réel et un chemin réseau propre pour se charger, et appliquer cela à chaque requête devient lent et coûteux. Un pipeline qui lit le marché chaque seconde ne peut pas se permettre ces surcoûts.
Ne payez que pour ce qui fonctionne
Sur FourA, une requête échouée coûte zéro crédit. Seule une réponse valide et délivrée est facturée. Cette règle unique transforme la structure des coûts: les blocages, les timeouts et les retries cessent de s'accumuler, et la dépense suit les données réellement reçues par OddFeeds. À cette échelle, ramener le coût de l'échec à zéro fait la différence entre un coût mensuel prévisible et une facture qui dérive au gré de chaque source.
Utiliser la méthode la plus légère possible
FourA n'envoie pas chaque requête de la même manière. Les sources simples sont lues directement par le moteur de requêtes léger. Lorsqu'une source résiste, l'endpoint proxy doté d'un profil de navigateur récupère la grande majorité des pages par lui-même, sans lancer de navigateur. Pour la plupart des sources protégées, cela suffit largement, tout en restant économique.
Seules les sources les plus complexes nécessitent le moteur de navigateur, et même dans ce cas, une seule fois suffit. Il charge le site comme le ferait un vrai navigateur et établit une session valide et débloquée. Cette session est ensuite transmise au moteur léger, qui la réutilise pour récupérer de nouvelles cotes des milliers de fois pour une fraction du coût.
Le chemin le plus coûteux est donc à la fois rare et payé une seule fois, puis amorti sur une longue série de lectures peu coûteuses. Le graphique ci-dessous illustre l'une de ces sessions plus difficiles : une seule requête coûteuse pour l'établir, suivie d'une longue traîne d'actualisations économiques.
Auto, l'endpoint one-shot de FourA qui prend une URL et renvoie le contenu, est utilisé pour la phase de découverte lorsqu'OddFeeds cartographie une nouvelle source. Le pipeline de production pilote directement les endpoints de base request, proxy et browser, orchestrés pour maintenir un coût par enregistrement faible.
Rester fiable face aux blocages des sources
Les sources ont des comportements différents. Certaines ne diffusent les cotes qu'à certains pays. D'autres déclenchent un challenge à chaque visite. FourA achemine chaque request via une sortie adaptée et le moteur approprié, afin que le flux continue d'arriver sans intervention manuelle pour réajuster la configuration par source. L'objectif n'est pas la complexité technique en soi. Il s'agit d'un pipeline de données solide qui reste opérationnel et précis pendant que les sources évoluent constamment.
Le résultat
OddFeeds gère un flux de cotes en direct représentant plus de 250 millions de requests et 50 téraoctets par mois, actualisé toutes les une à deux secondes, avec un coût indexé sur les données obtenues avec succès plutôt que sur les tentatives ou les blocages. Les sources complexes sont résolues une fois puis lues à faible coût, et les échecs ne coûtent rien. C'est ce qui permet à un flux de cette envergure de rester à la fois rapide et abordable.
Construisez votre pipeline sur la même infrastructure
FourA est la plateforme utilisée par OddFeeds: payez uniquement pour les requests réussies, résolvez les sources complexes une seule fois, et montez en charge sans que votre facture n'augmente avec vos échecs. Commencez gratuitement ou consultez les tarifs.