OddFeeds executa um feed de odds esportivas ao vivo. Ele coleta odds de apostas de dezenas de fontes em tempo real e as entrega como um único stream atualizado continuamente.
Esse stream alimenta o OddStorm, uma plataforma de arbitragem esportiva que lê as odds para encontrar oportunidades de arbitragem. A arbitragem é implacável: um preço que chega um segundo atrasado, ou ligeiramente errado, não apenas parece ruim. Ele se transforma em milhões de arbitragens incorretas. Portanto, o feed tem um requisito rígido que nunca é relaxado: manter-se rápido e preciso, continuamente, em todas as fontes.
Ambos pertencem ao OddStorm.Company, um grupo de dados e arbitragem esportiva. É assim que o OddFeeds executa seu pipeline na FourA.
Mais de 250 milhões de requests por mês. Cerca de 50 terabytes de tráfego. Reescaneado a cada um ou dois segundos. Zero créditos por um request falho.
Escaneando o mercado a cada um ou dois segundos
As odds se movem constantemente, então o OddFeeds as relê a cada um ou dois segundos em dezenas de fontes. Nessa cadência, os números ficam grandes rápido: mais de 250 milhões de requests por mês e cerca de 50 terabytes de tráfego. Muitas dessas fontes ficam atrás de um gerenciamento sério de bots, que é onde a maioria das configurações de scraping começa a perder dinheiro.
Por que a abordagem usual quebra aqui
A conta se acumula neste volume e depende de como uma ferramenta cobra. Algumas cobram por tentativa, então cada bloqueio que você atinge é dinheiro gasto à toa, e em centenas de milhões de requests, apenas as tentativas falhas podem superar o gasto útil. Outras cobram por largura de banda, o que parece barato até o tráfego ficar grande: a uma taxa de US$ 0,30 por GB, 50 terabytes por mês equivalem a US$ 15.000 por mês, ou US$ 180.000 por ano, antes que um único bloqueio seja contado. Além de qualquer um dos modelos, as fontes mais difíceis precisam de um navegador real e um caminho de rede limpo para carregar, e fazer isso para cada request é lento e caro. Um pipeline que lê o mercado a cada segundo não pode arcar com essas taxas.
Pague apenas pelo que funciona
Na FourA, um request falho custa zero créditos. Apenas um response válido e entregue é cobrado. Essa única regra muda a forma da conta: bloqueios, timeouts e tentativas param de se somar, e o custo acompanha os dados que o OddFeeds realmente recebe. Nesta escala, mover o preço da falha para zero é a diferença entre um custo mensal previsível e um que varia com cada fonte.
Use o método mais leve que funcionar
A FourA não envia todo request da mesma maneira. Fontes fáceis são lidas diretamente pelo motor leve de request. Quando uma fonte resiste, o endpoint de proxy com o desbloqueador ativado limpa a grande maioria das defesas anti-bot por conta própria, sem um navegador. Para a maioria das fontes protegidas isso é suficiente, e continua barato.
Apenas as fontes mais difíceis precisam do motor de navegador e, mesmo assim, apenas uma vez. Ele carrega o site da mesma forma que um navegador real e estabelece uma sessão válida e liberada. Essa sessão é então devolvida ao motor leve, que a reutiliza para extrair novas probabilidades milhares de vezes por uma fração do custo.
Portanto, o caminho caro é raro e pago apenas uma vez, sendo depois distribuído por uma longa série de leituras baratas. O gráfico abaixo mostra uma dessas sessões mais difíceis: uma única request custosa para estabelecê-la, seguida por uma longa cauda de atualizações baratas.
Auto, o endpoint de disparo único da FourA que recebe uma URL e retorna o conteúdo, é usado para descoberta quando o OddFeeds mapeia uma nova fonte. O pipeline de produção aciona os endpoints principais de request, proxy e browser diretamente, orquestrados para manter o custo por registro baixo.
Mantendo a confiabilidade quando as fontes resistem
As fontes se comportam de maneira diferente. Algumas fornecem odds apenas para determinados países. Algumas impõem desafios em cada visita. A FourA roteia cada request através de uma saída apropriada e do motor correto, para que o feed continue fluindo sem que uma pessoa precise reajustá-lo por fonte. O objetivo não é ser engenhoso por si só. É um pipeline de dados legítimo que se mantém ativo e preciso enquanto as fontes ao seu redor continuam mudando.
O resultado
O OddFeeds executa um feed de odds ao vivo com mais de 250 milhões de requests e 50 terabytes por mês, atualizado a cada um ou dois segundos, com um custo que escala com dados bem-sucedidos em vez de tentativas ou bloqueios. Fontes difíceis são resolvidas uma vez e lidas com baixo custo depois disso, e falhas não custam nada. É isso que permite que um feed desse tamanho se mantenha rápido e acessível.
Construa seu pipeline na mesma infraestrutura
A FourA é a plataforma em que o OddFeeds roda: pague apenas por requests bem-sucedidos, resolva fontes difíceis uma vez e escale sem que sua conta escale com suas falhas. Comece gratuitamente ou veja os preços.