OddFeeds opera um feed de odds esportivas em tempo real. Ele coleta odds de apostas de dezenas de fontes em tempo real e as entrega como um fluxo continuamente atualizado.
Esse fluxo alimenta o OddStorm, uma plataforma de arbitragem esportiva que lê as odds para encontrar oportunidades de arbitragem. A arbitragem não perdoa: um preço que chega com um segundo de atraso, ou ligeiramente incorreto, não gera apenas uma impressão ruim. Ele se transforma em milhões de arbitragens incorretas. Portanto, o feed tem um requisito rígido que nunca se flexibiliza: manter-se rápido e preciso, continuamente, em todas as fontes.
Ambos pertencem ao OddStorm.Company, um grupo de dados esportivos e arbitragem. É assim que o OddFeeds executa seu pipeline no FourA.
Mais de 250 milhões de requests por mês. Cerca de 50 terabytes de tráfego. Nova varredura a cada um ou dois segundos. Zero créditos por request com falha.
Varrendo o mercado a cada um ou dois segundos
As odds mudam constantemente, então o OddFeeds as lê novamente a cada um ou dois segundos em dezenas de fontes. Nessa cadência, os números crescem rápido: mais de 250 milhões de requests por mês e cerca de 50 terabytes de tráfego. Muitas dessas fontes operam atrás de sistemas avançados de proteção contra bots, que é onde a maioria das infraestruturas de scraping começa a perder dinheiro.
Por que a abordagem convencional falha aqui
A fatura aumenta nesse volume e depende de como cada ferramenta cobra. Algumas cobram por tentativa, de modo que cada bloqueio encontrado representa dinheiro gasto à toa, e em centenas de milhões de requests apenas as tentativas com falha podem superar os gastos úteis. Outras cobram por largura de banda, o que parece barato até que o volume de tráfego seja alto: a uma taxa de $0.30 por GB, 50 terabytes por mês resultam em $15.000 mensais, ou $180.000 por ano, antes de contabilizar um único bloqueio. Além de qualquer um dos modelos, as fontes mais complexas precisam de um navegador real e de uma rota de rede limpa para carregar, e fazer isso para cada request é lento e caro. Um pipeline que lê o mercado a cada segundo não pode arcar com esses custos adicionais.
Pague apenas pelo que funciona
No FourA, um request com falha custa zero créditos. Apenas uma response válida e entregue é cobrada. Essa regra isolada altera o formato da fatura: bloqueios, timeouts e tentativas adicionais deixam de se acumular, e o custo acompanha os dados que o OddFeeds realmente recebe. Nessa escala, reduzir o preço da falha a zero é a diferença entre um custo mensal previsível e um que oscila com cada fonte.
Use o método mais leve que funcionar
O FourA não envia todos os requests da mesma maneira. Fontes simples são lidas diretamente pelo motor de requests leve. Quando uma fonte impõe restrições, o endpoint de proxy com perfil de navegador obtém a grande maioria das páginas por conta própria, sem a necessidade de um navegador. Para a maioria das fontes protegidas isso é suficiente, mantendo o custo baixo.
Apenas as fontes mais difíceis precisam do motor de navegador e, mesmo assim, apenas uma vez. Ele carrega o site como um navegador real e estabelece uma sessão válida e liberada. Essa sessão é então devolvida ao motor leve, que a reutiliza para buscar cotações atualizadas milhares de vezes por uma fração do custo.
Assim, o caminho mais caro é raro e pago apenas uma vez, sendo diluído em uma longa sequência de leituras baratas. O gráfico abaixo representa uma dessas sessões mais complexas: uma única request cara para estabelecê-la, seguida por uma longa cauda de atualizações de baixo custo.
O Auto, endpoint one-shot da FourA que recebe uma URL e retorna o conteúdo, é usado para descoberta quando a OddFeeds mapeia uma nova fonte. O pipeline de produção aciona os endpoints principais de request, proxy e browser diretamente, orquestrados para manter o custo por registro baixo.
Mantendo a confiabilidade quando as fontes impõem barreiras
As fontes se comportam de maneira diferente. Algumas exibem odds apenas para determinados países. Outras desafiam cada visita. A FourA roteia cada request através de uma saída apropriada e do motor correto, mantendo o feed ativo sem a necessidade de intervenção manual para cada fonte. O objetivo não é ser engenhoso por si só. É manter um pipeline de dados legítimo que permaneça estável e preciso enquanto as fontes mudam continuamente.
O resultado
A OddFeeds opera um feed de odds em tempo real com mais de 250 milhões de requests e 50 terabytes por mês, atualizado a cada um ou dois segundos, com um custo que escala com dados bem-sucedidos em vez de tentativas ou bloqueios. Fontes complexas são resolvidas uma única vez e lidas com baixo custo em seguida, e falhas não custam nada. É isso que permite a um feed dessa escala continuar rápido e viável financeiramente.
Construa seu pipeline na mesma infraestrutura
A FourA é a plataforma sobre a qual a OddFeeds opera: pague apenas por requests bem-sucedidos, resolva fontes complexas uma vez e escale sem que sua fatura cresça com suas falhas. Comece gratuitamente ou veja os preços.