OddFeeds opera un feed de cuotas deportivas en vivo. Recopila cuotas de apuestas de docenas de fuentes en tiempo real y las entrega como un flujo continuamente actualizado.
Ese flujo alimenta a OddStorm, una plataforma de arbitraje deportivo que analiza las cuotas para encontrar oportunidades de arbitraje. El arbitraje no perdona: un precio que llega un segundo tarde, o ligeramente incorrecto, no solo se ve mal. Se convierte en millones de arbitrajes incorrectos. Por lo tanto, el feed tiene un requisito estricto que nunca cambia: mantenerse rápido y preciso, continuamente, en cada fuente.
Ambos pertenecen a OddStorm.Company, un grupo de datos deportivos y arbitraje. Así es como OddFeeds ejecuta su pipeline en FourA.
Más de 250 millones de requests al mes. Alrededor de 50 terabytes de tráfico. Reescaneado cada uno o dos segundos. Cero créditos por cada request fallido.
Escanear el mercado cada uno o dos segundos
Las cuotas cambian constantemente, por lo que OddFeeds las vuelve a leer cada uno o dos segundos a través de docenas de fuentes. A ese ritmo, los números crecen rápido: más de 250 millones de requests al mes y alrededor de 50 terabytes de tráfico. Muchas de esas fuentes están protegidas por sistemas avanzados de gestión de bots, que es donde la mayoría de las arquitecturas de scraping empiezan a perder dinero.
Por qué el enfoque habitual falla aquí
La factura se acumula a este volumen, y depende de cómo cobre cada herramienta. Algunas cobran por intento, por lo que cada bloqueo que encuentras es dinero gastado para nada, y con cientos de millones de requests, los intentos fallidos por sí solos pueden superar el gasto útil. Otras cobran por ancho de banda, lo que parece barato hasta que el tráfico es grande: a una tarifa de $0.30 por GB, 50 terabytes al mes equivalen a $15,000 mensuales, o $180,000 al año, antes de contar un solo bloqueo. Además de cualquiera de los dos modelos, las fuentes más difíciles necesitan un navegador real y una ruta de red limpia para cargar, y hacer eso para cada request es lento y costoso. Un pipeline que lee el mercado cada segundo no puede permitirse estos costos añadidos.
Paga solo por lo que funciona
En FourA, un request fallido cuesta cero créditos. Solo se cobra una response entregada y válida. Esa simple regla cambia por completo la factura: los bloqueos, timeouts y retries dejan de acumularse, y el costo se ajusta a los datos que OddFeeds realmente recibe. A esta escala, reducir el precio del fallo a cero marca la diferencia entre un costo mensual predecible y uno que se dispara con cada fuente.
Usa el método más ligero que funcione
FourA no envía cada request de la misma manera. Las fuentes sencillas se leen directamente con el motor ligero de requests. Cuando una fuente presenta bloqueos, el endpoint de proxy con un perfil de navegador obtiene la gran mayoría de las páginas por sí mismo, sin necesidad de un navegador. Para la mayoría de las fuentes protegidas eso es suficiente, y se mantiene económico.
Solo las fuentes más difíciles necesitan el motor del navegador, e incluso entonces solo una vez. Carga el sitio como lo hace un navegador real y establece una sesión válida y autorizada. Esa sesión se devuelve luego al motor ligero, que la reutiliza para obtener cuotas actualizadas miles de veces a una fracción del costo.
Así, la ruta costosa es poco frecuente y se paga solo una vez, para luego distribuirse a lo largo de una serie prolongada de lecturas económicas. El gráfico de abajo muestra una de esas sesiones más difíciles: una única request costosa para establecerla, seguida de una larga cola de actualizaciones económicas.
Auto, el endpoint one-shot de FourA que toma una URL y devuelve contenido, se utiliza para el descubrimiento cuando OddFeeds mapea una nueva fuente. El pipeline de producción controla directamente los endpoints principales de request, proxy y browser, orquestados para mantener bajo el costo por registro.
Mantener la confiabilidad cuando las fuentes responden con bloqueos
Las fuentes se comportan de forma distinta. Algunas solo ofrecen cuotas a determinados países. Otras desafían cada visita. FourA enruta cada request a través de una salida adecuada y el motor correcto, para que el feed siga fluyendo sin que una persona tenga que reajustarlo para cada fuente. El objetivo no es la complejidad técnica por sí misma. Es un pipeline de datos legítimo que se mantiene activo y preciso mientras las fuentes a su alrededor cambian constantemente.
El resultado
OddFeeds opera un feed de cuotas en vivo con más de 250 millones de requests y 50 terabytes al mes, actualizado cada uno o dos segundos, con un costo que escala con los datos exitosos y no con los intentos o bloqueos. Las fuentes complejas se resuelven una vez y se leen a bajo costo a partir de ahí, y las fallas no cuestan nada. Eso es lo que permite que un feed de este tamaño se mantenga rápido y accesible económicamente.
Construye tu pipeline sobre la misma infraestructura
FourA es la plataforma sobre la que se ejecuta OddFeeds: paga solo por requests exitosos, resuelve fuentes complejas una sola vez y escala sin que tu factura crezca con tus fallas. Comienza gratis o consulta los precios.