OddFeeds ejecuta un feed de cuotas deportivas en vivo. Recopila cuotas de apuestas de docenas de fuentes en tiempo real y las entrega como un flujo que se actualiza continuamente.
Ese flujo alimenta a OddStorm, una plataforma de arbitraje deportivo que lee las cuotas para encontrar oportunidades de arbitraje. El arbitraje es implacable: un precio que llega un segundo tarde o con un ligero error no solo se ve mal. Se convierte en millones de arbitrajes incorrectos. Por lo tanto, el feed tiene un requisito estricto que nunca se relaja: mantenerse rápido y preciso, de forma continua, en todas las fuentes.
Ambos pertenecen a OddStorm.Company, un grupo de datos deportivos y arbitraje. Así es como OddFeeds ejecuta su pipeline en FourA.
Más de 250 millones de requests al mes. Alrededor de 50 terabytes de tráfico. Re-escaneado cada uno o dos segundos. Cero créditos por una request fallida.
Escaneando el mercado cada uno o dos segundos
Las cuotas se mueven constantemente, por lo que OddFeeds las vuelve a leer cada uno o dos segundos en docenas de fuentes. A esa cadencia los números crecen rápido: más de 250 millones de requests al mes y alrededor de 50 terabytes de tráfico. Muchas de esas fuentes se encuentran detrás de sistemas serios de gestión de bots, que es donde la mayoría de las configuraciones de scraping comienzan a perder dinero.
Por qué el enfoque habitual falla aquí
La factura se acumula a este volumen y depende de cómo cobre una herramienta. Algunas cobran por intento, por lo que cada bloqueo con el que te topas es dinero gastado para nada, y con cientos de millones de requests, solo los intentos fallidos pueden superar el gasto útil. Otras cobran por ancho de banda, lo que parece barato hasta que el tráfico es grande: a una tarifa de $0.30 por GB, 50 terabytes al mes equivalen a $15,000 al mes, o $180,000 al año, antes de contabilizar un solo bloqueo. Además de cualquiera de los dos modelos, las fuentes más difíciles necesitan un navegador real y una ruta de red limpia para poder cargar, y hacer eso para cada request es lento y costoso. Un pipeline que lee el mercado cada segundo no puede permitirse estos impuestos.
Paga solo por lo que funciona
En FourA, una request fallida cuesta cero créditos. Solo se cobra una response entregada y válida. Esa única regla cambia la forma de la factura: los bloqueos, timeouts y reintentos dejan de sumar, y el costo rastrea los datos que OddFeeds realmente recibe. A esta escala, reducir el precio del fallo a cero es la diferencia entre un costo mensual predecible y uno que varía con cada fuente.
Usa el método más ligero que funcione
FourA no envía cada request de la misma manera. Las fuentes fáciles son leídas directamente por el motor ligero de requests. Cuando una fuente opone resistencia, el proxy endpoint con el desbloqueador activado supera la gran mayoría de las defensas anti-bots por sí solo, sin necesidad de un navegador. Para la mayoría de las fuentes protegidas eso es suficiente, y se mantiene barato.
Solo las fuentes más complejas necesitan el motor de navegador, y aun así, solo una vez. Carga el sitio de la misma manera que lo hace un navegador real y establece una sesión válida y aprobada. Luego, esa sesión se devuelve al motor ligero, el cual la reutiliza para extraer nuevas cuotas miles de veces a una fracción del costo.
Por lo tanto, la ruta costosa es poco frecuente y se paga solo una vez, para luego distribuirse a lo largo de una extensa serie de lecturas económicas. El gráfico a continuación muestra una de esas sesiones más difíciles: una única request costosa para establecerla, seguida de una larga lista de actualizaciones de bajo costo.
Auto, el endpoint de un solo uso de FourA que toma una URL y devuelve contenido, se usa para el descubrimiento cuando OddFeeds mapea una nueva fuente. El pipeline de producción controla directamente los endpoints principales de request, proxy y navegador, orquestados para mantener bajo el costo por registro.
Mantener la fiabilidad cuando las fuentes se resisten
Las fuentes se comportan de manera diferente. Algunas ofrecen cuotas solo a ciertos países. Otras lanzan desafíos en cada visita. FourA enruta cada request a través de una salida adecuada y el motor correcto, para que el feed siga fluyendo sin que una persona lo reconfigure para cada fuente. El objetivo no es ser ingenioso porque sí. Es un pipeline de datos legítimo que se mantiene activo y preciso mientras las fuentes a su alrededor siguen cambiando.
El resultado
OddFeeds ejecuta un feed de cuotas en vivo con más de 250 millones de requests y 50 terabytes al mes, actualizado cada uno o dos segundos, con un costo que escala con los datos exitosos en lugar de con los intentos o bloqueos. Las fuentes difíciles se resuelven una vez y se leen de forma económica después de eso, y los fallos no cuestan nada. Eso es lo que permite que un feed tan grande se mantenga rápido y asequible.
Construye tu pipeline en la misma infraestructura
FourA es la plataforma en la que se ejecuta OddFeeds: paga solo por requests exitosos, resuelve las fuentes difíciles una vez y escala sin que tu factura escale con tus fallos. Comienza gratis o mira los precios.