OddFeeds는 실시간 스포츠 배당률 피드를 운영합니다. 수십 개의 소스에서 배당률을 실시간으로 수집하여 지속적으로 업데이트되는 단일 스트림으로 제공합니다.
이 스트림은 배당률을 분석해 아비트라지 기회를 찾는 스포츠 아비트라지 플랫폼인 OddStorm으로 전달됩니다. 아비트라지는 사소한 지연도 허용하지 않습니다. 1초 늦게 도착하거나 조금이라도 잘못된 가격 정보는 단순한 오류에 그치지 않고 수백만 건의 잘못된 아비트라지로 이어집니다. 따라서 이 피드에는 절대 타협할 수 없는 엄격한 요구사항이 있습니다. 모든 소스에 걸쳐 지속적으로 빠르고 정확해야 한다는 점입니다.
두 서비스 모두 스포츠 데이터 및 아비트라지 전문 기업인 OddStorm.Company에 속해 있습니다. OddFeeds가 FourA 기반으로 파이프라인을 운영하는 방식은 다음과 같습니다.
월 2억 5천만 건 이상의 request. 약 50TB의 트래픽. 1-2초마다 재스캔. 실패한 request에는 크레딧 0원 부과.
1-2초마다 시장 스캔
배당률은 끊임없이 변하므로 OddFeeds는 수십 개 소스에서 1-2초마다 이를 다시 읽어옵니다. 이러한 주기에서는 수치가 빠르게 증가하여 월 2억 5천만 건 이상의 request와 약 50TB의 트래픽이 발생합니다. 이 소스들 중 상당수는 강력한 봇 관리 솔루션을 적용하고 있으며, 이는 대다수 스크래핑 환경에서 비용 낭비가 본격적으로 시작되는 지점입니다.
일반적인 접근 방식이 실패하는 이유
이러한 규모에서는 비용이 기하급수적으로 증가하며, 과금 방식에 따라 큰 차이가 발생합니다. 시도 횟수당 비용을 청구하는 방식의 경우 차단될 때마다 불필요한 비용이 지출되어, 수억 건의 request 규모에서는 실패한 시도 비용만으로도 유효한 지출을 초과할 수 있습니다. 대역폭 기준으로 청구하는 방식은 트래픽이 커지기 전까지는 저렴해 보이지만, GB당 $0.30 기준 월 50TB는 단 한 건의 차단이 발생하지 않더라도 월 $15,000, 연간 $180,000에 달합니다. 두 모델 모두에 더해, 가장 까다로운 소스는 정상 로드를 위해 실제 브라우저와 깨끗한 네트워크 경로가 필요하며, 이를 모든 request에 적용하는 것은 느리고 비용이 많이 듭니다. 매초 시장을 읽어오는 파이프라인은 이러한 비용 부담을 감당할 수 없습니다.
성공한 작업에만 비용 지불
FourA에서는 실패한 request에 크레딧이 전혀 부과되지 않습니다. 성공적으로 전달된 유효한 response에만 비용이 청구됩니다. 이 규칙 하나로 비용 구조가 완전히 달라집니다. 차단, timeout, 재시도로 인한 비용 누적이 사라지고, OddFeeds가 실제로 수신한 데이터에 비례하여 비용이 산정됩니다. 이러한 규모에서 실패 비용을 0으로 만드는 것은 예측 가능한 월 비용을 유지하는 것과 소스 상태에 따라 비용이 변동하는 것의 결정적인 차이입니다.
효과적인 가장 가벼운 방법 사용
FourA는 모든 request를 동일한 방식으로 전송하지 않습니다. 처리가 수월한 소스는 경량 request 엔진이 직접 읽어옵니다. 소스 측에서 차단이 발생하면, 브라우저 프로필이 적용된 proxy endpoint가 브라우저 없이도 대부분의 페이지를 독립적으로 처리합니다. 보호 수준이 높은 대부분의 소스에서도 이 방식으로 충분하며 비용 효율적으로 유지됩니다.
가장 까다로운 소스만 브라우저 엔진이 필요하며, 그마저도 한 번만 실행하면 됩니다. 실제 브라우저처럼 사이트를 로드하고 유효하게 검증된 세션을 설정합니다. 그런 다음 해당 세션을 경량 엔진으로 다시 전달하여 훨씬 저렴한 비용으로 수천 번씩 최신 배당률을 가져오는 데 재사용합니다.
따라서 비용이 많이 드는 경로는 드물게 발생하며 단 한 번만 비용을 지불한 뒤, 이후 이어지는 수많은 저비용 읽기 작업 전체로 분산됩니다. 아래 차트는 이러한 고난도 세션 중 하나를 보여줍니다. 세션을 설정하기 위한 단 한 번의 고비용 요청 이후, 저렴한 갱신 작업이 길게 이어집니다.
URL을 받아 콘텐츠를 반환하는 FourA의 원샷 엔드포인트인 Auto는 OddFeeds가 새 소스를 매핑할 때 탐색용으로 사용됩니다. 프로덕션 파이프라인은 레코드당 비용을 낮게 유지하도록 조율되어 핵심 request, proxy, 브라우저 엔드포인트를 직접 구동합니다.
소스의 차단에 대응하며 안정성 유지하기
소스마다 동작 방식이 다릅니다. 특정 국가에만 배당률을 제공하는 소스도 있고, 모든 방문마다 챌린지를 요구하는 소스도 있습니다. FourA는 각 요청을 적절한 출구와 알맞은 엔진을 통해 라우팅하므로, 소스별로 엔지니어가 직접 재조정하지 않아도 피드가 계속 원활하게 흐릅니다. 목표는 단순한 기술적 기교가 아닙니다. 주변 소스가 계속 바뀌어도 안정적으로 가동되고 정확성을 유지하는 견고한 데이터 파이프라인을 구축하는 것입니다.
결과
OddFeeds는 월 2억 5,000만 건 이상의 요청과 50테라바이트 규모의 실시간 배당률 피드를 운영하며, 1-2초마다 데이터를 갱신합니다. 비용은 시도 횟수나 차단 횟수가 아닌 성공한 데이터에 비례하여 발생합니다. 까다로운 소스는 한 번 해결한 후 저렴하게 읽어 들이며, 실패에 대해서는 비용이 청구되지 않습니다. 이것이 바로 대규모 피드를 빠르고 경제적으로 유지할 수 있는 이유입니다.
동일한 인프라에서 파이프라인 구축하기
FourA는 OddFeeds가 운영되는 기반 플랫폼입니다. 성공한 요청에 대해서만 비용을 지불하고, 까다로운 소스를 한 번에 해결하며, 실패로 인한 요금 증가 없이 규모를 확장하십시오. 무료로 시작하기 또는 요금제 확인하기.