OddFeeds는 라이브 스포츠 배당률 피드를 운영합니다. 수십 개의 소스에서 베팅 배당률을 실시간으로 수집하여 지속적으로 업데이트되는 단일 스트림으로 전송합니다.
이 스트림은 차익 거래 기회를 찾기 위해 배당률을 읽는 스포츠 차익 거래 플랫폼인 OddStorm에 데이터를 제공합니다. 차익 거래는 실수를 용납하지 않습니다. 1초 늦거나 약간 잘못된 가격은 단순히 나빠 보이는 것으로 끝나지 않습니다. 수백만 개의 잘못된 차익 거래로 이어집니다. 따라서 이 피드에는 절대 타협할 수 없는 엄격한 요구 사항이 하나 있습니다. 바로 모든 소스에서 지속적으로 빠르고 정확하게 유지되어야 한다는 것입니다.
두 곳 모두 스포츠 데이터 및 차익 거래 그룹인 OddStorm.Company에 속해 있습니다. 다음은 OddFeeds가 FourA에서 파이프라인을 운영하는 방법입니다.
한 달에 2억 5천만 건 이상의 request. 약 50테라바이트의 트래픽. 1초에서 2초마다 다시 스캔. 실패한 request에 대해서는 0 크레딧.
1초에서 2초마다 시장 스캔
배당률은 끊임없이 변동하므로 OddFeeds는 수십 개의 소스에서 1초에서 2초마다 이를 다시 읽습니다. 이러한 주기로 인해 수치는 빠르게 증가합니다. 한 달에 2억 5천만 건 이상의 request가 발생하며 트래픽은 약 50테라바이트에 달합니다. 이러한 소스 중 다수는 강력한 bot management 뒤에 자리 잡고 있으며, 대부분의 스크래핑 설정에서 막대한 비용이 발생하기 시작하는 곳이 바로 이 지점입니다.
여기서 일반적인 접근 방식이 실패하는 이유
이 정도 규모에서는 청구서 비용이 복리로 증가하며 툴의 요금 청구 방식에 따라 달라집니다. 일부는 시도 횟수당 요금을 청구하므로 차단될 때마다 헛돈을 쓰게 되며, 수억 건의 request가 발생하는 상황에서는 실패한 시도만으로도 유효한 지출액을 초과할 수 있습니다. 다른 일부는 대역폭을 기준으로 요금을 청구하는데, 트래픽이 커지기 전까지는 저렴해 보입니다. GB당 0.30달러의 요금으로 계산하면 한 달에 50테라바이트는 단 한 번의 차단도 계산하기 전에 월 15,000달러, 즉 연간 180,000달러에 달합니다. 두 모델 모두에 더해, 가장 어려운 소스를 로드하려면 실제 브라우저와 깨끗한 네트워크 경로가 필요하며, 모든 request에 대해 이렇게 하는 것은 느리고 비용이 많이 듭니다. 매초 시장을 읽는 파이프라인은 이러한 비용을 감당할 수 없습니다.
성공한 작업에 대해서만 비용 지불
FourA에서는 실패한 request의 비용이 0 크레딧입니다. 전달되고 유효한 response에만 요금이 청구됩니다. 이 단일 규칙은 청구서의 형태를 바꿉니다. 차단, 시간 초과 및 재시도가 누적되지 않으며 비용은 OddFeeds가 실제로 수신하는 데이터를 추적합니다. 이 규모에서 실패 비용을 0으로 만드는 것은 예측 가능한 월별 비용과 모든 소스에 따라 변동하는 비용의 차이를 만듭니다.
효과적인 가장 가벼운 방법 사용
FourA는 모든 request를 동일한 방식으로 전송하지 않습니다. 쉬운 소스는 가벼운 request 엔진을 통해 직접 읽습니다. 소스가 방어벽을 세우면, 차단 해제 기능이 켜진 proxy endpoint가 브라우저 없이 자체적으로 대부분의 안티봇 방어를 제거합니다. 대부분의 보호되는 소스에 대해서는 이것으로 충분하며 비용도 계속 저렴하게 유지됩니다.
가장 까다로운 소스에만 브라우저 엔진이 필요하며, 그조차도 한 번이면 충분합니다. 실제 브라우저와 같은 방식으로 사이트를 로드하고 유효하고 검증된 세션을 설정합니다. 이 세션은 경량 엔진으로 다시 전달되며, 경량 엔진은 이를 재사용하여 훨씬 낮은 비용으로 수천 번의 새로운 데이터를 가져옵니다.
따라서 비용이 많이 드는 경로는 드물게 발생하며 한 번의 비용만 발생한 후, 장기간의 저비용 읽기 작업에 분산됩니다. 아래 차트는 이러한 까다로운 세션 중 하나를 보여줍니다. 세션을 설정하기 위한 한 번의 고비용 request 이후에 저비용 새로고침이 길게 이어집니다.
URL을 받아 콘텐츠를 반환하는 FourA의 단일 샷 endpoint인 Auto는 OddFeeds가 새로운 소스를 매핑할 때 탐색용으로 사용됩니다. 프로덕션 파이프라인은 레코드당 비용을 낮게 유지하도록 조정되어, 핵심 request, proxy, browser endpoint를 직접 구동합니다.
소스의 차단에도 신뢰성 유지
소스마다 동작 방식이 다릅니다. 일부는 특정 국가에만 배당률을 제공하고, 일부는 방문할 때마다 보안 챌린지를 요구합니다. FourA는 적절한 exit과 올바른 엔진을 통해 각 request를 라우팅하여, 사람이 소스마다 재조정하지 않아도 피드가 계속 작동하도록 합니다. 목표는 단순히 기교를 부리는 것이 아닙니다. 주변 소스가 계속 변경되는 동안에도 가동을 유지하고 정확성을 유지하는 안정적인 데이터 파이프라인을 구축하는 것입니다.
결과
OddFeeds는 월 2억 5천만 건 이상의 request와 50테라바이트 규모의 실시간 배당률 피드를 1~2초마다 갱신하며 운영합니다. 이때 비용은 시도나 차단 횟수가 아닌 성공한 데이터에 비례하여 발생합니다. 까다로운 소스는 한 번 해결한 후에는 저렴하게 읽을 수 있으며, 실패 시 비용이 발생하지 않습니다. 이것이 바로 이렇게 방대한 피드가 빠르고 저렴하게 유지될 수 있는 이유입니다.
동일한 인프라에 파이프라인 구축
FourA는 OddFeeds가 실행되는 플랫폼입니다. 성공한 request에 대해서만 비용을 지불하고, 까다로운 소스를 한 번 해결하며, 실패 시 청구 비용 증가 없이 확장할 수 있습니다. 무료로 시작하거나 요금제 확인하기.