OddFeeds vận hành một nguồn cấp dữ liệu tỷ lệ cược thể thao trực tiếp. Hệ thống thu thập tỷ lệ cá cược từ hàng chục nguồn theo thời gian thực và phân phối dưới dạng một luồng cập nhật liên tục.
Luồng dữ liệu đó cung cấp cho OddStorm, một nền tảng kinh doanh chênh lệch giá thể thao (arbitrage), chuyên đọc tỷ lệ cược để tìm kiếm các cơ hội arbitrage. Arbitrage không có chỗ cho sai sót: một mức giá đến trễ một giây, hoặc sai lệch đôi chút, không chỉ đơn thuần là hiển thị xấu. Nó biến thành hàng triệu cơ hội arbitrage sai lệch. Vì vậy, nguồn cấp dữ liệu có một yêu cầu khắt khe không bao giờ được nới lỏng: duy trì tốc độ và độ chính xác, liên tục, trên mọi nguồn dữ liệu.
Cả hai đều thuộc về OddStorm.Company, một tập đoàn về dữ liệu thể thao và arbitrage. Dưới đây là cách OddFeeds vận hành pipeline của mình trên FourA.
Hơn 250 triệu request mỗi tháng. Khoảng 50 terabyte lưu lượng. Quét lại sau mỗi một đến hai giây. Không tính credit cho request thất bại.
Quét thị trường sau mỗi một đến hai giây
Tỷ lệ cược biến động liên tục, vì vậy OddFeeds đọc lại chúng sau mỗi một đến hai giây trên hàng chục nguồn. Với tần suất đó, các con số tăng lên rất nhanh: hơn 250 triệu request mỗi tháng và khoảng 50 terabyte lưu lượng. Nhiều nguồn trong số đó nằm sau các hệ thống quản lý bot nghiêm ngặt, nơi mà hầu hết các thiết lập scraping bắt đầu tiêu tốn ngân sách không kiểm soát.
Tại sao phương pháp thông thường thất bại ở đây
Hóa đơn tăng theo cấp số nhân ở quy mô này, phụ thuộc vào cách tính phí của từng công cụ. Một số công cụ tính phí trên mỗi lượt thử, nghĩa là mỗi lần bị chặn đều là chi phí lãng phí, và ở quy mô hàng trăm triệu request, chỉ riêng các lượt thử thất bại có thể vượt quá chi phí hữu ích. Một số khác tính phí theo băng thông, nhìn qua có vẻ rẻ cho đến khi lưu lượng đủ lớn: với mức giá $0.30 cho mỗi GB, 50 terabyte mỗi tháng sẽ tiêu tốn $15,000 một tháng, hoặc $180,000 một năm, ngay cả trước khi tính đến các lần bị chặn. Ngoài hai mô hình đó, những nguồn khó nhất cần một trình duyệt thực và đường truyền mạng sạch để có thể tải dữ liệu, và việc thực hiện điều đó cho mọi request vừa chậm vừa tốn kém. Một pipeline đọc thị trường mỗi giây không thể gánh những khoản chi phí này.
Chỉ trả tiền cho những gì hoạt động
Trên FourA, một request thất bại có giá zero credit. Hệ thống chỉ tính phí cho response hợp lệ đã được phân phối thành công. Quy tắc đơn giản đó thay đổi hoàn toàn cấu trúc hóa đơn: các lần bị chặn, timeout và retry không còn bị cộng dồn, và chi phí bám sát dữ liệu mà OddFeeds thực sự nhận được. Ở quy mô này, việc đưa chi phí của các lượt thất bại về 0 là ranh giới giữa một mức chi phí hàng tháng có thể dự đoán được và một mức chi phí biến động theo từng nguồn.
Sử dụng phương pháp nhẹ nhất mang lại hiệu quả
FourA không gửi mọi request theo cùng một cách. Các nguồn dễ được đọc trực tiếp bằng request engine gọn nhẹ. Khi một nguồn siết chặt phòng thủ, endpoint proxy với browser profile sẽ tự xử lý phần lớn các trang mà không cần đến trình duyệt. Đối với hầu hết các nguồn được bảo vệ, giải pháp đó là đủ và vẫn giữ được mức chi phí thấp.
Chỉ những nguồn khó nhất mới cần đến engine trình duyệt, và ngay cả khi đó cũng chỉ cần một lần duy nhất. Nó tải trang web theo cách của một trình duyệt thực sự và thiết lập một phiên hợp lệ đã được xóa bỏ rào cản. Phiên đó sau đó được chuyển lại cho engine nhẹ, nơi tái sử dụng nó để lấy tỷ lệ cược mới hàng nghìn lần với chi phí chỉ bằng một phần nhỏ.
Vì vậy lộ trình tốn kém này vừa hiếm gặp lại vừa chỉ phải trả phí một lần, sau đó được dàn trải qua một chuỗi dài các lượt đọc chi phí thấp. Biểu đồ bên dưới là một trong những phiên phức tạp hơn như vậy: một request tốn kém duy nhất để thiết lập nó, tiếp theo là một chuỗi dài các lượt làm mới với chi phí không đáng kể.
Auto, endpoint one-shot của FourA nhận URL và trả về nội dung, được dùng cho giai đoạn discovery khi OddFeeds thiết lập một nguồn mới. Pipeline production gọi trực tiếp các core endpoint request, proxy và browser, được điều phối nhằm giữ chi phí trên mỗi bản ghi ở mức thấp.
Duy trì độ tin cậy khi các nguồn phản hồi
Mỗi nguồn hoạt động khác nhau. Một số nguồn chỉ phân phát tỷ lệ cược cho một số quốc gia nhất định. Một số nguồn challenge mọi lượt truy cập. FourA điều hướng từng request qua cổng exit phù hợp và engine chính xác, giúp feed duy trì liên tục mà không cần can thiệp thủ công để tinh chỉnh theo từng nguồn. Mục tiêu không phải là tạo ra giải pháp phức tạp không cần thiết. Mục tiêu là một data pipeline chuẩn mực, luôn duy trì hoạt động và giữ độ chính xác ngay cả khi các nguồn xung quanh liên tục thay đổi.
Kết quả
OddFeeds vận hành feed tỷ lệ cược theo thời gian thực với hơn 250 triệu request và 50 terabyte mỗi tháng, làm mới mỗi 1 đến 2 giây, với chi phí tỷ lệ thuận theo lượng dữ liệu thành công thay vì số lần thử hay số lượt bị chặn. Các nguồn phức tạp chỉ cần xử lý một lần và đọc dữ liệu với chi phí thấp sau đó, trong khi các lượt thất bại không tốn phí. Đó là yếu tố giúp một feed quy mô lớn như vậy duy trì được cả tốc độ lẫn chi phí hợp lý.
Xây dựng pipeline của bạn trên cùng nền tảng hạ tầng
FourA là nền tảng OddFeeds đang vận hành: chỉ trả phí cho các request thành công, xử lý các nguồn phức tạp một lần duy nhất, và mở rộng quy mô mà hóa đơn không bị đội lên bởi các lượt thất bại. Bắt đầu miễn phí hoặc xem bảng giá.