OddFeeds vận hành một luồng dữ liệu tỷ lệ cược thể thao trực tiếp. Nó thu thập tỷ lệ cá cược từ hàng chục nguồn theo thời gian thực và phân phối chúng thành một luồng dữ liệu cập nhật liên tục.
Luồng dữ liệu đó cung cấp cho OddStorm, một nền tảng kinh doanh chênh lệch giá thể thao đọc các tỷ lệ cược để tìm kiếm cơ hội chênh lệch giá. Kinh doanh chênh lệch giá rất khắt khe: một mức giá đến trễ một giây hoặc sai lệch một chút không chỉ trông tệ. Nó biến thành hàng triệu giao dịch chênh lệch giá không chính xác. Vì vậy, luồng dữ liệu có một yêu cầu bắt buộc không bao giờ nới lỏng: phải luôn nhanh và luôn chính xác, liên tục, trên mọi nguồn.
Cả hai đều thuộc về OddStorm.Company, một tập đoàn dữ liệu và chênh lệch giá thể thao. Đây là cách OddFeeds chạy pipeline của họ trên FourA.
Hơn 250 triệu request mỗi tháng. Khoảng 50 terabyte lưu lượng. Quét lại mỗi một đến hai giây. Không tốn credit cho một request thất bại.
Quét thị trường mỗi một đến hai giây
Tỷ lệ cược biến động liên tục, do đó OddFeeds đọc lại chúng mỗi một đến hai giây trên hàng chục nguồn. Với nhịp độ đó, các con số tăng lên nhanh chóng: hơn 250 triệu request mỗi tháng và khoảng 50 terabyte lưu lượng. Nhiều nguồn trong số đó được đặt sau các hệ thống quản lý bot nghiêm ngặt, đây là nơi hầu hết các hệ thống scraping bắt đầu tiêu tốn rất nhiều tiền.
Tại sao cách tiếp cận thông thường lại thất bại ở đây
Hóa đơn tích lũy ở khối lượng này và nó phụ thuộc vào cách một công cụ tính phí. Một số tính phí theo số lần thử, do đó mọi lượt bị chặn là tiền tiêu tốn vô ích và với hàng trăm triệu request, chỉ riêng các nỗ lực thất bại cũng có thể vượt quá chi phí hữu ích. Một số khác tính phí theo băng thông, có vẻ rẻ cho đến khi lưu lượng lớn: với mức giá $0,30 cho mỗi GB, 50 terabyte một tháng tính ra là $15.000 một tháng, hoặc $180.000 một năm, trước khi tính đến bất kỳ một lượt chặn nào. Trên hết cả hai mô hình, các nguồn khó nhất cần một trình duyệt thực và một đường dẫn mạng sạch để tải, và thực hiện điều đó cho mọi request là chậm và đắt đỏ. Một pipeline đọc thị trường mỗi giây không thể gánh chịu những chi phí này.
Chỉ trả tiền cho những gì hoạt động
Trên FourA, một request thất bại không tốn credit. Chỉ một response hợp lệ, được phân phối mới bị tính phí. Quy tắc duy nhất đó làm thay đổi hình dạng của hóa đơn: các lượt chặn, timeout và thử lại ngừng tăng lên và chi phí theo dõi dữ liệu mà OddFeeds thực sự nhận được. Ở quy mô này, việc chuyển giá của sự thất bại về không là sự khác biệt giữa một chi phí hàng tháng có thể dự đoán được và một chi phí trôi nổi theo từng nguồn.
Sử dụng phương pháp nhẹ nhất hoạt động hiệu quả
FourA không gửi mọi request theo cùng một cách. Các nguồn dễ được đọc trực tiếp bởi request engine hạng nhẹ. Khi một nguồn từ chối, proxy endpoint với unblocker được bật sẽ tự động vượt qua phần lớn các hệ thống phòng thủ chống bot, mà không cần trình duyệt. Đối với hầu hết các nguồn được bảo vệ thì điều đó là đủ và nó vẫn rẻ.
Chỉ những nguồn khó nhất mới cần đến browser engine, và thậm chí khi đó cũng chỉ cần một lần. Nó tải trang web theo cách mà một trình duyệt thực sự làm và thiết lập một session hợp lệ, đã được xác thực. Session đó sau đó được giao lại cho lightweight engine, engine này tái sử dụng nó để lấy tỷ lệ cược mới hàng nghìn lần với chi phí chỉ bằng một phần nhỏ.
Vì vậy, lộ trình tốn kém vừa hiếm gặp vừa chỉ phải trả phí một lần, sau đó được phân bổ trong suốt một chuỗi dài các lượt đọc giá rẻ. Biểu đồ bên dưới là một trong những session khó hơn đó: một request tốn kém duy nhất để thiết lập nó, sau đó là một chuỗi dài các lần làm mới không tốn kém.
Auto, endpoint một lần của FourA nhận URL và trả về nội dung, được sử dụng để khám phá khi OddFeeds ánh xạ một nguồn mới. Pipeline production điều khiển trực tiếp các endpoint request, proxy và browser cốt lõi, được điều phối để giữ chi phí trên mỗi bản ghi ở mức thấp.
Duy trì độ tin cậy khi nguồn dữ liệu chặn lại
Các nguồn hoạt động khác nhau. Một số chỉ cung cấp tỷ lệ cược cho một số quốc gia nhất định. Một số đưa ra challenge ở mỗi lần truy cập. FourA định tuyến từng request qua một exit phù hợp và đúng engine, để luồng dữ liệu tiếp tục chảy mà không cần con người tinh chỉnh lại cho từng nguồn. Mục tiêu không phải là sự thông minh phô trương. Đó là một data pipeline hợp lệ duy trì hoạt động và giữ độ chính xác trong khi các nguồn xung quanh nó liên tục thay đổi.
Kết quả
OddFeeds chạy một luồng tỷ lệ cược trực tiếp với hơn 250 triệu request và 50 terabyte mỗi tháng, làm mới mỗi một đến hai giây, với chi phí mở rộng theo dữ liệu thành công thay vì theo số lần thử hoặc số lần bị block. Các nguồn khó được giải quyết một lần và đọc với chi phí rẻ sau đó, và các request lỗi không tốn phí. Đó là điều giúp một luồng dữ liệu lớn như vậy duy trì được cả tốc độ nhanh và chi phí phải chăng.
Xây dựng pipeline của bạn trên cùng một hạ tầng
FourA là nền tảng mà OddFeeds đang chạy: chỉ trả tiền cho các request thành công, giải quyết các nguồn khó một lần và mở rộng quy mô mà không làm hóa đơn của bạn tăng theo các request lỗi. Bắt đầu miễn phí hoặc xem bảng giá.