OddFeeds تدير تغذية حية للاحتمالات الرياضية. إنها تجمع احتمالات الرهان من عشرات المصادر في الوقت الفعلي وتقدمها كتدفق واحد محدث باستمرار.
يغذي هذا التدفق OddStorm، وهي منصة مراجحة رياضية تقرأ الاحتمالات لاكتشاف فرص المراجحة. المراجحة لا ترحم: فالسعر الذي يصل متأخرا بثانية واحدة، أو غير دقيق قليلا، لا يقتصر ضرره على المظهر السيئ فقط. بل يتحول إلى الملايين من عمليات المراجحة غير الصحيحة. لذلك، فإن التغذية لها متطلب صارم واحد لا يتساهل أبدا: الحفاظ على السرعة والدقة، باستمرار، عبر كل مصدر.
كلاهما ينتمي إلى OddStorm.Company، وهي مجموعة للبيانات الرياضية والمراجحة. هكذا تدير OddFeeds خط أنابيب البيانات الخاص بها على FourA.
أكثر من 250 مليون request شهريا. حوالي 50 تيرابايت من حركة المرور. إعادة الفحص كل ثانية إلى ثانيتين. صفر رصيد مقابل كل request فاشل.
فحص السوق كل ثانية إلى ثانيتين
تتغير الاحتمالات باستمرار، لذلك تعيد OddFeeds قراءتها كل ثانية إلى ثانيتين عبر عشرات المصادر. عند هذه الوتيرة، تصبح الأرقام ضخمة بسرعة: أكثر من 250 مليون request شهريا، وحوالي 50 تيرابايت من حركة المرور. تقبع العديد من هذه المصادر خلف أنظمة متقدمة لإدارة البوتات، وهو المكان الذي تبدأ فيه معظم إعدادات التجريف باستنزاف الأموال.
لماذا يفشل النهج المعتاد هنا
تتراكم الفاتورة عند هذا الحجم، ويعتمد ذلك على كيفية فرض الأداة للرسوم. يفرض بعضها رسوما على كل محاولة، لذا فإن كل حظر تواجهه يمثل مالا أُهدر دون فائدة، وعند مئات الملايين من الـ requests، يمكن للمحاولات الفاشلة وحدها أن تتجاوز الإنفاق الفعلي المفيد. يفرض البعض الآخر رسوما حسب النطاق الترددي (bandwidth)، وهو ما يبدو رخيصا حتى تصبح حركة المرور ضخمة: بمعدل 0.30 دولار لكل جيجابايت، يصل إجمالي 50 تيرابايت شهريا إلى 15,000 دولار في الشهر، أو 180,000 دولار في السنة، قبل احتساب حظر واحد. علاوة على أي من النموذجين، تحتاج المصادر الأكثر صعوبة إلى متصفح حقيقي ومسار شبكة نظيف لتعمل أصلا، وفعل ذلك لكل request يعد بطيئا ومكلفا. لا يمكن لخط معالجة يقرأ السوق كل ثانية تحمل هذه الأعباء الإضافية.
ادفع فقط مقابل ما ينجح
على FourA، يكلف الـ request الفاشل صفر رصيد. يتم احتساب الرسوم فقط على الـ response الصحيح والمستلم. هذه القاعدة الواحدة تغير شكل الفاتورة بالكامل: يتوقف تراكم تكاليف الحظر، والـ timeouts، وإعادة المحاولات، وترتبط التكلفة مباشرة بالبيانات التي تتلقاها OddFeeds فعليا. عند هذا النطاق، فإن تحويل تكلفة الفشل إلى صفر يمثل الفارق بين تكلفة شهرية يمكن التنبؤ بها وتكلفة تتقلب مع كل مصدر.
استخدم الطريقة الأقل استهلاكا للموارد التي تفي بالغرض
لا ترسل FourA كل request بنفس الطريقة. تتم قراءة المصادر السهلة مباشرة بواسطة محرك الـ requests الخفيف. وعندما يُظهر المصدر مقاومة، يتمكن الـ proxy endpoint المزود بملف تعريف المتصفح من جلب الغالبية العظمى من الصفحات بمفرده، دون الحاجة إلى متصفح. بالنسبة لمعظم المصادر المحمية، يعد هذا كافيا، ويظل بتكلفة منخفضة.
تحتاج المصادر الأكثر تعقيدا فقط إلى محرك المتصفح، وحتى في هذه الحالة، لمرة واحدة فقط. يقوم المحرك بتحميل الموقع تماما كما يفعل المتصفح الحقيقي، ويُنشئ جلسة صالحة ومجتازة للفحوصات. بعد ذلك، يتم تسليم هذه الجلسة مجددا إلى المحرك الخفيف، والذي يعيد استخدامها لجلب أحدث الاحتمالات لآلاف المرات وبجزء ضئيل من التكلفة.
وبالتالي، فإن المسار المكلف نادر الحدوث وتُدفع تكلفته مرة واحدة فقط، ثم تُوزع على سلسلة طويلة من عمليات القراءة منخفضة التكلفة. يوضح المخطط البياني أدناه إحدى تلك الجلسات الأكثر تعقيدا: request واحد مكلف لإنشائها، يليه مسار طويل من عمليات التحديث غير المكلفة.
يُستخدم Auto، وهو endpoint من FourA ينفذ العملية بخطوة واحدة حيث يستقبل URL ويعيد المحتوى، في مرحلة الاستكشاف عندما يقوم OddFeeds بتخطيط مصدر جديد. بينما يقود خط الإنتاج الأساسي طلبات request وproxy وbrowser الأساسية مباشرة، مع تنظيمها للحفاظ على انخفاض تكلفة كل سجل.
الحفاظ على الموثوقية عند مواجهة قيود المصادر
تختلف سلوكيات المصادر. بعضها يقدم الاحتمالات لبلدان معينة فقط. وبعضها يفرض تحديات أمنية مع كل زيارة. يوجه FourA كل request عبر مخرج مناسب والمحرك الصحيح، بحيث يستمر تدفق البيانات دون الحاجة لتدخل يدوي لإعادة ضبطه لكل مصدر. الهدف ليس الاستعراض التقني بحد ذاته، بل بناء خط بيانات موثوق يظل فعال ودقيق بينما تتغير المصادر باستمرار.
النتيجة
يدير OddFeeds خلاصة احتمالات مباشرة بأكثر من 250 مليون request و50 تيرابايت شهريا، مع تحديث كل ثانية إلى ثانيتين، وبتكلفة تتناسب طرديا مع البيانات الناجحة بدلا من المحاولات أو عمليات الحظر. يتم تجاوز تعقيدات المصادر الصعبة مرة واحدة لتتم قراءتها بعد ذلك بتكلفة منخفضة، ولا تكلف حالات الفشل أي شيء. هذا ما يتيح لخلاصة بهذا الحجم أن تظل سريعة وبتكلفة معقولة.
ابن خط معالجة البيانات الخاص بك على نفس البنية التحتية
منصة FourA هي الأساس الذي يعتمد عليه OddFeeds: ادفع فقط مقابل requests الناجحة، وتجاوز تعقيدات المصادر الصعبة مرة واحدة، وتوسع دون أن ترتفع فاتورتك مع محاولات الفشل. ابدأ مجانا أو اطلع على الأسعار.