OddFeeds يقوم بتشغيل خلاصة مباشرة للاحتمالات الرياضية. فهو يجمع احتمالات المراهنة من عشرات المصادر في الوقت الفعلي ويقدمها كتدفق واحد يتم تحديثه باستمرار.
يغذي هذا التدفق OddStorm، وهي منصة موازنة رياضية تقرأ الاحتمالات للعثور على فرص الموازنة. الموازنة لا ترحم، فالسعر الذي يصل متأخرا بثانية واحدة أو بخطأ بسيط لا يبدو سيئا فحسب. بل يتحول إلى ملايين عمليات الموازنة غير الصحيحة. لذا فإن الخلاصة لها متطلب صارم واحد لا يتهاون أبدا، وهو البقاء سريعا والبقاء دقيقا بشكل مستمر عبر كل مصدر.
كلاهما ينتمي إلى OddStorm.Company، وهي مجموعة بيانات وموازنة رياضية. هكذا يقوم OddFeeds بتشغيل مسار البيانات الخاص به على FourA.
أكثر من 250 مليون request شهريا. حوالي 50 تيرابايت من حركة المرور. يعاد مسحها كل ثانية إلى ثانيتين. صفر أرصدة مقابل أي request فاشل.
مسح السوق كل ثانية إلى ثانيتين
تتحرك الاحتمالات باستمرار، لذا يعيد OddFeeds قراءتها كل ثانية إلى ثانيتين عبر عشرات المصادر. بهذا المعدل تصبح الأرقام كبيرة بسرعة، أكثر من 250 مليون request شهريا وحوالي 50 تيرابايت من حركة المرور. تقع العديد من هذه المصادر خلف أنظمة إدارة روبوتات صارمة، وهو المكان الذي تبدأ فيه معظم إعدادات الكشط في استنزاف الأموال.
لماذا يفشل النهج المعتاد هنا
تتضاعف الفاتورة عند هذا الحجم، وتعتمد على كيفية فرض الأداة للرسوم. يفرض البعض رسوما على كل محاولة، لذا فإن كل حظر تواجهه هو أموال تُنفق مقابل لا شيء، ومع مئات الملايين من الـ requests يمكن أن تفوق المحاولات الفاشلة وحدها الإنفاق المفيد. يفرض آخرون رسوما حسب النطاق الترددي، والذي يبدو رخيصا حتى تصبح حركة المرور كبيرة، فبمعدل 0.30 دولار لكل جيجابايت، تصل 50 تيرابايت شهريا إلى 15000 دولار شهريا، أو 180000 دولار سنويا، قبل احتساب حظر واحد. علاوة على أي من النموذجين، تحتاج أصعب المصادر إلى متصفح حقيقي ومسار شبكة نظيف للتحميل على الإطلاق، والقيام بذلك لكل request يكون بطيئا ومكلفا. لا يمكن لمسار البيانات الذي يقرأ السوق كل ثانية تحمل هذه الضرائب.
ادفع فقط مقابل ما ينجح
على FourA، يكلف الـ request الفاشل صفر أرصدة. يتم فرض رسوم فقط على أي response صالح ومُسلَّم. تغير هذه القاعدة الوحيدة شكل الفاتورة، فتتوقف عمليات الحظر وانتهاء المهلة وإعادة المحاولة عن التراكم، وتتتبع التكلفة البيانات التي يتلقاها OddFeeds فعليا. في هذا النطاق، يعد نقل سعر الفشل إلى الصفر هو الفرق بين تكلفة شهرية يمكن التنبؤ بها وتكلفة تنجرف مع كل مصدر.
استخدم أخف طريقة تنجح
لا ترسل FourA كل request بنفس الطريقة. تتم قراءة المصادر السهلة مباشرة بواسطة محرك الـ request الخفيف. عندما يرفض المصدر، يقوم الـ proxy endpoint مع تشغيل أداة إلغاء الحظر بمسح الأغلبية العظمى من دفاعات مكافحة الروبوتات بمفرده دون متصفح. بالنسبة لمعظم المصادر المحمية، يعد هذا كافيا، ويبقى رخيصا.
تحتاج المصادر الأكثر صعوبة فقط إلى محرك المتصفح، وحتى في هذه الحالة مرة واحدة فقط. يقوم بتحميل الموقع كما يفعل المتصفح الحقيقي ويؤسس جلسة صالحة ومصرح بها. ثم يتم تسليم هذه الجلسة مرة أخرى إلى المحرك الخفيف، والذي يعيد استخدامها لجلب احتمالات جديدة آلاف المرات بجزء بسيط من التكلفة.
لذا فإن المسار المكلف نادر ويتم دفعه مرة واحدة فقط، ثم يتم توزيعه عبر سلسلة طويلة من عمليات القراءة الرخيصة. يوضح المخطط أدناه إحدى تلك الجلسات الأكثر صعوبة: طلب مكلف واحد لتأسيسها، ثم سلسلة طويلة من التحديثات غير المكلفة.
يُستخدم Auto، وهو endpoint ذو خطوة واحدة من FourA يأخذ URL ويعيد المحتوى، في الاستكشاف عندما يقوم OddFeeds بتعيين مصدر جديد. يحرك مسار الإنتاج نقاط endpoint الأساسية لـ request و proxy و browser مباشرة، ويتم تنسيقها للحفاظ على انخفاض التكلفة لكل سجل.
البقاء بموثوقية عندما تقاوم المصادر
تتصرف المصادر بشكل مختلف. يخدم بعضها الاحتمالات لبلدان معينة فقط. وبعضها يتحدى كل زيارة. يوجه FourA كل request عبر مخرج مناسب والمحرك الصحيح، بحيث يستمر تدفق البيانات دون أن يقوم شخص بإعادة ضبطها لكل مصدر. الهدف ليس الذكاء من أجل الذكاء. إنه مسار بيانات شرعي يظل عاملا ودقيقا بينما تستمر المصادر من حوله في التغير.
النتيجة
يقوم OddFeeds بتشغيل تغذية احتمالات حية بأكثر من 250 مليون request و 50 تيرابايت شهريا، ويتم تحديثها كل 1 إلى 2 ثانية، بتكلفة تتناسب مع البيانات الناجحة بدلا من المحاولات أو الحظر. يتم حل المصادر الصعبة مرة واحدة وقراءتها بتكلفة زهيدة بعد ذلك، ولا تكلف حالات الفشل شيئا. هذا ما يتيح لتغذية بهذا الحجم البقاء سريعة وميسورة التكلفة.
قم ببناء مسار البيانات الخاص بك على نفس البنية التحتية
إن FourA هي المنصة التي يعمل عليها OddFeeds: ادفع فقط مقابل الـ requests الناجحة، وقم بحل المصادر الصعبة مرة واحدة، وتوسع دون أن تتوسع فاتورتك مع إخفاقاتك. ابدأ مجانا أو اطلع على الأسعار.