فخ الصيانة
يمر كل فريق هندسي يبني أدوات كشط ويب مخصصة بنفس الدورة:
- الأسبوع 1: بناء أداة الكشط. تعمل بكفاءة تامة.
- الأسبوع 4: الموقع المستهدف يحدّث تصميمه. إصلاح محددات العناصر (selectors).
- الأسبوع 8: نشر نظام جديد لاكتشاف البوتات. إضافة تدوير الـ proxy.
- الأسبوع 12: ظهور صفحات التحقق. دمج خدمة لحل التحديات.
- الأسبوع 16: انخفاض معدل النجاح إلى 60%. إضافة منطق إعادة المحاولة، وفترات التأخير، وانتحال البصمات الرقمية.
- الأسبوع 20: أصبحت أداة الكشط الآن أكثر تعقيدا بـ 10 أضعاف من التطبيق الذي تخدمه.
يبدو الأمر مألوفا؟
التكاليف الفعلية
عندما استطلعنا آراء 50 شركة تدير بنية تحتية مخصصة للكشط، وجدنا ما يلي:
- متوسط وقت الصيانة: 15-25 ساعة أسبوعيا لفريق مكون من 2-3 مهندسين
- متوسط الوقت لإصلاح التغييرات المعطلة للخدمة: 4-8 ساعات
- تراجع معدل النجاح على مدار 6 أشهر: 20-40% دون استثمار مستمر
- تكلفة الفرصة البديلة: كان بإمكان أولئك المهندسين بناء ميزات في المنتج بدلا من ذلك
أداة الكشط ليست هي المنتج. البيانات هي المنتج. ولكن بطريقة ما، ينتهي الأمر بأداة الكشط باستهلاك معظم ميزانية الهندسة.
ثلاثة أساليب لجمع بيانات الويب
1. البناء الذاتي
تحكم كامل، ومسؤولية كاملة. يعمل بشكل ممتاز على نطاق صغير (أقل من 100 صفحة يوميا) مع أهداف مستقرة. يصبح مكلفا بسرعة مع زيادة النطاق.
2. استخدام منصة مدارة
تتولى خدمات مثل FourA إدارة البنية التحتية: عناوين الـ proxy، والمتصفحات، وملفات تعريف المتصفح، ومنطق إعادة المحاولة. أنت تحدد فقط البيانات التي تحتاجها. الخيار الأفضل للفرق التي تحتاج إلى بيانات موثوقة دون أعباء تشغيلية.
3. شراء مجموعات بيانات جاهزة
يبيع بعض المزودين مجموعات بيانات جاهزة لحالات الاستخدام الشائعة (الأسعار، المراجعات، قوائم الوظائف). سريعة للبدء، لكنها غير مرنة وغالبا ما تكون قديمة وغير محدثة.
اتخاذ القرار
اطرح على نفسك ثلاثة أسئلة:
- كم عدد الأهداف التي تحتاجها؟ إذا كان أقل من 10 مواقع مستقرة، فقد ينجح البناء الذاتي. أكثر من 50؟ استخدم منصة مدارة.
- ما مدى أهمية حداثة البيانات؟ إذا كنت بحاجة إلى البيانات في غضون دقائق، فأنت بحاجة إلى بنية تحتية موثوقة. مجموعات البيانات القديمة لن تفي بالغرض.
- ما هي قيمة وقت فريقك الهندسي؟ اضرب ساعات الصيانة تلك في تكلفة فريقك الهندسي. هذا هو السعر الحقيقي للبناء الذاتي.
نقطة التعادل لمعظم الفرق هي حوالي 20-30 موقعا مستهدفا. بعد ذلك، يصعب الجدال في الجدوى الاقتصادية للمنصة المدارة. لذا، إذا كان فريقك قد تجاوز هذا الحد منذ أشهر وما زلت تصلح أدوات الكشط كل صباح يوم إثنين، فقد حان الوقت لإعادة الحسابات.