← كل المقالات

Cloudflare Verified Bots: تقييم حسب البوت، وإلغاء على مستوى الشركة

تقوم Cloudflare الآن بتقييم Verified bots استنادا إلى robots.txt ورمز الحالة 429. ينطبق التصنيف على بوت واحد، لكن توثيقها يتيح تطبيق العقوبة على شركتك بالكامل.

سجل بوت واحد قد يكلف الشركة بأكملها

شرحت Cloudflare تصنيفها الجديد للبوتات بتشبيه رخصة القيادة: إنها توضح لك هوية الشخص، وليس ما إذا كان سيقود بمسؤولية في العام المقبل. تشبيه جيد، لكنه يفتقر إلى تفصيل واحد. سحب الرخصة يوقف سائقا واحدا عن القيادة، ولكن بموجب قواعد Cloudflare، يمكن لسجل سيئ واحد أن يوقف كل بوت تديره الشركة.

في 16 أكتوبر، ذكرت Cloudflare أنها تقيم الآن البوتات الموثقة Verified باستمرار، استنادا إلى إشارتين حتى الآن: ما إذا كانت حركتها تظل متوافقة مع ملف robots.txt الخاص بالموقع بمرور الوقت، وما إذا كانت تبطئ معدلها بعد تلقي خطأ HTTP 429. تتحول النتائج إلى "نطاق ثقة" (trust band). المهندسون الذين يقرؤون ذلك سيتجهون فورا إلى منطق إعادة المحاولة retry logic، ومقال Crawlbase المطول حول حلقة جلب تحقق أداء جيدا هو مكان جيد للبدء.

نرى أن منطق إعادة المحاولة هو النصف الأصغر من المشكلة. إذا كنت تطور أدوات كشط (scrapers) لعملاء آخرين، فإن السؤال الأهم هو: اسم من يظهر في القائمة؟

ما تم إطلاقه فعليا

أقل مما تشير إليه العناوين. تقول Cloudflare إنها "تستخدم هذا النظام داخليا بالفعل" أثناء بناء سجل البيانات. أما النقاط العامة على Radar والحد الأدنى الذي يمكن لأصحاب المواقع اختياره، فكلاهما مصاغ بصيغة المستقبل دون تحديد موعد. لا يوجد شيء نشرته Cloudflare يسمح للمواقع حتى الآن برفض برنامج الزحف الخاص بك بناء على نطاق الثقة.

النطاق محدود أيضا. البوتات المدرجة في قائمة Verified فقط هي المشمولة، وأي شيء آخر لا يحصل على تقييم على الإطلاق. وهذا يشمل الغالبية العظمى تقريبا: في مؤتمر Cloudflare Connect في أكتوبر، ذكرت الشركة أن أقل من طلب مؤتمت واحد من كل 10 طلبات يأتي من بوت يعرف عن نفسه.

لذا، إذا لم يكن برنامج الكشط الخاص بك مدرجا في تلك القائمة، فهذا الإعلان لا يقيمك.

ما يعنيه هذا: سجل التقييمات ليس متاحا لأصحاب المواقع بعد، ومعظم الزيارات المؤتمتة ليست مدرجة فيه. الفئة التي يجب أن تهتم الآن هي من تمتلك برنامج زحف مدرجا في القائمة، أو تخطط للحصول على واحد.

العقوبة أوسع نطاقا من مجرد النتيجة

هذا هو الجزء الذي تجاهلته التقارير التي قرأناها. نطاق الثقة يصف بوتا واحدا، لكن العواقب لا تتوقف عنده بالضرورة. تنص وثائق Verified bots لدى Cloudflare، المحدثة في 2 نوفمبر، على أنها "قد تسحب حالة Verified لجميع البوتات والوكلاء المملوكين أو المشغلين من قبل المؤسسة" بعد الانتهاكات المتكررة، وتذكر صراحة حالة الشركة التي "تلتزم بالسياسة لبوت أو وكيل معين بينما تنتهكها بآخر."

انظر إلى ذلك من منظور وكالة صغيرة. شركة واحدة، عدة مشاريع عملاء، واسم واحد في الدليل. يطلب عميل فهرسا كاملا بحلول يوم الجمعة ويطلب منك رفع معدل الطلبات. إذا حافظت هذه المهمة على سرعتها وتجاهلت استجابات 429 المتكررة، فلن تقتصر التكلفة على تلك المهمة وحدها، بل قد تمتد لتطال الشركة وكل مشروع آخر يعمل تحت مظلتها.

توضح الصفحة نفسها سبب انطباق هذا فجأة على الأعمال التجارية. يسرد BotBase، وهو دليل Cloudflare، الآن سلوك "Data Collection"، المعرّف بأنه "price scraping، وجمع المعلومات التنافسية، وتحليلات الطرف الثالث". إنه يقع بجانب Search وTraining. يمكن أن يكون الجمع التجاري نشاطاً معلناً ومسمى، ونحن نعتبر ذلك خبراً جيداً.

ولكن انظر إلى التصنيفات المجاورة له. يكون البوت إما Direct (مشغّل واحد، عادة على بنيته التحتية الخاصة) أو Intermediary ("خدمة قائمة على الوكلاء يمكن لمجموعة واسعة من المستخدمين النهائيين تشغيلها"). تطلق Cloudflare على المشكلة مع المجموعة الثانية اسم transitive trust: قد تثق في المشغّل دون الوثوق بكل من يقوده، لذا فهي تختبر إعادة توجيه تفاصيل حول المستخدم النهائي. وكالة scraping هي وسيط في كل شيء باستثناء المعاملات الورقية.

رمز 429 لا يتعلق بالسرعة دائماً

تبدو الإشارة الثانية بسيطة. تصف Cloudflare رمز 429 بأنه "توجيه للزائر لتقليل معدل request الخاص به" وتراقب ما إذا كانت حركة المرور تتباطأ أو تتوقف مؤقتاً بعد ذلك.

لكن المواقع تستخدم هذه الحالة لأكثر من مجرد الحمل. اختبرت Crawl Readiness أول 1,000 موقع في Tranco في 12 أكتوبر، حيث طلبت صفحة من كل صفحة رئيسية كمتصفح ثم كأربعة زواحف AI crawlers، بمعدل نحو عشرة requests لكل موقع دون أي محاولة إعادة. من بين 78 موقعاً رفضت زاحفاً سمح به ملف robots.txt الخاص بها، أجاب 14 موقعاً برمز 429 ولا شيء غير ذلك (تمريرة واحدة، سلاسل user-agent فقط، لذا تعامل معها كتلميح).

وضع المؤلفون تلك الحالات جانباً باعتبارها قيود rate limit محتملة، وهو التصرف الحذر. لكننا نقرأها بشكل مختلف. الموقع الذي يمنح المتصفح رمز 200 وزاحفاً محدداً رمز 429، بعد حفنة من requests، غالباً لا يبلغ عن ازدحام. إنه يعبر عن تفضيل باستخدام مفردات الازدحام.

لذا فإن نظام التقييم الذي يعامل كل رمز 429 كتعليمات واحدة سيقيس أحياناً الشيء الخطأ، ونادراً ما يخبرك الموقع بالحالة التي تواجهها. يصل الحد الأقصى للتزامن، والحد لكل دقيقة، والرفض القاطع، كلها في صورة الأرقام الثلاثة نفسها.

لا يساعد client المعتاد في هذا. تنتظر العديد من برمجيات retry انقضاء Retry-After ثم تواصل بالمعدل نفسه الذي تسبب في الرفض. يحدد اختبار Crawlbase المحلي ذلك برقم: مقابل حد يبلغ اثنين request في الثانية، تلقت حلقة احتفظت بمعدلها القديم 13 رفضاً في 40 request، بينما تلقت حلقة خفضت سقفها 3 حالات رفض واستمرت في جلب المزيد من الصفحات في الثانية (1.11 مقابل 0.94). إنه خادم تجريبي بسيط. ومع ذلك، يظل الاتجاه العام صحيحاً.

ما يعنيه هذا: إذا كان البوت الخاص بك في قائمة Verified، فإن إبطاء السرعة هو الحل الذي تكافئه الدرجة، وهو أقل تكلفة مما يبدو. لكن سجّل ما حصلت عليه، لأن بعض رموز 429 تلك لم تكن تتعلق بسرعتك على الإطلاق.

التوقيع والامتثال ينفصلان عن بعضهما

تُظهر وثائق Google هذا التباين بوضوح. تذكر صفحتها Web Bot Auth، التي جرى تحديثها آخر مرة في 13 أكتوبر، أن جزءاً من طلبات Google-Agent موقع رقمياً على سبيل التجربة. وتوضح صفحتها الخاصة بـ أدوات الجلب بتوجيه من المستخدم، حيث يُدرج Google-Agent، أنه نظراً لأن المستخدم هو من طلب عملية الجلب، فإن هذه الأدوات "تتجاهل عموماً قواعد robots.txt".

وهكذا تُثبت Google هوية مرسل الـ request مع تجاهل الملف الذي قد يُحاسب الجميع بناءً عليه. لا يوضح منشور Cloudflare كيف سيتم تقييم الجلب الموجه من قبل المستخدم. إذا كنت تبني وكلاء برمجيات (agents)، فهذا هو الحد الفاصل الذي يستحق المراقبة، لأن عبارة "شخص ما طلب هذا" ستكتسب وزناً كبيراً قريباً.

ما يعنيه هذا لمن يطورون أدوات كشط البيانات للعملاء

صنف عملك وفقاً للاسم المسجل عليه. يُعد المنتج الذي يمتلك زاحفاً عاماً خاصاً به وغرضاً واحداً واضحاً مرشحاً جيداً للحصول على صفة موثق (Verified). أما إدارة أسطول ينفذ مهام جهات أخرى تحت اسم شركتك فمسألة أكثر تعقيداً، لأن مهمة عميل واحد قد تعرض الإدراج بالكامل للخطر بالنسبة للجميع.

حدد سلوك الزحف في العقد. إذا كان العميل يستطيع طلب معدل زحف أعلى، فيجب أن ينص العقد على الطرف الذي يتحمل العواقب. بمجرد أن تصبح استجابة 429 سجلاً مسجلاً، فإن طلب "زيادة السرعة فقط" لم يعد طلباً بلا تكلفة.

احتفظ بسجلاتك الخاصة. سجل الـ Status، وRetry-After، والمعدل الذي حافظت عليه قبل التغيير وبعده، لكل host على حدة. تعد Cloudflare بنطاق قابل للتفسير، لكنها لم توضح آلية الاعتراض للمشغلين، وبدون أرقامك الخاصة فإن تقرير جهة التقييم هو التقرير الوحيد القائم. إنها الممارسة نفسها التي تكافئها مسودة إرشادات EDPB: القدرة على إثبات ما جمعته، ومصدره، وتوقيته.

توقف عن التعامل مع robots.txt كوثيقة إذن. منشور Cloudflare يعلنها صراحة: "لا يوجد أي افتراض بأن ما لم يُذكر يُعتبر مسموحاً به". لم تكن وثيقة RFC 9309 ترخيصاً في أي وقت، والآن أصبح هناك من يسجل التقييمات بناءً عليها.

القائمة المنسدلة التي لا يفتحها أحد

كتبنا في أغسطس أن الويب بدأ يصنف برامج البوت بناءً على الغرض، لا السلوك، وأن الإعدادات الافتراضية هي الوسيلة التي تجعل السياسة عرفاً عاماً. ظهر معيار السلوك بعد شهرين فقط. وأصبح تأثير الإعداد الافتراضي قابلاً للقياس بالفعل: أظهر فحص Crawlbase في 30 أكتوبر لأول 2,000 موقع في تصنيف Tranco وجود 71 موقعاً تحتوي على سطر Content-Signal في robots.txt، و39 منها تعتمد الإعداد الافتراضي المُدار المطابق من Cloudflare. لقد احتاج نموذج الدفع مقابل الزحف إلى الشيء نفسه الذي يتطلبه هذا: مشترٍ معروف الهوية.

رهاننا: عندما تتوفر عتبات الثقة، ستعتمد معظم المواقع أية قيمة محددة مسبقا، ورأي أي موقع في زاحفك سيكون في الغالب مجرد قائمة منسدلة لم يفتحها أحد. نحن أنفسنا على طرفي رمز الحالة هذا. عندما يوقف حد الخطة استدعاء، فإن FourA API تحدد الحد وترسل Retry-After فقط عندما يفيد الانتظار، ويريح Proxy Finder مخرج معدل مقيد بنافذة rate limit لذلك الموقع تحديدا، طوال مدة الانتظار التي يحددها Retry-After الخاص به. كان رمز 429 دائما مجرد طلب، وهو على وشك أن يصبح سجلا.