الويب يصنف البوتات حسب الغرض، وليس السلوك
كل نظام لمكافحة البوتات بُني في السنوات الخمس عشرة الماضية يطرح سؤالا واحدا: هل تبدو حركة المرور هذه مؤتمتة؟ ترتيب الـ Header، وبصمات مستوى الشبكة، وحركة الفأرة، وتوقيت الجلسة. كل هذا يحاول استنتاج شيء ما عن العميل من شكل الـ request.
في 1 يوليو 2026، Cloudflare غيرت السؤال. تُصنف حركة مرور البوتات الآن إلى ثلاث فئات لا علاقة لها بما يبدو عليه الـ request على الشبكة. Search تغطي "زواحف الويب التي تفهرس المحتوى للإجابة عن أسئلة بشأنه لاحقا." Agent تغطي "النشاط المؤتمت الذي يعمل في الوقت الفعلي نيابة عن شخص ما." Training تغطي "زواحف الويب التي تأخذ المحتوى لتدريب نموذج أو ضبطه بدقة."
تخيل ثلاثة requests تصل إلى نفس الخادم. نفس العميل، ونفس الـ headers، ونفس التوقيت، ومتطابقة تماما حتى البايت الأخير. وفق هذا النموذج، يمكن أن تحصل على ثلاثة قرارات مختلفة، محددة بالكامل بما تخطط لفعله بالصفحة بعد وصولها.
هذا ليس نظام كشف أفضل. إنه نموذج أولي مختلف.
الموعد النهائي في 15 سبتمبر أضيق نطاقا من حالة الهلع
الرواية الشائعة لهذه القصة في منتديات المطورين هي أن Cloudflare ستحظر وكلاء الذكاء الاصطناعي عبر خمس الويب في 15 سبتمبر.
سجل التغييرات يقول شيئا أصغر بكثير. الإعدادات الافتراضية الجديدة تنطبق على "النطاقات الجديدة المنضمة إلى Cloudflare." في هذه النطاقات، "البوتات المصنفة كـ Training أو كـ Agent تُحظر في الصفحات التي تعرض إعلانات، بينما تبقى Search مسموحة." كل من هو موجود بالفعل على Cloudflare يختار إعداده الخاص، ويمكنه فعل ذلك في أي وقت قبل التاريخ المحدد.
إذا: النطاقات الجديدة فقط، والصفحات المدعومة بالإعلانات فقط، وإحدى الفئات الثلاث لا تزال تمر افتراضيا. هذا تغيير حقيقي ولكنه ليس جدارا عبر الإنترنت.
لكن النطاق الضيق هو الجزء المثير للاهتمام. Cloudflare لم تنشر سياسة، بل نشرت إعدادا افتراضيا، والإعدادات الافتراضية هي الكيفية التي تصبح بها السياسة معيارا دون تصويت أحد عليها. الرقم الذي يستحق المراقبة ليس 15 سبتمبر. بل كم من هذه النطاقات لن يعدل هذا الإعداد بعد ذلك أبدا.
ما يعنيه هذا: إذا كنت تجمع البيانات، لم يعد السؤال المفيد "هل يمكنني تجاوز حماية هذا الموقع" بل أصبح "ما هي الفئة التي يعتقد هذا الموقع أنني أنتمي إليها." لكل منهما إجابة مختلفة، وواحدة منهما فقط هي ما يمكنك اختباره.
لا يمكن قياس الغرض. يجب التصريح عنه.
إليك المشكلة التقنية في تصنيف حركة المرور حسب القصد: القصد ليس موجودا داخل الـ packet.
يمكن قياس بصمة الجهاز (fingerprint). ويمكن قياس حركة الماوس. لكن لا يمكن قياس الإجابة عن "لماذا تجلب هذه الصفحة"، لذا يحتاج النظام إلى أن يصرح العميل بذلك بوضوح، ويحتاج إلى سبب لتصديق الإجابة. هذه هي المهمة التي تؤديها Web Bot Auth. يوقع الوكيل (agent) طلباته باستخدام مفتاح خاص، وينشر دليلاً للمفاتيح، وتقوم خوادم الحافة (edge) بالتحقق من التوقيع بالاعتماد عليه، استناداً إلى RFC 9421 HTTP Message Signatures. تحدد وثائق Cloudflare معيار البوت المعتمد بأنه "التعريف الذاتي الصادق".
انظر الآن إلى ما يفرض هذا على نطاق واسع. المواصفة هي draft-meunier-webbotauth-httpsig-protocol-02، وآخر مراجعة لها كانت في 18 أغسطس 2026. الحالة المقصودة: مسار المعايير (Standards Track). الحالة الفعلية: "مسودة إنترنت نشطة (فردية)" وهي "غير معتمدة من IETF" و"لا تتمتع بأي صفة رسمية في مسار معايير IETF". للمسودة مؤلفان اثنان. أحدهما يعمل في Cloudflare، والآخر في Google.
نعتقد أن التصميم سليم، وتجدر الإشارة إلى ذلك قبل البدء بالنقد. الهوية الموقعة تتفوق على سباق التسلح الخاص بـ captcha لكل من ينوي الالتزام بالسلوك السليم. زاحف الويب الذي يعرف عن نفسه يمكن السماح له أو تقييد معدل طلباته (throttled) أو محاسبته عن قصد بدلاً من التخمين، ويحصل أصحاب المواقع على وسيلة تحكم لا تعطل الزوار الحقيقيين كأضرار جانبية. قارن ذلك بعقد كامل من حظر نطاقات IP والاعتماد على الأمل.
ما لا تستطيع هذه الآلية فعله هو إيقاف أي شخص. النظام المبني على الغرض المصرح به يصنف فقط حركة المرور التي تصرح عن نفسها. كل ما عدا ذلك يعود إلى حزمة آليات الاكتشاف (detection stack) التي كانت موجودة بالفعل، وتلك الحزمة تزداد دقة باستمرار: فقد أطلقت Cloudflare ميزة التقييم السلوكي على مستوى الجلسة بعد اثني عشر يوماً فقط من إطلاق الفئات الجديدة.
بالتالي، لا يوجد تنافس بين الاثنين. الهوية تصنف الصادقين، وآليات الاكتشاف تتعامل مع البقية، والمسار الثاني هو المكان الذي ستستقر فيه حركة المرور الخاصة بك افتراضياً إذا لم تصرح عن أي شيء.
لا توجد خانة لجمع البيانات العامة
الآن نأتي إلى الجزء الذي ينبغي أن يقلق أي شخص يدير بنية تحتية لجمع البيانات (collection pipeline).
لنأخذ الأعمال التي نشرناها هذا العام كمثال. مؤشر أسعار الأخشاب المبني من القوائم العامة. اكتشاف انتهاكات الحد الأدنى للأسعار المعلنة (MAP) عبر ستة أسواق إلكترونية، وهو ما يعني جلب نفس صفحة المنتج من ست نقاط وصول جغرافية مختلفة ومقارنة ما تعرضه كل منها. تصنيفات متاجر التطبيقات وتحليل مشاعر المراجعات. عمليات التحقق من مواضع الإعلانات التي تجري من الدولة التي تم شراء الحملة فيها فعلياً.
حاول تصنيف هذه الحالات ضمن: بحث (Search)، أو وكيل (Agent)، أو تدريب (Training).
لا ينطبق تصنيف Search: فتعريف Cloudflare نفسه يربط هذا التصنيف بتوقع "زيارات إحالة أو تعويض عادل آخر بالمقابل"، وعملية التحقق الليلي من الأسعار لا ترسل إحالات لأي طرف. ولا ينطبق تصنيف Agent أيضاً، لأنه لا يوجد إنسان يجلس أمام شاشة ينتظر عملية الجلب هذه. وتصنيف Training غير صحيح بكل وضوح، إذ لا يتم إدخال أي بيانات في نموذج تدريب.
هذا تصنيف كُتب لوصف حركة مرور الذكاء الاصطناعي (AI) التي ظهرت في السنوات الثلاث الماضية، ويُطبق الآن على قطاع أعمال يسبقه بعقد من الزمن. استخبارات الأسعار، والبيانات البديلة، وتتبع نتائج محركات البحث (SERP)، وحماية العلامات التجارية، والتحقق من الإعلانات، ومراقبة الامتثال: لا شيء من هذا جديد، ولا يعتمد على الأنظمة المستقلة (agentic)، ولا يملك خياراً مخصصاً لتحديده.
حركة المرور التي لا تملك خياراً مخصصاً تُصنف من قِبل الجهة التي وضعت هذه التصنيفات. وغالباً ما تُدرج في أقرب تصنيف متاح.
ماذا يعني هذا لفرق البيانات
أربعة أمور يجدر القيام بها طالما أن القواعد لا تزال غير محسومة بعد.
حدد الفئة التي يمكنك تبنيها بصدق. ليس الفئة التي تسمح لك بالمرور فحسب، بل الفئة التي يمكنك الدفاع عنها خطياً إذا سألك أحد الناشرين مباشرة. وإذا كانت الإجابة الصريحة هي "لا شيء مما سبق"، فأنت ضمن الفئة الأكثر عرضة للخسارة عندما تصبح التصنيفات صارمة، والأكثر استفادة من إعلان ذلك طالما أن النقاش لا يزال مفتوحاً.
اقرأ إعدادات الموقع المستهدف بدلاً من العناوين الإخبارية. أصبحت سياسة البوتات الخاصة بأي موقع سمة خاصة بذلك الموقع، وقابلة للإعداد لكل مسار، وتتغير دون إشعار مسبق. التعامل مع عبارة "Cloudflare تحظر الوكلاء (agents) في سبتمبر" كحقيقة تؤثر على خطوط معالجة البيانات لديك سيدفعك لإعادة بناء أدوات لم تكن معرضة للخطر أصلاً.
افترض أن اختبار الصفحات الإعلانية سيتوسع. ربطت Cloudflare خيارها الافتراضي بالصفحات التي تعرض إعلانات، وهو مؤشر تقريبي على أن "هذه الصفحة تحقق أرباحاً من انتباه المستخدمين". هذا الحد سيتغير، وCloudflare ليست الجهة الوحيدة التي ترسمه. أطلقت AWS WAF ميزة تحقيق الدخل من حركة مرور الذكاء الاصطناعي في 15 يونيو 2026، حيث ترد برمز 402 وشروط دفع قابلة للقراءة آلياً. وسلكت Akamai طريق الشراكة مع TollBit وSkyfire. يقدم ثلاثة من أكبر مزودي خدمات الحوسبة الطرفية (edge providers) الآن نفس واجهة التحكم، وهو ما ناقشناه من جانب التسعير عندما تم إطلاق الدفع مقابل كل عملية زحف.
حافظ على قدرة نظام الجمع لديك على العمل في كلا المسارين. المسار المعرّف (التوقيع، والتصريح، ثم السماح بالوصول أو الفوترة) والمسار غير المعرّف (التقييم استناداً إلى السلوك، كالمعتاد) سيتعايشان لسنوات. البناء على افتراض وجود مسار واحد فقط هو الخطأ المكلف هنا، وفي كلا الاتجاهين.
سيعاد رسم حدود هذه الفئات
توقع نتحمل مسؤوليته بالكامل: ستظهر فئة رابعة خلال عام.
تتم كتابة النسخة الأولى من أي تصنيف بواسطة الطرف الواقع تحت الضغط، ولا يكون الأشخاص الذين يجري تصنيفهم حاضرين في الغرفة عند حدوث ذلك. تصف مصطلحات Search وAgent وTraining ما تفعله شركات الذكاء الاصطناعي مع الناشرين. لكنها لا تصف شركة أبحاث سوق، أو فريق امتثال، أو متجر تجزئة يفحص أسعار المنافسين، وهؤلاء الثلاثة يجلبون الصفحات العامة بشكل مهذب منذ ما قبل أن تعني كلمة "agent" أي شيء في هذا السياق.
إن النزاع حول تسمية هذا الخيار الرابع، ومن يحق له تحديده، سيكون أكثر أهمية لقطاع البيانات من أي مقياس anti-bot يُنشر هذا العام. وهذا نزاع يستحق الحضور من أجله.
لأن البديل التلقائي بسيط للغاية. إذا لم تتمكن حركة المرور الخاصة بك من تحديد هويتها بنفسها، فسيقوم شخص آخر بتسميتها نيابة عنك.