نموذج الدفع مقابل الزحف يقسم الويب إلى نصفين

في 19 فبراير 2026، أعلنت Stack Overflow و Cloudflare عن شيء لم تتوقعه أغلب صناعة بيانات الويب. لقد أطلقوا نموذج الدفع مقابل الزحف: وهو نظام تتلقى فيه زواحف AI استجابة 402 Payment Required في الوقت الفعلي ويمكنها إما دفع سعر الناشر أو التراجع. يتم التحقق من هوية البوت عند الحافة (edge)، ويحدد الموقع السعر، وتتم فوترة المعاملة.

تقف Cloudflare أمام واحد من كل خمسة مواقع على الإنترنت تقريبا. لذا عندما قاموا بتفعيل الحظر الافتراضي لبوتات AI المعروفة وأنشأوا سوقا حيث يفرض الناشرون رسوما لكل طلب، تغير نموذج الوصول لشريحة ضخمة من الويب المفتوح في عطلة نهاية أسبوع واحدة.

إذا كنت تبني بنية تحتية لبيانات الويب الآن، فهذا ليس إعلانا من Cloudflare يمكنك تجاهله. إنه يغير الحسابات حول معنى كلمة "مفتوح".

الآلية وراء هذا التغيير

الخطوة التقنية صغيرة. أعادت Cloudflare إحياء HTTP 402، وهو رمز حالة "الدفع مطلوب" الذي كان خاملا لفترة طويلة، وربطته بسجل من زواحف AI الموثقة. يحدد الناشر سعرا لكل طلب. إما أن يمتلك الزاحف رصيدا ويدفع، أو يتم حظره.

الخطوة غير التقنية أكبر. قبل ذلك، كانت الطرق الوحيدة لفرض "لا تسحب محتواي من أجل AI" هي ملف robots.txt (إرشادي وليس ملزما) والحظر العنيف للبوتات (ثنائي، يؤدي لفقدان البيانات، ومليء بالإيجابيات الكاذبة). أضافت Cloudflare خيارا ثالثا: بطاقة سعر.

تعمل اقتصاديات هذا الخيار الثالث بشكل مختلف عن الخيارين الأولين. لا يكلف ملف robots.txt شيئا ويتم تجاهله. ويكلفك حظر البوتات حركة مرور من مستخدمين حقيقيين تم تصنيفهم بشكل خاطئ كبوتات. بطاقة السعر، بحكم تصميمها، تفصل الزواحف المستعدة للدفع عن تلك غير المستعدة.

من يفرض الرسوم بالفعل

كانت Stack Overflow شريك الإطلاق لأن بيانات التدريب الخاصة بها ذات قيمة حقيقية وكانوا يتفاوضون بالفعل على صفقات ثنائية مع OpenAI وغيرها. قامت سوق Cloudflare بتعميم تلك الصفقات الثنائية في سجل يمكن لبقية عالم الناشرين الانضمام إليه.

نمت قائمة من حذوا حذوهم بسرعة. أطلقت AWS طبقة تحقيق الدخل من البوتات الخاصة بها. وبنت Akamai طبقة موازية. العرض المقدم للناشرين مباشر: بدلا من دعوى قضائية مكلفة واحدة ضد مختبر AI، احصل على خط إيرادات يدفع لكل طلب.

في الوقت الحالي هذا يخص في الغالب طبقة المحتوى عالي القيمة: التوثيقات، الأخبار، الأسئلة والأجوبة التقنية، والبيانات المرجعية المهيكلة. أما الذيل الطويل للويب (مواقع التجارة الإلكترونية الصغيرة، القوائم الإقليمية، والمنتديات المتخصصة) فلا تقف خلف مثل هذه البوابة ومن المحتمل ألا تقف أبدا. إدارة البوتات الخاصة بشركة Cloudflare تكلف أموالا لتشغيلها، ونموذج الدفع مقابل الزحف هو خياري. إنه مجدٍ فقط للمواقع التي تستحق فيها مشاهدة الصفحة الواحدة فرض رسوم عليها.

ماذا يعني هذا لمسارات بيانات الويب

إذا كنت تبني مسارا (pipeline) يسحب من Stack Overflow، أو المواقع الإخبارية الكبرى، أو أي من الناشرين المنضمين بنشاط، فإن خياراتك تضيق إلى ثلاثة. ادفع من خلال السوق بمجرد تحديد حركة المرور الخاصة بك كزاحف AI. انتقل إلى مجموعة بيانات مرخصة إن وجدت. أو ابحث عن البيانات في مكان ما لا تزال فيه مفتوحة.

سينتهي الأمر بمعظم الفرق للقيام بالثلاثة في أوقات مختلفة. هذا هو الواقع العملي. الويب ينقسم إلى مرخص ومفتوح، والحدود ليست مرسومة بدقة على طول خطوط النطاقات. نفس الناشر يمكن أن يكون لديه قسم خلف 402 وقسم آخر مفتوح. يمكن للموقع نفسه فرض رسوم على زاحف واحد وتجاهل بوت بحثي تماما.

نعتقد أن رد الفعل العملي للفرق الهندسية يبدو هكذا. أولا، راجع مصادرك. إذا كانت حصة كبيرة من مسارك تسحب من Stack Overflow أو Reddit أو المواقع الإخبارية الكبرى أو أي من الناشرين الذين يسعون علنا وراء هذه الصفقات، فافترض أن نموذج الوصول سيتغير في غضون اثني عشر شهرا. ثانيا، افصل المصادر المرخصة عن المفتوحة داخل بنيتك مبكرا. المسار الذي يعامل كل مصدر بشكل متطابق يكون هشا عندما يبدأ نصفها في طلب المال ولا يفعل النصف الآخر ذلك. ثالثا، توقف عن التعامل مع ملف robots.txt كالإشارة الوحيدة. الاستجابة 402 ستعني شيئا من الناحية التشغيلية حتى لو لم يكن الزاحف الخاص بك وكيل AI. الإيجابيات الكاذبة أمر حتمي في نظام جديد كهذا.

يأتي هذا جنبا إلى جنب مع ضغط الامتثال لبيانات التدريب من EU AI Act، والذي دفع الفرق بالفعل نحو المصادر المتتبعة المنشأ. الدفع مقابل الزحف هو نفس الضغط مع طبقة فوترة مرفقة.

الرأي الصريح

هناك أشياء قليلة ستعثر الناس. التحقق من الهوية في Cloudflare يعتمد على تسجيل البوتات. البوتات التي لا تسجل نفسها، أو التي تبدو كحركة مرور سكنية، لا تثير 402 على الإطلاق. بدلا من ذلك، تصطدم بحزمة مكافحة البوتات العادية. هذا بالفعل هو المسار الذي ستتخذه أغلب زواحف AI العنيفة. لذا فإن الدفع مقابل الزحف يعمل للبوتات التي تريد الامتثال. تلك التي لا تفعل ذلك لم تكن لتحترم ملف robots.txt أيضا.

التغيير الأكبر قد لا يكون السوق نفسه. بل هو أن "هل هذا المحتوى متاح لتدريب AI" أصبح سؤالا بإجابة تعاقدية بدلا من تخمين من robots.txt. يمكن للناشرين أخيرا فرض القواعد. ويمكن للزواحف أخيرا أن تعرف. المنطقة الرمادية تتقلص حيثما يصل السوق.

ما يبقى رماديا هو كل شيء خارجه. الموقع الصغير بدون Cloudflare، والمجمّع الإقليمي الذي ليس لديه استراتيجية AI، والذيل الطويل للويب الذي لا يتفاوض عليه أحد: هؤلاء لا يحصلون على 402، ولا يحصلون على صفقة ترخيص أيضا. يحتفظون بأي سياسة وصول كانت لديهم من قبل، فقط باحتجاج أعلى الآن لوجود سابقة للتعويض.

إلى أين يتجه هذا

توقعان، وهما ليسا آمنين.

أولا: ستشهد الاثني عشر شهرا القادمة طبقة ثانية من جدران الدفع، وهذه المرة للبوتات التي ليست تابعة لـ AI. آلية السوق هي مجرد رمز حالة HTTP وطبقة فوترة. ليس من الصعب تقنيا تمديدها لتشمل تسعير زواحف البحث، أو بوتات الأرشيف، أو مراقبة المنافسين. سواء كان الناشرون سيحافظون على موقفهم بفرض رسوم على زواحف AI فقط يعتمد على كيفية تصرف الموجة التالية. في أغلب السنوات، ينكسر هذا الموقف.

ثانيا: مختبرات AI ستلتف حوله. ليس من خلال تجاهل 402 (فهذا قابل للتتبع والتقاضي)، بل من خلال شراء مجموعات بيانات مرخصة بكميات كبيرة ثم تمرير كل شيء آخر عبر حركة مرور تبدو كمستخدمين حقيقيين. تقوم Cloudflare بالفعل بنشر المزيد من الكشف السلوكي تحديدا لأنهم يعرفون ذلك. لقد راقبنا سباق التسلح ذلك يتحول إلى إشارات على مستوى الجلسة منذ عامين حتى الآن. إنه لا ينتهي بسوق.

السؤال المثير للاهتمام للمطورين ليس ما إذا كانوا سيدفعون. بل أين يبقى الويب المفتوح مفتوحا، وإلى متى.