في 19 فبراير 2026، أعلنت Stack Overflow وCloudflare علنًا عن خطوة لم تتوقعها معظم أطراف صناعة بيانات الويب. لقد أطلقتا معًا نظام الدفع مقابل الزحف (pay-per-crawl): وهو نظام تتلقى فيه زواحف الذكاء الاصطناعي استجابة 402 Payment Required فورية، ويكون أمامها إما دفع السعر الذي حدده الناشر أو المغادرة. يتم التحقق من هوية البوت عند الـ edge، ويحدد الموقع السعر، وتتم محاسبة المعاملة حسب الاستخدام.
تتوسط Cloudflare حركة المرور لنحو موقع واحد من بين كل خمسة مواقع على الإنترنت. لذلك، عندما فعّلت خيار الحظر افتراضيًا لبوتات الذكاء الاصطناعي المعروفة وأنشأت سوقًا يتقاضى فيه الناشرون رسومًا لكل request، تغير نموذج الوصول لقطاع ضخم من الويب المفتوح خلال عطلة نهاية أسبوع واحدة.
إذا كنت تبني بنية تحتية لبيانات الويب في الوقت الحالي، فهذا ليس مجرد إعلان عابر من Cloudflare لتتجاهله. إنه يغير المعادلة الجذرية لما يعنيه الويب "المفتوح".
الآلية التقنية وراء هذا التحول
الخطوة التقنية بسيطة. أعادت Cloudflare إحياء رمز الحالة HTTP 402 ("Payment Required") الذي ظل غير مستخدم لفترة طويلة، وربطته بسجل لزواحف الذكاء الاصطناعي المعتمدة. يحدد الناشر سعرًا لكل request. ومن ثم، إما أن يمتلك الزاحف رصيدًا ويدفع، أو يتم حظره.
أما الخطوة غير التقنية فهي الأكبر تأثيرًا. قبل ذلك، كانت الطرق الوحيدة لفرض قاعدة "لا تستخرج محتواي لتدريب الذكاء الاصطناعي" مقتصرة على ملف robots.txt (وهو إرشادي وغير ملزم) والحظر الصارم للبوتات (وهو إجراء ثنائي غير دقيق ويتسبب في خسائر والعديد من النتائج الإيجابية الخاطئة). أضافت Cloudflare خيارًا ثالثًا: وضع تسعيرة محددة.
تختلف اقتصاديات هذا الخيار الثالث عن الخيارين الأولين. لا يكلف robots.txt شيئًا ولكن يتم تجاهله. ويكلفك حظر البوتات خسارة زيارات من مستخدمين حقيقيين صُنّفوا خطأً كبوتات. أما التسعيرة، بطبيعتها، فهي تفصل الزواحف المستعدة للدفع عن تلك التي ترفضه.
من يفرض الرسوم فعليًا
كانت Stack Overflow شريك الإطلاق لأن بيانات التدريب الخاصة بها ذات قيمة عالية بالفعل، وكانت تتفاوض مسبقًا على صفقات ثنائية مع OpenAI وغيرها. عممت سوق Cloudflare هذه الصفقات الثنائية في سجل موحد يمكن لبقية الناشرين الانضمام إليه.
وسرعان ما اتسعت قائمة المنضمين. أطلقت AWS طبقتها الخاصة لتحقيق الدخل من البوتات، وأنشأت Akamai طبقة موازية. العرض المقدم للناشرين مباشر: بدلًا من خوض دعوى قضائية مكلفة ضد مختبر ذكاء اصطناعي، احصل على مصدر دخل يدفع لك مقابل كل request.
حتى الآن، يقتصر هذا في الغالب على فئة المحتوى عالي القيمة: التوثيق البرمجي، الأخبار، الأسئلة والأجوبة التقنية، والبيانات المرجعية المنظمة. أما الجزء الأكبر المتبقي من الويب (مواقع التجارة الإلكترونية الصغيرة، القوائم المحلية، والمنتديات المتخصصة) فلا يقع خلف هذا النوع من البوابات، ومن المرجح ألا يقع خلفها أبدًا. تكلف إدارة البوتات في Cloudflare رسوم تشغيل، ونظام الدفع مقابل الزحف هو ميزة اختيارية. إنها مجدية ماليًا فقط للمواقع التي تستحق فيها مشاهدة الصفحة الواحدة فرض رسوم.
ماذا يعني هذا لخطوط معالجة بيانات الويب
إذا كنت تبني pipeline يسحب البيانات من Stack Overflow أو مواقع الأخبار الكبرى أو أي من الناشرين الذين ينضمون بنشاط إلى هذه المنظومة، فإن خياراتك تنحصر في ثلاثة. الدفع عبر السوق بمجرد تحديد حركة مرورك كـ AI crawler. أو الانتقال إلى مجموعة بيانات مرخصة حيثما توفرت. أو العثور على البيانات في مكان لا تزال فيه مفتوحة.
ستنتهي معظم الفرق إلى تطبيق الخيارات الثلاثة في أوقات مختلفة. هذا هو الواقع العملي. الويب ينقسم الآن إلى مرخص ومفتوح، والحد الفاصل ليس مرسوما بدقة على مستوى النطاقات. يمكن للناشر نفسه أن يضع قسما خلف 402 وقسما آخر مفتوحا. يمكن للموقع نفسه أن يفرض رسوما على crawler معين ويتجاهل bot أبحاث تماما.
نعتقد أن الاستجابة العملية للفرق الهندسية تتمثل في الآتي. أولا، دقق في مصادرك. إذا كانت حصة كبيرة من الـ pipeline الخاص بك تعتمد على Stack Overflow أو Reddit أو مواقع الأخبار الكبرى أو أي من عشرات الناشرين الذين يسعون علنا وراء هذه الصفقات، فافترض أن نموذج الوصول سيتغير خلال اثني عشر شهرا. ثانيا، افصل المصادر المرخصة عن المصادر المفتوحة داخل بنيتك البرمجية مبكرا. الـ pipeline الذي يتعامل مع كل مصدر بالشكل نفسه يكون هشا عندما يطلب نصفها الدفع بينما لا يطلب النصف الآخر ذلك. ثالثا، توقف عن التعامل مع robots.txt كإشارة وحيدة. سيكون لاستجابة 402 معنى تشغيلي حتى لو لم يكن الـ crawler الخاص بك وكيل ذكاء اصطناعي. فالنتائج الإيجابية الخاطئة (false positives) حتمية في نظام بهذا القدر من الحداثة.
يتزامن هذا مع ضغط الامتثال لبيانات التدريب بموجب قانون الذكاء الاصطناعي في الاتحاد الأوروبي، والذي دفع الفرق بالفعل نحو مصادر يمكن تتبع أصلها. الدفع مقابل الزحف (Pay-per-crawl) هو نفس الضغط ولكن مع إضافة طبقة فوترة.
The Honest Take
هناك بعض النقاط التي ستربك الكثيرين. يعتمد التحقق من الهوية في Cloudflare على تسجيل الـ bots. أما الـ bots التي لا تسجل نفسها، أو التي تبدو كحركة مرور سكنية (residential traffic)، فلن تواجه 402 على الإطلاق. بل ستصطدم بنظام bot detection العادي بدلا من ذلك. هذا هو المسار الذي ستسلكه بالفعل أكثر برمجيات AI crawler شراسة. بالتالي، فإن الدفع مقابل الزحف يعمل مع الـ bots التي ترغب في الامتثال. أما تلك التي لا ترغب في ذلك، فلم تكن لتلتزم بـ robots.txt في المقام الأول.
قد لا يكون التحول الأكبر هو السوق بحد ذاته. بل في أن سؤال "هل هذا المحتوى متاح لتدريب الذكاء الاصطناعي" أصبح يحمل إجابة تعاقدية بدلا من كونه تخمينا عبر robots.txt. بات بإمكان الناشرين فرض شروطهم أخيرا. وبات بإمكان برمجيات الـ crawler المعرفة بدقة. المنطقة الرمادية تنحسر أينما وصل السوق.
لكن ما يظل رماديا هو كل شيء خارجه. المواقع الصغيرة التي لا تستخدم Cloudflare، والمجمعات الإقليمية التي لا تمتلك استراتيجية للذكاء الاصطناعي، والذيل الطويل (long tail) للويب الذي لا يتفاوض عليه أحد: كل هذه لن تعرض 402، ولن تحصل على اتفاقية ترخيص أيضا. ستظل تحتفظ بأي سياسة وصول كانت تطبقها سابقا، ولكن مع احتجاجات أعلى صوتا الآن بعد وجود سابقة للتعويض المالي.
Where This Goes
توقعان اثنان، وهما ليسا بالرهان الآمن.
أولاً: ستشهد الأشهر الاثنا عشر القادمة مستوى ثانياً من جدران الدفع، وهذه المرة للبوتات غير المعتمدة على الذكاء الاصطناعي. لا تتعدى آلية السوق مجرد رمز حالة HTTP وطبقة فوترة. ليس من الصعب تقنياً توسيعها لتشمل تسعير زواحف محركات البحث، أو تسعير بوتات الأرشفة، أو تسعير مراقبة المنافسين. أما مسألة التزام الناشرين بفرض رسوم على زواحف الذكاء الاصطناعي فقط، فذلك يعتمد على سلوك الموجة القادمة. في معظم السنوات، ينهار هذا الالتزام.
ثانياً: ستلتف مختبرات الذكاء الاصطناعي حول ذلك. ليس عن طريق تجاهل الرمز 402 (لأن ذلك قابل للتتبع والتقاضي)، ولكن عن طريق شراء مجموعات بيانات مرخصة بالجملة، ثم تمرير كل شيء آخر عبر حركة مرور تبدو كمستخدمين حقيقيين. بدأت Cloudflare بالفعل في إطلاق المزيد من ميزات الكشف السلوكي تحديداً لمعرفتها بهذا الأمر. لقد راقبنا تحول سباق التسلح هذا نحو الإشارات على مستوى الجلسة لمدة عامين حتى الآن. ولن ينتهي الأمر بوجود سوق.
السؤال المثير للاهتمام للمطورين ليس ما إذا كان ينبغي الدفع، بل أين ستظل شبكة الويب المفتوحة متاحة، وإلى متى.