# الدفع مقابل الزحف يقسم الويب إلى قسمين

> URL: https://foura.ai/ar/blog/pay-per-crawl-splits-the-web
> Updated: 2026-09-27
> Index: https://foura.ai/llms.txt

في 19 فبراير 2026، أعلنت Stack Overflow وCloudflare علناً عن خطوة لم تتوقعها غالبية قطاع بيانات الويب. لقد [أطلقتا معاً نظام الدفع مقابل الزحف (pay-per-crawl)](https://stackoverflow.blog/2026/02/19/stack-overflow-cloudflare-pay-per-crawl/): وهو نظام تتلقى فيه زواحف AI استجابة `402 Payment Required` في الوقت الفعلي، وتستطيع إما دفع السعر الذي يحدده الناشر أو المغادرة. يتم التحقق من هوية البوت عند edge، ويحدد الموقع السعر، وتتم فوترة المعاملة حسب الاستهلاك.

تعمل Cloudflare كواجهة لما يقارب موقعاً واحداً من كل خمسة مواقع على الإنترنت. لذا، عندما حوّلت الإعداد الافتراضي إلى الحظر لبوتات AI المعروفة وأنشأت سوقاً يفرض فيه الناشرون رسوماً لكل request، تغير نموذج الوصول لقطاع ضخم من الويب المفتوح خلال عطلة نهاية أسبوع واحدة.

إذا كنت تبني بنية تحتية لبيانات الويب في الوقت الحالي، فهذا ليس مجرد إعلان من Cloudflare لتتجاهله. إنه يغير الحسابات المتعلقة بمفهوم "المصدر المفتوح".

## الآلية التقنية وراء هذا التحول

الخطوة التقنية بحد ذاتها صغيرة. أعادت Cloudflare إحياء رمز الحالة HTTP 402، وهو رمز "Payment Required" الذي ظل خاملاً لفترة طويلة، وربطته بسجل لزواحف AI المتحقق منها. يحدد الناشر سعراً لكل request. إما أن يمتلك الزاحف رصيداً كافياً ويدفع، أو يتم حظره.

الخطوة غير التقنية هي الأكبر. قبل هذا، كانت الطرق الوحيدة لفرض "عدم تجريف المحتوى لصالح AI" هي ملف robots.txt (وهو توجيهي غير ملزم) أو الحظر الصارم للبوتات (وهو خيار ثنائي حاد، يتسبب في فقدان الزيارات ومليء بالنتائج الإيجابية الخاطئة). [أضافت Cloudflare خياراً ثالثاً](https://blog.cloudflare.com/introducing-pay-per-crawl/): وضع سعر محدد.

تختلف اقتصاديات هذا الخيار الثالث عن الخيارين الأولين. ملف robots.txt لا يكلف شيئاً ويتم تجاهله. وحظر البوتات يكلفك خسارة زيارات من مستخدمين حقيقيين تم تصنيفهم خطأ كبوتات. أما وضع السعر، فهو مصمم بطبيعته لفرز الزواحف المستعدة للدفع عن تلك التي ترفضه.

## من يفرض الرسوم فعلياً

كانت Stack Overflow هي الشريك في الإطلاق لأن بيانات التدريب لديها ذات قيمة حقيقية، وكانت تتفاوض بالفعل على صفقات ثنائية مع OpenAI وغيرها. عممت سوق Cloudflare هذه الصفقات الثنائية وحولتها إلى سجل يمكن لبقية الناشرين الانضمام إليه.

نمت قائمة المنضمين سريعاً. أطلقت AWS طبقة خاصة بها لتحقيق الدخل من البوتات. وأنشأت Akamai طبقة موازية. العرض المقدم للناشرين مباشر: بدلاً من رفع دعوى قضائية مكلفة ضد مختبر AI، احصل على مصدر دخل يدفع لك مقابل كل request.

حتى الآن، يقتصر هذا غالباً على فئة المحتوى عالي القيمة: التوثيق، والأخبار، والأسئلة والأجوبة التقنية، والبيانات المرجعية المهيكلة. أما المحتوى الأقل أهمية على الويب (مواقع التجارة الإلكترونية الصغيرة، والدلائل المحلية، والمنتديات المتخصصة) فلا يقع خلف مثل هذه البوابات، وربما لن يقع أبداً. فتشغيل إدارة البوتات الخاصة بـ Cloudflare يتطلب تكلفة مالية، وميزة الدفع مقابل الزحف هي ميزة اختيارية. إنها مجدية فقط للمواقع التي تستحق فيها مشاهدة الصفحة الواحدة فرض رسوم مقابلها.

## ماذا يعني هذا لخطوط معالجة بيانات الويب

إذا كنت تبني خط أنابيب بيانات يسحب من Stack Overflow، أو مواقع الأخبار الكبرى، أو أي من الناشرين الذين ينضمون بنشاط إلى هذه المنظومة، فإن خياراتك تتقلص إلى ثلاثة. الدفع عبر السوق بمجرد تحديد حركة مرورك كزاحف ذكاء اصطناعي. التحول إلى مجموعة بيانات مرخصة حيثما توفرت. أو العثور على البيانات في مكان لا تزال فيه مفتوحة.

ستنتهي معظم الفرق إلى استخدام الخيارات الثلاثة في أوقات مختلفة. هذا هو الواقع العملي. الويب ينقسم إلى مرخص ومفتوح، والحد الفاصل ليس مرسوما بدقة على امتداد نطاقات المواقع. يمكن للناشر نفسه أن يضع قسما خلف رمز 402 وقسما آخر مفتوحا. ويمكن للموقع نفسه أن يفرض رسوما على زاحف معين ويتجاهل بوت أبحاث بالكامل.

نعتقد أن رد الفعل العملي لفرق الهندسة يبدو هكذا. أولا، دقق في مصادرك. إذا كان جزء كبير من خط الأنابيب لديك يسحب من Stack Overflow، أو Reddit، أو مواقع الأخبار الكبرى، أو أي من عشرات الناشرين الذين يسعون علنا وراء هذه الصفقات، فافترض أن نموذج الوصول سيتغير خلال 12 شهرا. ثانيا، افصل المصادر المرخصة عن المفتوحة داخل بنيتك المعمارية مبكرا. إن خط الأنابيب الذي يتعامل مع كل مصدر بالشكل نفسه يكون هشا عندما يبدأ نصف المصادر في طلب المال بينما لا يطلب النصف الآخر ذلك. ثالثا، توقف عن التعامل مع robots.txt كإشارة وحيدة. استجابة `402` سيكون لها معنى تشغيلي حتى لو لم يكن الزاحف لديك وكيل ذكاء اصطناعي. فالإيجابيات الكاذبة أمر لا مفر منه في نظام بهذا القدر من الحداثة.

يأتي هذا إلى جانب [ضغوط الامتثال لبيانات التدريب الناتجة عن قانون الذكاء الاصطناعي في الاتحاد الأوروبي](https://foura.ai/blog/eu-ai-act-training-data-compliance)، والتي دفعت الفرق بالفعل نحو المصادر ذات المصدر الموثق والمعلوم. الدفع مقابل الزحف يمثل الضغط نفسه لكن مع إضافة طبقة فوترة.

## التقييم الصريح

هناك بعض النقاط التي ستوقع الكثيرين في اللبس. التحقق من الهوية لدى Cloudflare يعتمد على تسجيل البوتات لنفسها. أما البوتات التي لا تسجل، أو التي تبدو كحركة مرور سكنية عادية، فلن تؤدي إلى تفعيل 402 على الإطلاق. وبدلا من ذلك، ستواجه آليات كشف البوتات العادية. وهذا بالفعل هو المسار الذي ستسلكه معظم زواحف الذكاء الاصطناعي الهجومية. وبالتالي فإن الدفع مقابل الزحف يعمل مع البوتات التي تريد الامتثال. أما تلك التي لا تريد، فلم تكن لتلتزم بملف robots.txt من الأساس.

قد لا يكون التحول الأكبر هو السوق ذاتها. بل هو أن السؤال حول "هل هذا المحتوى متاح لتدريب نماذج الذكاء الاصطناعي" أصبح له إجابة تعاقدية بدلا من مجرد تخمين قائم على robots.txt. بات بإمكان الناشرين أخيرًا فرض شروطهم. وبات بإمكان الزواحف أخيرًا معرفة الموقف بوضوح. المنطقة الرمادية تنحسر في نطاق وصول هذا السوق.

ما يبقى في المنطقة الرمادية هو كل شيء خارج هذا النطاق. الموقع الصغير الذي لا يستخدم Cloudflare، والمجمع الإقليمي للأخبار الذي يفتقر إلى استراتيجية ذكاء اصطناعي، والذيل الطويل من الويب الذي لا يتفاوض عليه أحد: هؤلاء لا يرسلون رمز 402، ولا يحصلون على صفقات ترخيص أيضًا. سيحتفظون بأي سياسة وصول كانت لديهم من قبل، ولكن باحتجاجات أعلى صوتا الآن بعد أن أصبح هناك سابقة للتعويض المالي.

## إلى أين يتجه هذا المسار

توقعان اثنان، ولا يعتبر أي منهما مضمونا.

أولاً: ستشهد الأشهر الـ 12 القادمة مستوى ثانياً من جدران الدفع، وهذه المرة للبوتات غير المعتمدة على الذكاء الاصطناعي. تقتصر آلية السوق على رمز حالة HTTP وطبقة فوترة. ليس من الصعب تقنياً توسيعها لتشمل تسعير زواحف محركات البحث، أو تسعير بوتات الأرشفة، أو تسعير مراقبة المنافسين. أما مسألة التزام الناشرين بفرض الرسوم على زواحف الذكاء الاصطناعي فقط، فذلك يعتمد على سلوك الموجة القادمة. وفي معظم السنوات، ينهار هذا الالتزام.

ثانياً: ستلتف مختبرات الذكاء الاصطناعي حول ذلك. ليس عن طريق تجاهل الرمز 402 (فهذا أمر يمكن تتبعه ومقاضاته)، بل من خلال شراء مجموعات بيانات مرخصة بالجملة ثم تمرير كل شيء آخر عبر حركة مرور تبدو كمستخدمين حقيقيين. بدأت Cloudflare بالفعل في إطلاق المزيد من ميزات الاكتشاف السلوكي تحديداً لمعرفتها بذلك. لقد راقبنا [تحول سباق التسلح هذا إلى إشارات على مستوى الجلسة](https://foura.ai/blog/bot-detection-went-behavioral) لمدة عامين حتى الآن. والأمر لا ينتهي بوجود سوق.

السؤال المثير للاهتمام للمطورين ليس ما إذا كان ينبغي الدفع أم لا. بل أين ستظل الويب المفتوحة مفتوحة، وإلى متى.
