← كل المقالات

إرشادات EDPB حول Web Scraping: أدوات الاستخراج المستهدفة تتفوق

تستهدف مسودة إرشادات EDPB لعمليات web scraping تدريب الذكاء الاصطناعي، لكنها تفيد أي أداة استخراج تثبت ما جمعته، ومصادره، وتاريخ جمعه بدقة.

مجلس حماية البيانات الأوروبي وضع للتو مواصفة لأدوات الكشط

تحدثت سلطات حماية البيانات في أوروبا كثيرا عن نماذج الذكاء الاصطناعي. ولكن حتى هذا الصيف، لم يوضح أي من ذلك للمهندس ما ينبغي لأداة الكشط فعله قبل جلب صفحتها الأولى.

جاءت التوجيهات 03/2026 بشأن كشط الويب في سياق الذكاء الاصطناعي التوليدي لتغير ذلك. اعتمد مجلس حماية البيانات الأوروبي (EDPB) المسودة في 7 يوليو 2026، وتغلق استشارته العامة في 30 أكتوبر 2026. النطاق ضيق نظريا: شركات خاصة تكشط بيانات شخصية لتدريب الذكاء الاصطناعي التوليدي أو ضبطه الدقيق. عمليا، هذا هو الوصف الأكثر تفصيلا الذي تنشره جهة تنظيمية حول كيفية بناء مهمة كشط يمكن الدفاع عنها قانونيا، بدءا من المعايير التي تكتبها قبل أول request وصولا إلى الطابع الزمني على آخر سجل.

قراءتنا، بعد مراجعة الـ 23 صفحة كاملة: لا تهتم المسودة بالأدوات التي تستخدمها. بل تهتم بما إذا كان بإمكانك تحديد ما جمعته، ومن أين، ومتى. أدوات الكشط القادرة على الإجابة عن ذلك باستعلام واحد ستكون في أمان. أما عمليات الزحف المفتوحة غير المحددة فستواجه صعوبة مع كل فقرة تقريبا.

(إخلاء مسؤولية: هذه ليست استشارة قانونية. أولا، نحن نشير إلى مسودة، ونحن مهندسون نقرؤها لفهم ما تعنيه من منظور برمجي.)

الاستهداف أو عدم الاستهداف هو الفاصل الحاسم

تقسم الفقرة 8 الكشط إلى نوعين تبعا لمدى دقة الجمع وتقييده، "وليس الأدوات التقنية المستخدمة". يتبع الكشط المستهدف معايير جمع محددة: نطاق، أو لغة، أو موضوع. أما الكشط غير المستهدف فهو زاحف يتبع كل رابط يجده. ومخاوف المجلس محددة: مع نمو قائمة الانتظار (queue)، يصبح لدى مسؤول المعالجة "معرفة محدودة بالبيانات الشخصية التي تم جمعها ومعالجتها."

يمتد هذا التقسيم عبر بقية النص. يطلب مبدأ تقليل البيانات منك "تحديد معايير جمع دقيقة" وإجراء "عملية تعيين للبيانات وجردها" قبل بدء الجمع (الفقرة 37). ويشير اختبار الضرورة بموجب المصلحة المشروعة إلى أن تضييق المعايير، "بدلا من كشط جزء واسع من الإنترنت"، قد يكون هو ما يجعل المعالجة ضرورية بالأساس (الفقرة 52). وتتطلب الشفافية نشر قائمة بالمصادر، ويفضل أن تتضمن أسماء النطاقات وعناوين URL وتواريخ الجمع (الفقرتان 30 و31).

يمكن لأداة تتبع الأسعار التي تعتمد على قائمة ثابتة من صفحات المنتجات عبر عدد محدود من نطاقات المتاجر تقديم كل تلك المتطلبات مباشرة من ملف الـ config الخاص بها. بينما يعجز الزحف الذي يعتمد على البحث العريض (breadth-first) عن ذلك. ويحدد نقد Privacy World للمسودة جوهر هذا التعارض بدقة: كُتبت الالتزامات لمسؤول معالجة يعرف ما يجمعه، مباشرة بعد إقرار المجلس بأن الزحف غير المستهدف قد يحتوي على بيانات شخصية يعجز عن جردها.

ما يعنيه هذا: إذا كنت تجمع بيانات تمس أشخاصا (تقييمات بأسماء المستخدمين، قوائم تتضمن اسم الوكيل ورقمه، سلاسل المنتديات)، فإن معايير الجمع الخاصة بك أصبحت وثيقة امتثال قانوني. احتفظ بها في نظام التحكم في الإصدارات (version control) إلى جانب الـ scraper، وليس في ذاكرة أحدهم فقط.

رفض الموقع يُحسب الآن ضدك

هذا هو الجزء الذي سيغير معظم مسارات البيانات (pipelines). تسرد المسودة التدابير التقنية التي تُظهر معارضة صريحة من الموقع للزحف: robots.txt، وai.txt، و"مصادقة برامج التتبع لعرض المحتوى"، والفحوصات التي "تفرض إجراء لا يمكن تنفيذه إلا بواسطة إنسان" (الفقرة 37). وتنصح بعدم تضمين هذه المواقع في بيانات التدريب.

تعود الإشارات نفسها في اختبار الموازنة. فعندما يعلم الأشخاص أن الموقع يستخدم هذه الإجراءات ومع ذلك يتم كشط بياناته، توضح المسودة أن توقعاتهم لمعالجة البيانات تقل في هذه الحالة (الفقرة 64). يوضح المثال 5 الأمر صراحة: منصة تستخدم استبعاد robots.txt، وفحصا للبشر فقط، وحظرا معلنا لتدريب الذكاء الاصطناعي تعني أن مستخدميها "لا يمكنهم توقع" قيام جهات خارجية بكشط بياناتهم لهذا الغرض بشكل معقول. والعكس غير صحيح، فغياب ملف robots.txt لا يُعد موافقة (الفقرة 45).

كانت هيئة CNIL الفرنسية أول من أشار إلى ذلك. حيث تنص ورقة التركيز الخاصة بها حول المصلحة المشروعة وكشط الويب، المنشورة أول مرة في يونيو 2025، على أن المعالجة "لا يمكن أن تقع ضمن التوقعات المعقولة لأصحاب البيانات" عندما لا تستبعد الجهة المسؤولة عن التحكم المواقع التي تبدي اعتراضها عبر robots.txt أو فحوصات البشر فقط.

هناك بندان أقل وضوحا يندرجان تحت التدابير التخفيفية (الفقرة 66c). يستبعد أحدهما البيانات الشخصية التي لا تظهر إلا بعد تسجيل الدخول. بينما يغطي الآخر المواقع التي تعرض مخرجات للـ user agent الخاص بالـ scraper تختلف عن المتصفح العادي، "خاصة عندما تتلقى خدمة الكشط بيانات أكثر" مما يراه المستخدم العادي. إذا كان الـ scraper الخاص بك يقرأ واجهة API داخلية توفر بيانات أكثر مما تظهره الصفحة، فهذه هي الحالة المقصودة.

تناولنا الجانب المقروء آليا من هذا الأمر (امتدادات robots.txt، والوكلاء الموقعون، وإشارات المحتوى) في Search, Agent, Training: The Web's New Bot Rules، كما تناولنا الناشرين الذين يفضلون فرض رسوم بدلا من الرفض في Pay-Per-Crawl Is Splitting the Web in Two. وتعد مسودة EDPB المرة الأولى التي يتعامل فيها منظم مع هذه الإشارات كدليل على توقعات المستخدمين.

ما يعنيه هذا: سجّل حالة robots.txt (وai.txt إذا كان الموقع يوفره) لكل نطاق في وقت الجمع، وخزنها إلى جانب البيانات. إذا سأل شخص ما بعد عام عن سبب وجود مصدر معين في مجموعة بيانات التدريب، فإن عبارة "كان مسموحا به في يوم جلبه" لن تكون إجابة مقبولة ما لم تكن قد وثقتها.

قد يُعتبر الـ scraper هو معالج البيانات (processor)

القسم 3.2.1 قصير ويسهل تجاوزه. لكن لا ينبغي فعل ذلك، خاصة إذا كنت تبني scrapers للعملاء. إذا أنشأت مجموعة بيانات تدريب نيابة عن المطور "وفقا لتعليماته الموثقة"، فقد تكون معالجا (processor) والمطور هو المتحكم (controller) (الفقرة 18). إذا حددت أنت والعميل معايير الجمع معا، فقد تكونان متحكمين مشتركين (joint controllers) (الفقرة 20، المثال 1). إذا قمت بسحب مجموعة بيانات بنفسك وأعاد شخص آخر استخدامها، فإن كل طرف مسؤول عن معالجته الخاصة (الفقرة 19).

يوضح مقال براين هنجسبو على IAPP حول المسودة النقطة التجارية. عندما يحدد العقد المورد كمعالج، يتحمل العميل أعباء الامتثال التي توضحها الإرشادات، في حين أن واجبات المورد المباشرة "قد تكون أضيق وأقل طمأنينة مما كان يعتقد سابقا." وهذا سلاح ذو حدين. لا يمكن للعميل إلقاء مسؤولية الامتثال على المستقل الذي كتب أداة scraper، والمستقل الذي يرتجل قائمة المصادر قد يجد نفسه متحكما بالخطأ.

ما الذي يجب على فرق البيانات تغييره الآن

معظم عمليات scraping التجارية لا تتأثر بهذا. فالأسعار ومستويات المخزون ومواصفات المنتجات والجداول الزمنية لا تعتبر عموما بيانات شخصية، لذا لا ينطبق عليها GDPR. توضح المسودة صراحة أنه في مجموعات البيانات "المختلطة"، يسري التنظيم على الجزء المتعلق بالبيانات الشخصية فقط (الفقرة 13). بالتالي، فإن إدراج اسم بائع في قائمة، أو مراجعة تحتوي على اسم مستخدم، يجعل ذلك الجزء خاضعا للنطاق.

بالنسبة للمهام التي تجمع بيانات أشخاص، إليك كيفية ترجمة متطلبات المسودة إلى pipeline:

ما تطلبه المسودة في pipeline الخاص بك
معايير الجمع أنماط URL لكل مهمة
تصفية مبنية على البنية النحوية (Syntax) استبعاد عبر Regex أثناء التحليل (parse)
سجلات بطوابع زمنية fetched_at في كل صف
قائمة بالمصادر نطاقات Domains في الإعدادات (config)
احترام خيارات الانسحاب (opt-outs) تسجيل حالة robots.txt

يستحق اثنان من تلك الصفوف تفصيلا أكبر من مجرد خانة في جدول.

قم بالتصفية أثناء التحليل (parse time)، وليس عبر مهمة تنظيف بعد أسابيع. تشير الفقرة 38 إلى التعبيرات النمطية (regular expressions) لتنسيقات مثل أرقام الضمان الاجتماعي وأرقام الهواتف، وتطبيقها أثناء الجمع. البيانات التي لم تخزنها قط هي بيانات لن تضطر إلى تبريرها أبدا، وتوضح الفقرة 60 بصراحة سبب أهمية ذلك للذكاء الاصطناعي: بمجرد تدريب النموذج، "لا يمكن حذف البيانات الشخصية منه بسهولة".

احتفظ برابط URL المصدر ووقت الجلب في كل سجل. تطلب الفقرة 42 طوابع زمنية لضمان الدقة، لكن هذين الحقلين نفسهما يجيبان على كل تساؤل لاحق حول مصدر معلومة معينة. كانت قواعد بيانات التدريب تزداد صرامة بالفعل بموجب قانون الذكاء الاصطناعي (AI Act) (كتبنا عن ذلك في أبريل)، وهي تواصل طرح السؤال نفسه.

إذا كنت تطور أنظمة لصالح عملاء، فيجب عليك تدوين التعليمات كتابة: المصادر، والحقول، والاستثناءات. تعتبر المسودة أن التعليمات الموثقة هي ما يجعلك معالجا بدلا من متحكم مشارك، ومستند مواصفات من صفحة واحدة يجنبك أي جدل لاحق حول الأدوار.

ماذا يحدث بعد 30 أكتوبر

سيتغير النص النهائي، وقد يأتي التحول الأكبر من بروكسل بدلا من المجلس. في 21 أكتوبر 2026، وافق المجلس على موقفه التفاوضي بشأن الحزمة الرقمية الشاملة (Digital Omnibus)، وهي الحزمة التي ستعدل لائحة GDPR. ووفقا لتقرير IAPP حول هذا التفويض، أضافت الدول الأعضاء "توضيحات حول الأساس القانوني لمعالجة البيانات الشخصية وضرورة الحفاظ على الضمانات المناسبة" لبيانات تدريب الذكاء الاصطناعي. المفاوضات مع البرلمان الأوروبي هي الخطوة التالية. وأيا كانت الصياغة النهائية، فإن الدول الأعضاء تريد الإبقاء على الضمانات، مما يشير إلى اختبار موازنة يشبه إلى حد كبير هذه المسودة.

نعتقد أن التمييز بين الجمع المستهدف وغير المستهدف سيصمد في كلا المسارين، لأنه الجزء الوحيد في المسودة الذي يتعلق بالهندسة بدلا من القانون. لن تقرأ الجهة التنظيمية الكود البرمجي لبرنامج crawler الخاص بك. لكن يمكنها طلب معايير الجمع، وقائمة المصادر، والطوابع الزمنية (timestamps)، والفريق الذي يستطيع تسليم هذه البيانات في نفس اليوم لن يتبقى أمامه الكثير للجدال بشأنه.

لذلك، لن يكون السؤال التالي الذي تطرحه جهة تنظيم الخصوصية على أداة scraper هو "كيف تعمل"، بل "ما الذي تم توجيهها لجمعه".