Cloudflare Verified Bots: تقييم حسب البوت، وإلغاء على مستوى الشركة
تقوم Cloudflare الآن بتقييم Verified bots استنادا إلى robots.txt ورمز الحالة 429. ينطبق التصنيف على بوت واحد، لكن توثيقها يتيح تطبيق العقوبة على شركتك بالكامل.
تقوم Cloudflare الآن بتقييم Verified bots استنادا إلى robots.txt ورمز الحالة 429. ينطبق التصنيف على بوت واحد، لكن توثيقها يتيح تطبيق العقوبة على شركتك بالكامل.
تستهدف مسودة إرشادات EDPB لعمليات web scraping تدريب الذكاء الاصطناعي، لكنها تفيد أي أداة استخراج تثبت ما جمعته، ومصادره، وتاريخ جمعه بدقة.
عبارة 'ابتداءً من X$ لكل 1,000' في scraping API ليست سوى الخيار الأرخص ضمن جدول الأسعار. ففي المواقع التي تُطلب منك بياناتها، تُحدد مضاعفات الرصيد (credit multipliers) التكلفة الحقيقية.
محكمتان، وفحص بوتات واحد من Google، وحكمان متناقضان بفارق 11 يوما. توضح دعوى Google ضد SerpApi المعيار الحاسم الآن: لمن تعود ملكية المحتوى المحمي بالفحص.
تصنف Cloudflare البوتات الآن بحسب الغرض لا السلوك: Search أو Agent أو Training. الإعداد الافتراضي الصادر في 15 سبتمبر أضيق نطاقا من حالة الذعر المثارة، وهناك مربع واحد مفقود.
حصلت Oxylabs على 130 مليون دولار بتقييم يبلغ 3.6 مليار دولار. تجاوزت Bright Data حاجز 300 مليون دولار من إيرادات ARR. تختفي API لتجريف الويب في السوق المتوسطة بسرعة. اطرح هذه الأسئلة الخمسة.
وسعت أدوات الكشف الفجوة بين جلسات headless وجلسات المتصفحات العادية في عام 2026. إذا كنت تقوم بتشغيل Puppeteer أو Playwright في بيئة الإنتاج، فاستعد لضريبة الكشف.
أطلقت Cloudflare ميزة Precursor في 13 يوليو. رصد السلوك على مستوى الجلسة يعني أن تحديث الصفحة لم يعد يعيد تعيين درجة الروبوت الخاصة بك. لماذا هذا مهم.
سوق الدفع مقابل الزحف من Cloudflare ورمز الحالة HTTP 402 يقسمان الويب إلى بيانات مرخصة وأخرى مفتوحة. إليك ما سيتغير لفرق جمع بيانات الويب في عام 2026.
تفرض Firecrawl رسومًا تبلغ 5 أضعاف لاستخراج البيانات من صفحة باستخدام LLM مقارنة بكشطها. عند 100 ألف صفحة يوميًا، تنهار الحسابات. متى يستحق استخراج LLM تكلفته، ومتى لا يستحقها.