بيانات تسعير الأخشاب الأوروبية متاحة للعموم من الناحية التقنية، لكنها غير قابلة للاستخدام عمليا. تدرج إحدى الدول أسعار خشب البلوط باليورو لكل متر مكعب، غير شاملة الضرائب. بينما تنشر دولة مجاورة أسعار خشب الزان بالعملة المحلية، شاملة الضرائب، مدفونة داخل ملف PDF ممسوح ضوئيا دون طبقة نصوص قابلة للبحث. ومما يزيد الأمر تعقيدا، يتم تسعير الأشجار القائمة، وجذوع الأشجار على جوانب الطرق، وحصص المزادات المختارة جنبا إلى جنب كما لو كانت منتجات متطابقة.
البيانات الأولية موجودة. لكن استخبارات السوق غائبة.
أطلقت KORENA مؤشر KORENA Timber Index لمعالجة ذلك. والنتيجة هي مرجع يومي ومجاني لأسعار الأخشاب الصلبة، والأخشاب المنشورة، وألواح الخشب الأوروبية. اعتبارا من منتصف عام 2026، يتتبع المؤشر ما يقارب 24 نوعا و 170 صف أسعار إقليمي عبر عشر دول (رومانيا، ألمانيا، بلغاريا، بولندا، فرنسا، النمسا، إيطاليا، فنلندا، النرويج، السويد)، بالإضافة إلى طبقة سوقية تغطي الاتحاد الأوروبي بالكامل.
لكي يغطي فريق هندسي مكون من شخصين كل هذا النطاق، احتاجت KORENA إلى حسم قرار واحد: من يتولى التعامل مع الويب. اختاروا FourA، ووجهوا كل شيء عبرها.
بوابة واحدة إلى الويب
اتخذت KORENA خيارا معماريا في مرحلة مبكرة: يمر كل request ويب خارجي عبر FourA. تخلصوا من أدوات الكشط العشوائية، والسكربتات المنفردة، والأوامر المخصصة المخبأة داخل قاعدة التعليمات البرمجية.
لم يكن الأمر يتعلق بالراحة. بل بالاتساق والتوافق. تتصرف بوابات الغابات بشكل غير متوقع. بعضها صفحات HTML ثابتة. والبعض الآخر منصات مزادات حديثة لا تعرض البيانات إلا بعد أن يقوم المتصفح بعملية render لها. غالبا ما تكون المواقع الحكومية بطيئة، أو قديمة، أو محمية بشدة.
من خلال توجيه كل حركة المرور عبر بنية FourA التحتية للتعامل مع request، تدير KORENA عمليات إعادة المحاولة، و backoff، وتسجيل الأحداث (logging)، والتنبيهات بنفس الطريقة عبر كل مصدر. ويمكن حساب hash لكل مستند مسترجع، وتخزينه، وتتبع مساره وصولا إلى سعره النهائي لأغراض التدقيق.
اختيار استراتيجية الجلب المناسبة لكل مصدر
بدلا من كتابة منطق كشط مخصص لكل موقع برمجيا، تربط KORENA كل مصدر بيانات بنقطة نهاية FourA endpoint محددة مباشرة في قاعدة بياناتهم (انظر اختيار نوع المهمة المناسب للاطلاع على التفاصيل الكاملة). يمكنهم تبديل الاستراتيجيات دون المساس بكود التحليل الأساسي لديهم:
Single (
/single/): صفحات HTML الثابتة، وتغذيات XML، وتنزيلات PDF المباشرة. تقارير الإحصاء الألمانية، وتحديثات هيئة الغابات الحكومية البلغارية، وجداول الأسعار الرومانية. سريعة، وخفيفة، وهي الخيار الافتراضي المناسب لمعظم المواقع.Browser (
/browser/): تطبيقات الويب التفاعلية التي تتطلب بيئة متصفح حقيقية. منصة مزادات e-Drewno البولندية تتطلب الـ rendering قبل ظهور الأرقام. كود HTML الأولي لا يحتوي على أي شيء مفيد.Proxy Finder (
/proxy/): الحل البديل للأهداف الأكثر صعوبة. تدوير أقوى، بالإضافة إلىunblocker: trueلعمليات الفحص على مستوى handshake.
نظراً لأن هذا الإعداد يتم لكل مصدر وليس عبر نص برمجي ثابت، يمكن لـ KORENA نقل المصدر من Single إلى Browser ثم إلى Proxy Finder عندما يغير الموقع آليات دفاعه. لا تصل هذه التغييرات إلى طبقة التحليل إطلاقاً.
ملفات PDF الممسوحة ضوئياً: الجزء الأكثر تعقيداً
تعد واجهات web APIs الحديثة واضحة ومباشرة. تكمن الحالة الأكثر صعوبة في الأتمتة في ملفات PDF التي تحتوي على صور فقط. قوائم الأسعار ونتائج المزادات المنشورة كمسوح ضوئية دون أي طبقة نصية. هذا أمر مزعج للإنسان، ولكنه يوقف خط المعالجة بالكامل لمؤشر يومي.
يتعامل خط معالجة KORENA مع هذه الملفات عبر تقسيم واضح للمهام:
الاسترداد: تقوم FourA بتنزيل بايتات ملف PDF الخام يومياً وبموثوقية.
تقييم النص: تتحقق KORENA من الملف بحثاً عن طبقة نصية أصلية قابلة للاستخدام.
المعالجة والاستخراج: إذا كان ملف PDF عبارة عن صورة مسطحة، تقوم KORENA بتحويل الصفحات إلى صور نقطية وتمريرها عبر OCR واستخراج المستندات المدعوم بالذكاء الاصطناعي، مع تطبيق تلميحات لغوية مخصصة وقواميس للأنواع لرصد مصطلحات الحراجة المحلية.
التحقق من Schema: يتم التحقق من المخرجات مقابل نفس الـ schema المستخدمة لكل المصادر الأخرى.
لا يعمل أي من هذا إذا تعذر جلب المستند بموثوقية كل يوم. هذه هي الخطوة التي تتولاها FourA.
الجلب مقابل الفهم: فصل واضح للمهام
تتمثل مهمة FourA في تسليم البايتات الخام بموثوقية. لا تحتاج إلى معرفة أي شيء عن الأخشاب. يتيح ذلك لـ KORENA تركيز 100% من طاقتها على ما تتقنه فعلياً: تحويل البيانات الفوضوية إلى مؤشر موحد. يبقى كل ما يتعلق بالمجال التخصصي داخل KORENA. يتم تحليل HTML محلياً، وتتم قراءة ملفات PDF الرقمية باستخدام pdfjs-dist، بينما تتم معالجة ملفات PDF الممسوحة ضوئياً عبر OCR.
خطوة توحيد المعايير هي المرحلة التي تتحول فيها الأرقام الخام إلى مؤشر. سعر الأشجار القائمة ليس هو سعر جذوع النشر، ونتيجة المزاد المحلي الشاملة لضريبة القيمة المضافة لا تقارن مباشرة بسعر تصدير غير شامل للضريبة. لتحويل الأرقام الخام إلى بيانات سوقية قابلة للمقارنة، تحول KORENA جميع البيانات إلى معيار موحد: يورو لكل متر مكعب، غير شامل ضريبة القيمة المضافة، ومكافئ للتسليم.
لإجراء ذلك بدقة، يأخذ النظام في الاعتبار:
- أسعار صرف European Central Bank اليومية.
- قواعد ضريبة القيمة المضافة المحددة لكل دولة.
- عوامل النقل بناءً على مرحلة منتج الخشب.
يحافظ المؤشر أيضاً على فصل طبقات السوق المختلفة. تظهر الأخشاب المستديرة السائبة، ومزادات الأخشاب القيّمة، وقوائم البيع بالتجزئة كفئات منفصلة ولا يتم دمجها معاً أبداً. لا يُسمح لحصة مزاد ممتازة بتشويه خط الأساس.
هذا الفصل هو جوهر الحل: FourA تتولى الوصول إلى الويب، وKORENA تتولى معالجة بيانات الأخشاب. لا تتحول أي منهما إلى صندوق أسود تعتمد عليه الأخرى.
لماذا أصبحت شفافية أسعار الأخشاب أمراً ملحاً فجأة
تدفع اللوائح الأوروبية الأكثر صرامة، بما في ذلك EU Deforestation Regulation (EUDR)، سوق الأخشاب نحو التتبع الكامل وتوثيق مصادر أكثر دقة. وتمثل شفافية التسعير النصف الآخر من هذه المعادلة. يحتاج مزارعو الأخشاب الذين يقارنون القيم الإقليمية، والمشترون الذين يتحققون من عروض الأسعار، والأسواق الرقمية التي تحدد الأسعار الأساسية، إلى بيانات يومية ومحلية وقابلة للمقارنة. لا متوسطات سنوية قديمة. ولا أرقام محلية لمرة واحدة.
بالنسبة لفريق هندسي صغير مكون من شخصين يغطي 10 دول ومئات التنسيقات غير المتوقعة للويب، لم يكن بإمكانهم إضاعة وقتهم في إدارة بنية proxy التحتية، وأساطيل المتصفحات، والإصلاحات المخصصة لكل موقع (راجع the hidden cost of maintaining your own scrapers للاطلاع على الحسابات الكاملة). تتولى FourA طبقة request بالكامل. وتستعيد KORENA الوقت للتركيز على توحيد الأنواع، وضبط OCR، ومنطق التسعير، ومسارات التدقيق، وهو العمل الذي ينفردون به فقط.
كانت معرفة أسعار الأخشاب اليومية تتطلب سابقًا مكالمة هاتفية مع الوسيط الإقليمي. الآن يمكن لأي شخص رسم المنحنى البياني بنفسه عبر timber-index.korena.eu. لن تملك المنتجات العشرة القادمة الشبيهة بـ Index الوقت لبناء طبقة الجلب من الصفر. هذا هو الرهان الذي نضعه.
هل تبني منتجًا يعتمد على بيانات الويب العامة وترغب في التخلص من أعباء صيانة أدوات scraping وبنية proxy التحتية الخاصة بك؟ Get started with FourA.