كل المقالات

ظهور FourA في Dawn، وبداية لشيء جديد

أطلقت Dawn هذا الأسبوع دمجًا لـ FourA. وراء كل إجابة يقدمها الوكيل والتي تمس الويب المباشر، يوجد الآن استدعاء استخراج. إليك الشكل الذي يبرز حاليًا.

يفتح مهندس Dawn ويطلب: "اسحب https://topstartups.io/ وأعطني أول 10 شركات ناشئة، بما في ذلك الأسماء، والأوصاف، والمقر الرئيسي، وسنة التأسيس، وعناوين URL، والصفحات الاجتماعية، ومنسقة كجدول."

يفكر الوكيل للحظة، ويجلب الصفحة، ويحلل القوائم، ويتبع الملف الشخصي لكل شركة ناشئة، ويعيد الجدول. عشرة صفوف. كل عمود ممتلئ. Pogo و Auctor و Scalify و Omnea و Rivan و Listen Labs و Doppel و Blossom و Avoca و Traba. مقار رئيسية في بروكلين، نيويورك، لندن، سان فرانسيسكو، وعن بعد. LinkedIn لمعظمها. سنوات التأسيس من 2020 إلى 2026.

كان هذا الجدول نتيجة مجموعة من استدعاءات FourA.

هذا الأسبوع أطلقت Dawn خدمة FourA كأداة من الدرجة الأولى داخل منصة الوكيل الخاصة بهم. إنها تقف في شبكة الدمج الخاصة بهم بجوار Notion و GitHub و Google Drive. يمكن للوكلاء الذين لديهم إمكانية الوصول إلى FourA جلب صفحة ويب عامة أو نقطة نهاية HTTP، وتحليل الاستجابة (بما في ذلك JSON)، وإرسال نموذج، والتحقق من إمكانية الوصول، وسحب نص أو روابط معينة من الاستجابة. كل وكيل لديه وصول صريح أو لا. حوكمة لكل وكيل، ولا يوجد خطأ "كل وكيل يحصل على الإنترنت".

FourA in Dawn's integrations grid, alongside OneDrive, MailJet, Linear, Jira, and Trello FourA in Dawn's integrations grid, alongside OneDrive, MailJet, Linear, Jira, and Trello

الشيء المثير للاهتمام ليس أن الوكيل يمكنه الوصول إلى عنوان URL. لقد كان البحث في الويب موجودًا في منصات الوكلاء لمدة عام. الشيء المثير للاهتمام هو شكل الأداة الذي يبرز.

يعد البحث في الويب واستخراج عنوان URL وظيفتين مختلفتين. البحث مخصص لـ "ماذا يقول الإنترنت عن X؟" معلومات واسعة وتوليدية وملخصة. الاستخراج مخصص لـ "هنا هو عنوان URL أو نقطة النهاية، اجمعه وأعطني الإجابة المهيكلة." متطلبات موثوقية مختلفة، وملفات تعريف تكلفة مختلفة، وأنماط فشل مختلفة. مزجها في أداة واحدة ينتج إجابة متوسطة لكليهما.

يعاملها دمج Dawn كأدوات منفصلة. لديهم إمكانية /web-research للوظيفة الأوسع. FourA مخصص للوظيفة المستهدفة. يصل الوكيل إلى الأداة المناسبة بناءً على ما يحتاجه بالفعل. وهذا هو نمط النضج الذي بدأنا نراه عبر منصات الوكلاء في عام 2026: ينتقل الاستخراج من "البحث المرفق" إلى مبدأ أساسي خاص به.

لمهندس المنصة الذي يقرأ هذا

تعرض Dawn خدمة FourA كثمانية أدوات مسماة، يتم تعيين كل منها لنمط استخراج شائع:

  • foura_fetch_page لصفحات HTML والنص
  • foura_extract_text للمحتوى القابل للقراءة
  • foura_extract_links للتنقل، والنماذج، والنصوص، والأنماط
  • foura_fetch_json لنقاط نهاية API
  • foura_head_url للرؤوس، والحالة، وعمليات إعادة التوجيه
  • foura_probe_site للتحقق السريع من إمكانية الوصول
  • foura_submit_form لإرسال النماذج بدون تسجيل الدخول
  • foura_single_request لـ HTTP العشوائي

يختار الوكيل بناءً على ما يتطلبه السؤال. استخدم استعلام topstartups أعلاه ثلاثة منها بالتسلسل: جلب، واستخراج، ومتابعة.

الدمج بسيط بما يكفي للقيام به في يوم واحد. توجد نكهتان للطلب تحت ذلك: الوضع المباشر بتوقيع طلب بدرجة المتصفح للمواقع التي لا تغلق بقوة، ووضع توجيه الوكيل لكل شيء آخر. يشترك كلاهما في نفس شكل الطلب: عنوان URL، ورؤوس ونص اختياريان، وتحليل الاستجابة الاختياري. يختار الوكيل بناءً على ما يطلبه الموقع المستهدف.

يميل العقد الذي تقدمه المنصة لوكلائها إلى أن يبدو كالتالي:

  • مجموعة صغيرة من الإمكانات (جلب / استخراج / فحص / إرسال)، لكل منها تعريف أداة مركز يمكن للوكيل الوصول إليه
  • افتراضيًا إلى وضع الوكيل، والتراجع إلى الوضع المباشر عندما يكون الكمون أو التكلفة مهمًا
  • إذن لكل وكيل بحيث يحتفظ عملاء المنصة بالحوكمة
  • يتم عرض تحليل الاستجابة المهيكلة كمعلمة أداة، وليس مدفونًا في مطالبة النظام

لكن الجزء الذي يقلل معظم مهندسي المنصات من شأنه هو ما يحدث في الذيل. حالة 80% (ينجح الجلب في 200 مللي ثانية، ويعيد HTML نظيفًا) هي النصف السهل. إن الـ 20% الأخرى (المواقع التي تقفل توقيع الطلب، والتي تتسابق بتحدي JS إلى الاستجابة، والتي 403 على كتلة IP سحابية) هي التي تحدد ما إذا كان وكيلك سيقدم إجابة صحيحة أم إجابة مهلوسة. قمنا بإعادة بناء مسار طلبنا لهذا الذيل بالضبط، والفرق بين "يبدو موثوقًا" و "موثوقًا بالفعل" هو معظم العمل.

لذا، إذا كنت تدير منصة وكيل ويستمر عملاؤك في السؤال عن كيف يمكن لوكلائهم "فقط التحقق من عنوان URL هذا"، فهذا هو النمط. توجد المستندات في /docs. يسعدنا أن نرشدك من خلاله.

للجميع

لن ترى أيًا من هذا. ستلاحظ فقط أنه عندما تسأل مساعد ذكاء اصطناعي سؤالاً يتطلب النظر إلى صفحة ويب حقيقية الآن، فإنه يجيب بشكل صحيح بدلاً من التخمين أو الاعتذار.

هذه هي النتيجة التي يواجهها المستخدم لمبدأ الاستخراج الموثوق به بما يكفي للعيش بجوار GitHub و Google Drive في شبكة دمج. يتوقف عن كونه مشروع بحثي. يبدأ في أن يصبح بنية تحتية.

لماذا هذا مهم

قبل ستة أشهر، كان الوكيل الذي يحتاج إلى قراءة صفحة ويب بمثابة بناء مخصص. مطالبات مخصصة، وكاشطات هشة، وإعادة محاولة يدوية، ومعدل نجاح 60% في يوم جيد. كان الشكل خاطئًا لأن الطبقة لم تكن موجودة بعد. وكانت المواقع التي كان يصل إليها الوكيل تستمر في التحرك. تقنية مكافحة الروبوتات انتقلت من الإشارات الثابتة إلى الفحوصات السلوكية، لذلك تدهورت الكاشطات الملتصقة بشريط لاصق بشكل أسرع من أن تتمكن الفرق من إصلاحها.

الآن تتشكل الطبقة. التقطتها Dawn وأطلقت دمجًا. نتوقع أن تتبع المزيد من منصات الوكلاء هذا العام، ونتوقع أن يتقارب العقد: أداة مخصصة للبحث، وأداة مخصصة للاستخراج، وحوكمة لكل وكيل، وتكلفة يمكن التنبؤ بها.

نحن في البداية. لكن هذا هو ما يبدو عليه صعود شيء ما. عندما تتوقف الإمكانية عن كونها مشروعًا وتصبح قابسًا.

إذا قمت بإنشاء منصة وكيل وتريد شحن نفس الشكل، قل مرحبًا. إذا قمت بإنشاء وكلاء على Dawn، فإن FourA موجودة بالفعل. قم بتشغيلها.