أبرز النقاط
طوال مسيرتها، كان لـ FourA باب واحد: ترسل إلينا URL، ونرسل إليك الصفحة. هذا الأسبوع فتحنا باباً ثانياً، وهو proxy endpoint تقليدي يمكنك لصقه في أي عميل HTTP، مع بيانات اعتماد تنشئها في Dashboard. كما أصبح Proxy Finder قادراً على استخدام مخرج مدفوع للأهداف التي ترفض كل المحاولات الأخرى، وأصبح وضع Auto أفضل في تذكر المخارج التي تعمل بنجاح.
ما الجديد
وجّه أي عميل HTTP إلينا
قسم جديد في Dashboard: ACCESS، ثم Proxy. أنشئ مستخدم proxy وستمنحك الصفحة سلسلة الاتصال الدقيقة، بجانب أمثلة لـ curl و Python و Node. اختر نوع المخرج، والبلد، وما إذا كنت تريد الاحتفاظ بنفس المخرج عبر سلسلة من الـ requests، وستُعاد صياغة السلسلة تلقائياً أثناء اختيارك.
لماذا بنينا هذا الخيار بينما الـ API يعمل بالفعل؟ بعض المهام ليست مجرد request و response. فالنفق يمرر الـ bytes فور وصولها: دون غلاف JSON، ودون buffering. هذا بالضبط ما يحتاجه ملف كبير أو بث فيديو، ولم يكن الـ API الخاص بنا مخصصاً للقيام بذلك أبداً.
الاستهداف أكثر دقة في المخارج المدفوعة: المنطقة، المدينة، الشبكة عبر اسم ISP، والمدة التي يظل فيها المخرج مخصصاً لك. أما تجمعنا الخاص فهو يقتصر على البلد فقط، عن قصد. فالمدينة داخل بلد ذي تغطية محدودة لا تتعدى بضعة عناوين، ووجود فلتر يفشل في معظم الأحيان أسوأ من عدم وجوده إطلاقاً.
مقايضة واحدة نوضحها بصراحة. عبر النفق البسيط، يقوم عميلك بإنشاء الاتصال بالموقع، وليس نحن، وبالتالي فإن العمليات التي ينفذها الـ API بالنيابة عنك ليست ضمن هذا المسار: خيار unblocker، والحل عبر المتصفح، وقواعد validate، وإعادة تشغيل الجلسات. يمنحك النفق مخارجنا والنطاق الترددي الخاص بنا، بينما يمنحك الـ API ما نبنيه فوق ذلك. اختر الأنسب لكل مهمة، وليس للشركة ككل.
مخارج Premium، واستجابة توضح أيهما خدم طلبك
يقبل /api/proxy الآن exitClass، إما standard أو premium. يوجهك Premium عبر مخرج ندفع ثمنه، مخصص للأهداف التي يُحظر فيها تجمعنا الخاص باستمرار.
إذا لم ترسل شيئاً، فستحصل على الوضع التلقائي: يبدأ التجمع المشترك أولاً، ولا ينضم المخرج المدفوع إلى البحث إلا عند تعثر تلك المحاولة. حدد فئة معينة وسنلتزم بها بدقة. الخيار standard لا يرقي الطلب تلقائياً أبداً، وهذا هو الهدف الأساسي من تحديده صراحة.
تتضمن الاستجابة exitClass، لتعرف دائماً أي مخرج قدّم الخدمة. إذا تمت تلبية طلب premium عبر تجمعنا الخاص أولاً، فستكون النتيجة standard، وهو أمر يُعد نجاحاً وليس تخفيضاً للمستوى. وإذا كانت خطتك لا تدعم premium، فسيُرفض الـ request تماماً بدلاً من خدمته بصمت من مكان آخر.
تظهر استهلاك Premium كجزء من إجمالي النطاق الترددي الخاص بك، وليس كإجمالي ثانٍ: صف في Quota، وعمود في Metrics، وعلامة في صف Activity الذي تم توجيهه بهذا الشكل، وبطاقة في Overview. كما تمت إضافة خيار التحكم إلى Playground، والتحكم الفارغ له وظيفته الأساسية: تركه دون تحديد لا يرسل أي حقل إطلاقاً، لأن "عدم الطلب مطلقاً" و"طلب عدم الترقية نهائياً" هما طلبان مختلفان.
وضع Auto يتذكر ما نجح
لطالما سجل سلم Auto مسارات الخروج (exits) التي فشلت. والآن يسجل المسارات التي نجحت في التسليم، من كل درجة وليس فقط من درجات المتصفح (browser)، وفقط بعد اجتياز المحتوى لنفس الفحص الذي يحدد ما إذا كنا سنعيد الصفحة لك. لا يمكن تصنيف مسار الخروج بأنه صالح لصفحة لن نعيدها إليك.
تنتهي صلاحية عمليات الحظر (bans) وفق توقيتها الزمني الخاص أيضا. كانت قائمة الاستبعاد الخاصة بالمستضيف (host) تُجدد مدتها في كل مرة يُفرض فيها حظر جديد عليها، أما الآن فينتهي كل حظر وفق الجدول الزمني المحدد له.
وعندما يصل التشغيل إلى الحد الأقصى للمتصفح في خطتك، لا يتوقف السلم بعد الآن. بل يعمل على درجة proxy بدلا من ذلك، ثم يخزن مسار الخروج الفائز مؤقتا حتى تعيد الطلبات اللاحقة تشغيله بتكلفة منخفضة على Single.
ما يزال Auto هو مستكشف المسار، وليس مسار الإنتاج الفعلي. دعه يخبرك بأي درجة فازت ويعيد إليك الـ session، ثم وجه حجم طلباتك إلى /api/single أو /api/browser باستخدام تلك الـ session مباشرة. كان ذلك هو المنطق الأساسي عند إطلاق Auto ولا شيء هنا يغير ذلك.
صفحة ليست هي الصفحة التي طلبتها
توجد بعض مسارات الخروج داخل شبكة شركات مفلترة حيث تجيب البوابة (gateway) بدلا من الموقع نفسه. تعود الاستجابة (response) برمز 200 مع body، وتجتاز كل فحص لدينا. لم يعد الأمر كذلك: أصبحت صفحة كهذه تُعتبر دليلا على أن مسار الخروج غير قابل للاستخدام بدلا من اعتبارها دليلا على رد الموقع، وبالتالي يتجاوزها الـ request ويتوقف تفضيل مسار الخروج هذا.
يحمل كل هيكل صفحة نطابقه حدا للحجم، حتى لا يُستبعد مستند حقيقي لمجرد اقتباسه لتلك الكلمات. الحجم هو وسيلة حماية، وليس إشارة أبدا. لقد كتبنا عن النسخة الأوسع من هذا قبل أسبوعين، عندما يبدو الحظر كنقطة بيانات.
خلف الكواليس
يتم الآن فحص حدود المعدل (rate limits) مقارنة بالحد الأقصى لحسابك الخاص قبل خصم أي شيء من السعة المشتركة. أي تدفق مفاجئ (burst) داخل حساب واحد يُرفض بناء على حده الخاص، بشكل فوري، دون استهلاك فتحة ينتظرها أي شخص آخر.
الرقم قيد التنفيذ (in-flight) على لوحة التحكم الخاصة بك يأتي من مقياس مباشر يعيد كل instance نشره كل ثانية، وليس من عداد قد يرتفع ولا ينخفض أبدا. تقرأ الشاشة ومحدد المعدل (limiter) نفس الرقم الآن.
أرقام
في اختباراتنا الخاصة، استغرق فتح tunnel إلى host وجدنا له مسارات خروج مسبقا من 63 إلى 672 ميلي ثانية عبر عشرات العينات، معظمها أقل من 260 ميلي ثانية. الاتصال الأول مع host لم نتعامل معه من قبل يكون أبطأ: يستغرق ثواني، وأحيانا عشرات الثواني، أثناء البحث في المجمع (pool) عن مسارات خروج تعمل على ذلك الهدف. يحدث ذلك مرة واحدة لكل host، وليس مرة واحدة لكل request. عينة صغيرة، وأرقامنا الخاصة.
وجود بابين يطرح سؤالا لم يكن لديك في الأسبوع الماضي: هل المهمة تتعلق بنقل الـ bytes، أم بالمرور عبر الباب؟ انقل ملفا كبيرا وسيكون الـ tunnel هو أرخص خيار لدينا. وكل ما هو أصعب من ذلك يظل هو الغرض الأساسي من الـ API.