كشط موقع ويب ديناميكي

تحمّل مواقع الويب الديناميكية المحتوى باستخدام JavaScript بعد التحميل الأولي للصفحة. يوضح هذا الدليل كيفية جمع البيانات من هذه المواقع باستخدام browser endpoint في FourA.

المشكلة

عند إرسال HTTP request قياسي إلى موقع ويب يعتمد بكثافة على JavaScript، فإنك تحصل على هيكل HTML الخارجي فقط دون المحتوى الفعلي. البيانات التي تحتاجها (قوائم المنتجات، الأسعار، نتائج البحث) يتم تحميلها بواسطة JavaScript بعد عرض الصفحة داخل المتصفح.

أصبح هذا شائعًا بشكل متزايد مع أطر العمل الحديثة مثل React وVue وAngular وNext.js.

الحل: Browser Requests

يقوم browser endpoint الخاص بـ FourA (POST /api/browser/) بفتح عنوان URL الخاص بك داخل نسخة متصفح Chrome تقوم بما يلي:

  1. تحميل الصفحة
  2. تنفيذ جميع تعليمات JavaScript البرمجية
  3. انتظار اكتمال عرض المحتوى
  4. إرجاع كود HTML المعروض بالكامل

الخطوة 1: تحديد ما تحتاجه

قبل إرسال request، قم بزيارة الصفحة المستهدفة في متصفحك واستخدم DevTools (F12) للعثور على جزء من النص أو عنصر يؤكد تحميل المحتوى. على سبيل المثال:

  • اسم منتج يظهر بعد معالجة JS وعرضه
  • فئة CSS مثل product-grid في كود HTML المعروض
  • سلسلة نصية مثل "results" تظهر فقط عند تحميل البيانات

الخطوة 2: إرسال Browser Request

curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
  }'

يوجّه الخيار checkText أداة FourA للتحقق من وجود "product-grid" في الصفحة بعد اكتمال تحميلها. إذا لم يكن موجودا، يعود الـ request كفشل مع checkText:product-grid not found، والـ request الفاشل لا تتم فوترته. لا يجعل checkText أداة FourA تنتظر النص لفترة أطول.

الخطوة 3: تحليل الـ HTML

يحتوي الـ response على كود HTML المعروض بالكامل في الحقل body. قم بتحليله باستخدام مكتبتك المفضلة:

Python (BeautifulSoup)

import requests
from bs4 import BeautifulSoup

resp = requests.post("https://eu.api.foura.ai/api/browser/", headers={
    "X-API-Key": "YOUR_API_KEY",
    "Content-Type": "application/json"
}, json={
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
})

html = resp.json()["body"]
soup = BeautifulSoup(html, "html.parser")

for product in soup.select(".product-card"):
    name = product.select_one(".product-name").text.strip()
    price = product.select_one(".product-price").text.strip()
    print(f"{name}: {price}")

Node.js (cheerio)

import * as cheerio from 'cheerio';

const resp = await fetch('https://eu.api.foura.ai/api/browser/', {
  method: 'POST',
  headers: { 'X-API-Key': 'YOUR_API_KEY', 'Content-Type': 'application/json' },
  body: JSON.stringify({
    url: 'https://example.com/products',
    timeout_ms: 15000,
    checkText: 'product-grid'
  })
});

const { body: html } = await resp.json();
const $ = cheerio.load(html);

$('.product-card').each((i, el) => {
  console.log($(el).find('.product-name').text(), $(el).find('.product-price').text());
});

استكشاف الأخطاء وإصلاحها

هل ما زلت تتلقى محتوى فارغًا؟

  • تحقق مما إذا كانت الصفحة تستخدم تصيير JavaScript فعليًا (قارن بين "عرض مصدر الصفحة" و DevTools)
  • زد قيمة timeout_ms: فبعض الصفحات تستغرق وقتًا أطول في التحميل
  • تحقق مما إذا كانت الصفحة تتطلب مصادقة أو ملفات تعريف ارتباط cookies (استخدم معامِل cookies)

هل تظهر لك صفحة تحقق؟

  • بالنسبة لطلبات HTTP الفردية، انتقل إلى endpoint الخاص بالـ proxy وهو (POST /api/proxy/) للتدوير التلقائي لعناوين IP.
  • لتوجيه request متصفح عبر proxy، مرر معامِل proxy الخاص بـ endpoint المتصفح. يقتصر endpoint الخاص بالـ proxy على معالجة طلبات HTTP الفردية فقط، ولا يشمل طلبات المتصفح.

يقبل معامِل proxy معرّف الـ proxy غير الشفاف الذي أعاده response سابق، ولا يقبل أبدًا عنوان proxy خاصًا بك. قم بتشغيل استدعاء واحد لـ POST /api/proxy/ (أو POST /api/auto/) أولاً، ثم اقرأ حقل proxy الذي يرجعه (session.proxy في الوضع Auto)، ثم ثبته:

# Step 1: let FourA find a working exit. The response carries "proxy": "A1B2C3".
curl -X POST "https://eu.api.foura.ai/api/proxy/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"maxTries": 5, "request": {"method": "GET", "url": "https://example.com/products"}}'

# Step 2: render through that same exit.
curl -X POST "https://eu.api.foura.ai/api/browser/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products", "proxy": "A1B2C3", "timeout_ms": 20000}'

إرسال عنوان بدلا من المعرف يعود بالخطأ 400 Invalid proxy format. النمط الكامل موضح في إعادة استخدام proxy عبر الطلبات.

الخطوات التالية

آخر تحديث: 15 أكتوبر 2026