# Cào Website Động

> URL: https://foura.ai/vi/docs/how-to/scrape-dynamic-website
> Updated: 2026-10-15
> Index: https://foura.ai/llms.txt

Các website động tải nội dung bằng JavaScript sau lần tải trang ban đầu. Hướng dẫn này chỉ ra cách thu thập dữ liệu từ các trang web này bằng browser endpoint của FourA.

## Vấn đề

Khi bạn gửi một HTTP request thông thường đến một website sử dụng nhiều JavaScript, bạn nhận được khung HTML chứ không có nội dung thực tế. Dữ liệu bạn cần (danh sách sản phẩm, giá cả, kết quả tìm kiếm) được JavaScript tải sau khi trang hiển thị trong trình duyệt.

Điều này ngày càng phổ biến với các framework hiện đại như React, Vue, Angular và Next.js.

## Giải pháp: Browser Request

Browser endpoint của FourA (`POST /api/browser/`) mở URL của bạn trong một instance trình duyệt Chrome có khả năng:
1. Tải trang
2. Thực thi toàn bộ JavaScript
3. Chờ nội dung hiển thị
4. Trả về HTML đã hiển thị đầy đủ

## Bước 1: Xác định nội dung bạn cần

Trước khi gửi request, hãy truy cập trang đích trong trình duyệt của bạn và sử dụng DevTools (F12) để tìm một đoạn văn bản hoặc phần tử xác nhận nội dung đã được tải xong. Ví dụ:

- Một tên sản phẩm xuất hiện sau khi JS hiển thị
- Một CSS class như `product-grid` trong HTML đã hiển thị
- Một chuỗi văn bản như "results" chỉ xuất hiện khi dữ liệu được tải

## Bước 2: Gửi Browser Request

```bash
curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
  }'
```

Tùy chọn `checkText` yêu cầu FourA kiểm tra xem "product-grid" có xuất hiện trên trang sau khi tải xong hay không. Nếu không có, request sẽ trả về trạng thái thất bại với `checkText:product-grid not found`, và request thất bại sẽ không bị tính phí. `checkText` không làm FourA đợi lâu hơn để văn bản xuất hiện.

## Bước 3: Phân tích cú pháp HTML

Response chứa HTML đã được kết xuất hoàn chỉnh trong trường `body`. Phân tích cú pháp HTML bằng thư viện bạn muốn dùng:

### Python (BeautifulSoup)

```python
import requests
from bs4 import BeautifulSoup

resp = requests.post("https://eu.api.foura.ai/api/browser/", headers={
    "X-API-Key": "YOUR_API_KEY",
    "Content-Type": "application/json"
}, json={
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
})

html = resp.json()["body"]
soup = BeautifulSoup(html, "html.parser")

for product in soup.select(".product-card"):
    name = product.select_one(".product-name").text.strip()
    price = product.select_one(".product-price").text.strip()
    print(f"{name}: {price}")
```

### Node.js (cheerio)

```javascript
import * as cheerio from 'cheerio';

const resp = await fetch('https://eu.api.foura.ai/api/browser/', {
  method: 'POST',
  headers: { 'X-API-Key': 'YOUR_API_KEY', 'Content-Type': 'application/json' },
  body: JSON.stringify({
    url: 'https://example.com/products',
    timeout_ms: 15000,
    checkText: 'product-grid'
  })
});

const { body: html } = await resp.json();
const $ = cheerio.load(html);

$('.product-card').each((i, el) => {
  console.log($(el).find('.product-name').text(), $(el).find('.product-price').text());
});
```

## Xử lý sự cố

**Vẫn nhận được nội dung trống?**
- Xác minh trang thực sự sử dụng kết xuất JavaScript (so sánh "Xem nguồn trang" với DevTools)
- Tăng `timeout_ms`: một số trang tải chậm
- Kiểm tra xem trang có yêu cầu xác thực hoặc cookie hay không (sử dụng tham số `cookies`)

**Gặp trang xác minh?**
- Đối với các request đơn lẻ/HTTP, chuyển sang endpoint proxy (`POST /api/proxy/`) để xoay vòng IP tự động.
- Để định tuyến một browser request qua proxy, hãy truyền tham số `proxy` của endpoint browser. Endpoint proxy chỉ bọc các request đơn lẻ/HTTP, không bọc browser request.

Tham số `proxy` nhận ID proxy ẩn mà response trước đó trả về, không bao giờ nhận địa chỉ proxy của riêng bạn. Chạy một lệnh gọi `POST /api/proxy/` (hoặc `POST /api/auto/`) trước, đọc trường `proxy` được trả về (`session.proxy` trên Auto), sau đó ghim nó:

```bash
# Step 1: let FourA find a working exit. The response carries "proxy": "A1B2C3".
curl -X POST "https://eu.api.foura.ai/api/proxy/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"maxTries": 5, "request": {"method": "GET", "url": "https://example.com/products"}}'

# Step 2: render through that same exit.
curl -X POST "https://eu.api.foura.ai/api/browser/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products", "proxy": "A1B2C3", "timeout_ms": 20000}'
```

Gửi địa chỉ thay vì ID sẽ trả về `400 Invalid proxy format`. Toàn bộ mẫu có trong [Tái sử dụng Proxy qua nhiều Request](https://foura.ai/docs/how-to/reuse-a-proxy).

## Các bước tiếp theo

- [Chọn đúng Endpoint](https://foura.ai/docs/guides/choosing-task-type): Khi nào nên dùng browser so với single
- [Theo dõi giá đối thủ cạnh tranh](https://foura.ai/docs/how-to/monitor-competitor-prices): Hướng dẫn theo dõi giá toàn diện
- [Các trang web được bảo vệ](https://foura.ai/docs/guides/protected-sites): Xử lý các trang web được bảo vệ
- [Tái sử dụng Proxy qua nhiều Request](https://foura.ai/docs/how-to/reuse-a-proxy): Cố định một exit IP trong toàn bộ quy trình làm việc
