Chọn endpoint phù hợp
FourA cung cấp bốn request endpoint, mỗi endpoint được tối ưu hóa cho một trường hợp sử dụng khác nhau. Việc chọn đúng endpoint giúp tiết kiệm thời gian, giảm chi phí và cải thiện tỷ lệ thành công.
Hướng dẫn quyết định nhanh
Sử dụng auto endpoint khi:
- Bạn nhắm mục tiêu vào một trang web mới và chưa biết trang web đó cần những gì
- Bạn muốn một lệnh gọi duy nhất tự động xử lý direct, proxy-rotated và browser fallback
- Bạn muốn có một session để phát lại với chi phí thấp trong lệnh gọi tiếp theo đến cùng một host
Sử dụng single endpoint khi:
- Trang web được render phía máy chủ (không yêu cầu JavaScript)
- Bạn cần tốc độ tối đa (thường dưới 1 giây)
- Bạn đang gọi API hoặc các trang HTML tĩnh từ một host mà bạn đã biết là hoạt động
Sử dụng browser endpoint khi:
- Trang web phụ thuộc vào JavaScript để render nội dung
- Nội dung tải sau lần tải trang ban đầu
- Bạn cần DOM được render đầy đủ
Sử dụng proxy endpoint khi:
- Trang web đích chủ động chặn các request
- Bạn cần xoay vòng qua nhiều địa chỉ IP khác nhau
- Các lần thử trước đó trả về lỗi 403 hoặc trang xác minh
So sánh endpoint
Auto (POST /api/auto/)
Endpoint smart-fetch. Bạn truyền một URL và (lý tưởng nhất) một quy tắc validate, và FourA sẽ đi qua từng bậc theo tối ưu chi phí: proxy xoay vòng trước, sau đó là browser đầy đủ qua proxy. Thiết lập forceProxy: false thì một lượt thăm dò direct chi phí thấp và một lượt direct browser render sẽ chạy trước cả hai. Bậc đầu tiên trả về response khớp với validate của bạn sẽ được chọn. Với các lệnh gọi lặp lại đến cùng một host, warm session sẽ được phát lại, giúp lệnh gọi thứ hai có chi phí thấp.
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Thời gian phản hồi thông thường: 200ms (warm) đến 30s+ (cold solve trên trang web khó) Phù hợp nhất cho: Mục tiêu mới, các trang web có nhiều lớp bảo vệ kết hợp, "tôi chỉ muốn lấy trang"
Để xem hướng dẫn chi tiết hơn, hãy tham khảo hướng dẫn Smart Fetch.
Single (POST /api/single/)
Tùy chọn nhanh nhất. Gửi một HTTP request với các đặc tính wire giống hệt trình duyệt thực tế, mà không cần khởi chạy tiến trình trình duyệt.
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://example.com/api/products"}'
Thời gian phản hồi thông thường: 200ms đến 2s Phù hợp nhất cho: API, trang tin tức, blog, trang sản phẩm tĩnh
Trình duyệt (POST /api/browser/)
Mở URL của bạn trong một phiên bản trình duyệt Chrome. Trang sẽ tải hoàn chỉnh, thực thi JavaScript và bạn nhận được HTML kết xuất cuối cùng.
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/spa-app",
"timeout_ms": 15000,
"checkText": "data-table"
}'
Thời gian phản hồi thông thường: 2s đến 10s Phù hợp nhất cho: Ứng dụng đơn trang (SPAs), các trang web sử dụng lazy loading, nội dung kết xuất bằng JavaScript
Proxy (POST /api/proxy/)
Kết hợp các HTTP request với tính năng tự động luân phiên proxy. Nếu lần thử đầu tiên thất bại hoặc bị chặn, FourA sẽ tự động thử lại qua các proxy khác.
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"request": {
"method": "GET",
"url": "https://example.com/pricing"
}
}'
Thời gian phản hồi thông thường: 1s đến 5s Phù hợp nhất cho: Theo dõi giá thương mại điện tử, tổng hợp dữ liệu du lịch, các trang web có hệ thống phát hiện bot
Auto so với Manual
Khi nào bạn nên để auto tự chọn, và khi nào nên tự gọi Single, Proxy, hoặc Browser?
| Chọn auto | Chọn manual |
|---|---|
| Bạn chưa biết trang web yêu cầu những gì | Bạn biết chính xác engine mà mục tiêu yêu cầu |
| Bạn muốn một lệnh gọi duy nhất hoạt động ngay | Bạn đang tối ưu cấu trúc request cho một mục tiêu đã biết |
| Bạn chấp nhận việc auto tái sử dụng session đã học | Bạn muốn toàn quyền kiểm soát cơ chế retry, timeout và lựa chọn proxy cho từng lệnh gọi |
| Bạn chấp nhận mất vài giây thăm dò trong lệnh gọi đầu tiên | Độ trễ của lệnh gọi đầu tiên quan trọng hơn quá trình tự khám phá |
Auto không phải lúc nào cũng là lựa chọn tiết kiệm hơn. Nếu bạn đã biết một mục tiêu hoạt động được với Single và bật unblocker, việc gọi trực tiếp Single sẽ bỏ qua bước thăm dò và chỉ tốn 2 credit. Dùng auto cho cùng mục tiêu đó sẽ tốn lượng credit tương ứng với các nấc mà nó đã thử nghiệm.
Khi nào nên kết hợp các phương pháp
Một số quy trình làm việc sẽ hiệu quả hơn khi sử dụng kết hợp nhiều endpoint:
- Khám phá bằng auto: truyền một quy tắc
validatevà để cơ chế ladder tự xác định nấc mà trang web cần. - Phát lại bằng single: lấy
session.proxy,session.cookies, vàsession.userAgentmà auto trả về, sau đó gọi Single cùng các giá trị này cho các trang tiếp theo trên cùng một host. - Dự phòng bằng browser: nếu single bắt đầu thất bại, hãy chuyển sang render bằng browser.
- Bổ sung proxy: nếu bạn bị từ chối (403 hoặc trang xác minh) khi không dùng auto, hãy bọc request của bạn trong endpoint proxy để tự động luân phiên IP.
Phương pháp tiếp cận theo từng cấp độ này giúp giữ chi phí ở mức thấp trong khi vẫn duy trì tỷ lệ thành công cao.
Mẹo tối ưu hiệu năng
- Truyền một chuỗi con
validate.data.acceptđối với các mục tiêu được bảo vệ. Auto có thể tự nhận diện các trang challenge phổ biến, nhưng chỉ có quy tắc của bạn mới bắt được trang kiểm tra mà hệ thống chưa biết, hoặc trang tải về nhưng thiếu nội dung bạn cần. - Mặc định sử dụng endpoint single cho các host đã biết là hoạt động tốt và chỉ nâng cấp khi cần thiết.
- Thiết lập
checkTexttrong các request browser để trang render thiếu nội dung của bạn sẽ trả về kết quả thất bại (checkText:<text> not found) thay vì thành công.checkTextkhông làm FourA chờ văn bản lâu hơn. - Thiết lập
maxTriestrong các request proxy để kiểm soát cơ chế retry (mặc định là 5, tối đa là 90). - Đặt
timeout_msở mức hợp lý: 10 đến 15 giây cho hầu hết các trang, 30s+ cho các lần chạy auto ban đầu đối với các trang được bảo vệ.
Các bước tiếp theo
- Smart Fetch (Auto): Tìm hiểu chuyên sâu về
/api/auto/ - API Endpoints: Tài liệu tham khảo đầy đủ về tham số
- Scrape a Dynamic Website: Hướng dẫn từng bước cho request browser
- Quick Start: Tạo request đầu tiên trong 30 giây