Chọn endpoint phù hợp
FourA cung cấp bốn request endpoint, mỗi endpoint được tối ưu hóa cho một kịch bản khác nhau. Việc chọn đúng endpoint giúp tiết kiệm thời gian, giảm chi phí và cải thiện tỷ lệ thành công.
Hướng dẫn quyết định nhanh
Sử dụng endpoint auto khi:
- Bạn đang nhắm mục tiêu một trang web mới và chưa biết trang đó yêu cầu gì
- Bạn muốn một lệnh gọi duy nhất xử lý trực tiếp, xoay vòng proxy và dự phòng trình duyệt cho bạn
- Bạn muốn một phiên có thể phát lại với chi phí thấp trong lệnh gọi tiếp theo đến cùng một máy chủ
Sử dụng endpoint single khi:
- Trang được kết xuất trên máy chủ (không yêu cầu JavaScript)
- Bạn cần tốc độ tối đa (thường dưới 1 giây)
- Bạn đang truy cập API hoặc các trang HTML tĩnh từ một máy chủ mà bạn đã biết là hoạt động
Sử dụng endpoint browser khi:
- Trang dựa vào JavaScript để kết xuất nội dung
- Nội dung tải sau khi tải trang ban đầu
- Bạn cần DOM được kết xuất đầy đủ
Sử dụng endpoint proxy khi:
- Trang web mục tiêu chủ động chặn các request
- Bạn cần xoay vòng qua nhiều địa chỉ IP
- Các lần thử trước đó trả về trang 403 hoặc CAPTCHA
So sánh endpoint
Auto (POST /api/auto/)
Endpoint lấy dữ liệu thông minh. Bạn truyền một URL và (lý tưởng nhất) một quy tắc validate, và FourA sẽ đi theo một thang bậc tối ưu chi phí: thăm dò trực tiếp giá rẻ, proxy xoay vòng, trình duyệt đầy đủ. Bậc đầu tiên trả về response khớp với validate của bạn sẽ thắng. Trong các lệnh gọi lặp lại đến cùng một máy chủ, một phiên đã khởi động sẽ được phát lại, do đó lệnh gọi thứ hai sẽ có chi phí rẻ.
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Thời gian response điển hình: 200ms (đã khởi động) đến 30s+ (giải quyết lạnh trên một trang web khó) Phù hợp nhất cho: Các mục tiêu mới, các trang web có chế độ bảo vệ hỗn hợp, "Tôi chỉ muốn lấy trang"
Để xem hướng dẫn chi tiết hơn, hãy xem Hướng dẫn Smart Fetch.
Single (POST /api/single/)
Tùy chọn nhanh nhất. Gửi một HTTP request với các đặc điểm kết nối giống trình duyệt thực tế, mà không cần khởi động tiến trình trình duyệt.
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://example.com/api/products"}'
Thời gian response điển hình: 200ms đến 2s Phù hợp nhất cho: API, trang web tin tức, blog, trang sản phẩm tĩnh
Browser (POST /api/browser/)
Mở URL của bạn trong một phiên bản trình duyệt Chrome. Trang tải hoàn toàn, JavaScript thực thi và bạn nhận được HTML đã kết xuất cuối cùng.
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/spa-app",
"timeout_ms": 15000,
"checkText": "data-table"
}'
Thời gian response điển hình: 2s đến 10s Phù hợp nhất cho: Ứng dụng một trang (SPA), trang web có tải lười (lazy loading), nội dung được kết xuất bằng JavaScript
Proxy (POST /api/proxy/)
Kết hợp các HTTP request với tự động xoay vòng proxy. Nếu lần thử đầu tiên thất bại hoặc bị chặn, FourA sẽ thử lại thông qua các proxy khác.
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"request": {
"method": "GET",
"url": "https://example.com/pricing"
}
}'
Thời gian response điển hình: 1s đến 5s Phù hợp nhất cho: Giám sát giá thương mại điện tử, tổng hợp du lịch, các trang web có tính năng phát hiện bot
Tự động vs Thủ công
Khi nào bạn nên để auto chọn, và khi nào bạn nên tự gọi Single, Proxy hoặc Browser?
| Chọn tự động | Chọn thủ công |
|---|---|
| Bạn chưa biết trang web yêu cầu gì | Bạn biết chính xác mục tiêu yêu cầu engine nào |
| Bạn muốn một lệnh gọi hoạt động ngay | Bạn đang tối ưu hóa cấu trúc request cho một mục tiêu đã biết |
| Bạn thấy ổn với việc auto tái sử dụng phiên mà nó đã học | Bạn muốn kiểm soát hoàn toàn việc thử lại, timeout và chọn proxy cho mỗi lệnh gọi |
| Bạn đang trả phí cho vài giây thăm dò ở lệnh gọi đầu tiên | Độ trễ ở lệnh gọi đầu tiên quan trọng hơn việc khám phá |
Auto không phải lúc nào cũng là lựa chọn rẻ hơn. Nếu bạn đã biết một mục tiêu hoạt động với Single và bật unblocker, việc gọi trực tiếp Single sẽ bỏ qua bước thăm dò và tốn 2 credit. Auto trên cùng một mục tiêu sẽ tốn bất kỳ chi phí nào mà thang bậc của nó tiêu tốn.
Khi nào nên kết hợp các phương pháp
Một số quy trình làm việc được hưởng lợi từ việc sử dụng nhiều endpoint:
- Khám phá bằng auto: truyền một quy tắc
validatevà để thang bậc tìm ra bậc nào mà trang web cần. - Phát lại bằng single: lấy
session.proxy,session.cookiesvàsession.userAgentmà auto trả về, sau đó gọi Single với chúng cho các trang tiếp theo trên cùng một máy chủ. - Dự phòng bằng browser: nếu single bắt đầu thất bại, hãy chuyển sang kết xuất trình duyệt.
- Thêm proxy: nếu bạn bị chặn (403 / CAPTCHA) mà không dùng auto, hãy bọc request của bạn trong endpoint proxy để tự động xoay vòng.
Cách tiếp cận tăng dần này giúp giữ chi phí thấp trong khi vẫn duy trì tỷ lệ thành công cao.
Mẹo hiệu suất
- Truyền chuỗi con
validate.data.accepttrên các mục tiêu được bảo vệ. Nếu không có nó, auto không thể phân biệt trang thực với trang xen kẽ thử thách. - Theo mặc định, hãy sử dụng endpoint single cho các máy chủ đã biết là hoạt động và chỉ nâng cấp khi cần thiết.
- Thiết lập
checkTexttrong các request của trình duyệt để tránh phải chờ đợi nội dung không cần thiết. - Thiết lập
maxTriestrong các request proxy để kiểm soát hành vi thử lại (mặc định là 5, tối đa là 90). - Giữ
timeout_msở mức hợp lý: 10 đến 15 giây đối với hầu hết các trang, 30 giây trở lên đối với các lần chạy auto lạnh đối với các trang web được bảo vệ.
Các bước tiếp theo
- Smart Fetch (Auto): Đi sâu vào
/api/auto/ - API Endpoints: Tài liệu tham khảo đầy đủ về tham số
- Trích xuất trang web động: Hướng dẫn từng bước về request trình duyệt
- Bắt đầu nhanh: Request đầu tiên của bạn trong 30 giây