Trang web được bảo vệ
Các trang web hiện đại sử dụng các hệ thống phát hiện bot nâng cao. Hướng dẫn này giải thích cách FourA lấy trang cho bạn trên các trang web kiểm tra danh tính người yêu cầu, và cách để nâng cao tỷ lệ thành công của bạn.
Cơ chế hoạt động của hệ thống phát hiện bot
Các trang web sử dụng nhiều lớp bảo vệ:
- Uy tín IP: Các trung tâm dữ liệu và địa chỉ proxy đã biết sẽ bị chặn
- Dấu vân tay truyền dẫn: Mỗi HTTP client có một chữ ký bắt tay riêng biệt mà các trang web có thể phát hiện
- Dấu vân tay trình duyệt: JavaScript kiểm tra các dấu hiệu của trình duyệt headless
- Phân tích hành vi: Mẫu request, thời gian và luồng điều hướng
- Trang xác minh: một tác vụ trực quan mà khách truy cập phải hoàn thành
Response nêu tên hệ thống đã thực hiện kiểm tra; Kiểm tra trang web liệt kê danh sách này.
Lộ trình nhanh nhất: Tự động
Nếu bạn chưa biết mức độ bảo vệ, hãy gọi /api/auto/ cùng một chuỗi con validate.data.accept chỉ xuất hiện trên trang thực tế. Chế độ tự động sẽ đi qua từng bậc thang tối ưu chi phí (proxy xoay vòng, sau đó là trình duyệt qua proxy; với forceProxy: false, việc thăm dò trực tiếp giá rẻ và kết xuất trình duyệt trực tiếp sẽ được thực hiện trước) và dừng lại ở nấc thang đầu tiên trả về response mà các quy tắc của bạn chấp nhận. Khi lặp lại các lệnh gọi tới cùng một host, phiên hoạt động đã khởi tạo trước đó sẽ được phát lại, giúp lượt truy cập thứ hai tiết kiệm chi phí.
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://protected-site.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Auto nhận diện các trang challenge phổ biến và tiếp tục xử lý khi gặp phải. Chuỗi validate.data.accept của bạn sẽ bắt các trường hợp còn lại: một trang kiểm tra chưa nhận biết, tường đăng nhập hoặc trang không có nội dung bạn cần. Xem hướng dẫn Smart Fetch để có hướng dẫn chi tiết đầy đủ.
Cách FourA hỗ trợ ở từng tầng
Các request thực tế ở tầng truyền dẫn
Một endpoint duy nhất (POST /api/single/) phát ra các đặc trưng bắt tay khớp với trình duyệt thực tế. Các trang web phản hồi request này tương tự như với trình duyệt mà không tốn chi phí vận hành trình duyệt.
Bật unblocker để chèn thêm các header trình duyệt thực tế (User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding). unblocker được bật theo mặc định; chỉ đặt false khi bạn muốn gửi các header riêng của mình mà không thêm bất kỳ header nào khác.
{
"method": "GET",
"url": "https://protected-site.com/data",
"unblocker": true
}
Kết xuất bằng trình duyệt thực
Browser endpoint (POST /api/browser/) chạy một phiên bản trình duyệt Chrome đầy đủ. Nó thực thi JavaScript của trang giống hệt như trình duyệt của khách truy cập. unblocker trên Browser hoàn tất các bước kiểm tra mà trang yêu cầu trước khi tải (Turnstile và các cổng kiểm tra tương tự); hãy bật tùy chọn này trừ khi bạn muốn nhận lại trang challenge nguyên bản.
Xoay vòng Proxy
Proxy endpoint (POST /api/proxy/) xoay vòng qua nhóm exit node tiêu chuẩn của FourA. Khi một trang web từ chối exit node hoặc exit node không phản hồi, lượt thử tiếp theo sẽ đi qua một exit node khác. Dùng ignoreProxies trong lệnh gọi tiếp theo để bỏ qua các exit node đã bị chặn; dùng maxTries (mặc định 5, tối đa 90) để kiểm soát số lần thử.
Exit node cao cấp chỉ được sử dụng khi request có yêu cầu. exitClass: "premium" cho phép Proxy chuyển sang exit node cao cấp khi nhóm tiêu chuẩn không thể truy cập trang, áp dụng cho gói dịch vụ có hỗ trợ exit node cao cấp. Header exitClass trong response thành công sẽ cho biết loại exit node đã xử lý, và khi lưu lượng cao cấp trong chu kỳ sử dụng hết, request sẽ tiếp tục trong nhóm tiêu chuẩn kèm trạng thái standard. Xem exitClass.
Giới hạn exit node theo quốc gia
Truyền exitCountries vào /api/proxy/ để giới hạn lựa chọn proxy có vị trí quốc gia hiển thị với trang đích khớp với allowlist nghiêm ngặt. Giá trị là mã hai chữ cái (["CZ", "GB"]), được cắt khoảng trắng, viết hoa và loại bỏ trùng lặp. Nhóm tiêu chuẩn không bao giờ chuyển sang quốc gia không được yêu cầu; nếu nhóm hiện tại không có proxy phù hợp, response sẽ trả về code: "no_eligible_proxy" cùng scope chuẩn hóa trong details.exitCountries để bạn có thể thử lại sau mà không cần nới lỏng điều kiện. Exit node cao cấp cũng nằm trong danh sách này: với exitClass: premium, exit node cao cấp sẽ xuất phát từ một trong các quốc gia của bạn, và exitCountry trong response sẽ nêu rõ quốc gia đó. Tính năng giới hạn quốc gia được bao gồm từ gói Startup trở lên. Với gói không hỗ trợ, lệnh gọi gửi kèm exitCountries sẽ bị từ chối với 403 và X-FourA-Limit: plan_limit_feature.
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"exitCountries": ["CZ", "GB"],
"request": {"method": "GET", "url": "https://target.example/pricing"}
}'
Response bao gồm exitCountry khi scoping được yêu cầu. Hãy xác minh giá trị này thuộc allowlist của bạn trước khi tin cậy payload, sau đó tái sử dụng proxy ID được trả về trên mọi lệnh gọi Browser tiếp theo để quá trình render JavaScript diễn ra qua cùng một exit.
FourA cho bạn biết điều gì đã chặn bạn
Bạn không cần phải đoán hệ thống nào đã chặn một request. Khi mục tiêu chạy kiểm tra bot, response sẽ nêu rõ tên hệ thống đó.
POST /api/single/vàPOST /api/proxy/trả về một đối tượngdefense:defense.vendorlà hệ thống,defense.solvedcho biết liệu quy trình kiểm tra đã được vượt qua hay chưa, vàdefense.presentliệt kê mọi thứ được nhận diện trên response đó.POST /api/browser/trả vềdefenseSolvedkèm theodefenses.presentvàdefenses.cleared.
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "sgcaptcha",
"solved": true,
"present": ["sgcaptcha"],
"cookie": "_I_=<clearance>"
}
}
Hai quy tắc được rút ra từ điều này:
solved: falsecó nghĩa là body có thể là trang thử thách, không phải nội dung trang. FourA không bao giờ trả về trang thử thách dưới dạng nội dung, vì vậy hãy kiểm tra cờ này trước khi phân tích cú pháp.- Việc giải quyết thử thách sẽ cung cấp cho bạn thông tin xác thực. Khi
defense.cookiexuất hiện, hãy gửi lại nó dưới dạng headerCookietrên cùng một exit node với cùng User-Agent, các request tiếp theo sẽ bỏ qua hoàn toàn bước kiểm tra.
FourA nhận diện các hệ thống kiểm tra phổ biến, bao gồm các bước kiểm tra nội bộ của eBay, Reddit và Amazon. Phạm vi nhận diện rộng hơn việc vượt qua thử thách: một hệ thống mà chúng tôi có thể định danh nhưng không thể vượt qua sẽ được báo cáo và không bao giờ làm tăng chi phí của request. Khi trang trả về là trang kiểm tra của hệ thống đó, ngay cả với mã HTTP 200, request sẽ không bị tính phí và header X-FourA-Check-Page sẽ ghi rõ tên hệ thống. Xem Kiểm tra trang web để biết mọi trường dữ liệu, tỷ lệ giải quyết so với nhận diện hiện tại và ví dụ phát lại request.
Trang "tiếp tục mua sắm" một nút bấm của Amazon được phản hồi tự động thay vì phải giải quyết như một thử thách. Single, Proxy và Browser sẽ bấm nút trên cùng exit node và trả về trang thực tế. Khi bật unblocker (mặc định), Single và Proxy sẽ báo cáo trạng thái này trong defense dưới dạng retry: "amazon-continue" cùng với solved: false, và chi phí không thay đổi. Quy trình kiểm tra JavaScript nhẹ của Reddit cũng hoạt động tương tự trên Single và Proxy: hệ thống tự phản hồi trên cùng exit node, trả về trang thực tế và báo cáo retry: "reddit-js-check" cùng với solved: false ở mức giá không đổi.
Chiến lược theo mức độ bảo vệ
Mức độ bảo vệ chưa xác định
Sử dụng auto. Chế độ này bắt đầu trên một proxy luân phiên và chỉ nâng cấp khi mục tiêu yêu cầu, giúp bạn chỉ trả chi phí nhận diện một lần cho mỗi host.
Mức độ bảo vệ thấp (hầu hết các trang web)
Sử dụng endpoint single với unblocker. Mức độ tương thích ở cấp độ đường truyền là đủ để đáp ứng.
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'
Trung bình: trang thử thách hoặc tường lửa cơ bản
Sử dụng endpoint browser để vượt qua các thử thách JavaScript:
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'
Mức cao: kiểm tra hành vi và fingerprint
Sử dụng proxy endpoint với nhiều lần thử lại:
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 10,
"request": {
"method": "GET",
"url": "https://heavily-protected.com/prices",
"unblocker": true
}
}'
Đối với các trang thử thách chuỗi ("Just a moment", một điểm kiểm tra bảo mật) nơi bạn cần trang đã render sau khi vượt qua thử thách, hãy xem MCP Recipes. Recipe "Protected page: proxy first, browser when JavaScript is needed" hướng dẫn chính xác quy trình chuyển giao từ proxy sang browser.
Thực hành tốt nhất
Bắt đầu với auto cho các mục tiêu chưa biết. Truyền quy tắc
validate, để cơ chế bậc thang chọn mức có chi phí thấp nhất, sau đó đọcmeta.rungtrong response để xem engine nào đã hoạt động hiệu quả. Khi đã biết, hãy gọi trực tiếp engine đó cho các lưu lượng lặp lại.Tái sử dụng phiên thành công. Sau một lệnh gọi auto,
sessionđược trả về (proxy ID + cookies + userAgent) có thể được phát lại qua/api/single/hoặc/api/browser/cho các trang tiếp theo trên cùng một host, theo mức giá riêng của endpoint đó: 2 credit trên Single vớiunblocker, 5 credit trên Browser (10 credit khi lệnh gọi hoàn thành một bước xác minh mà trang yêu cầu).Tuân thủ rate limit. Ngay cả khi có xoay vòng proxy, việc gửi hàng trăm request mỗi giây đến một trang web duy nhất vẫn sẽ kích hoạt cơ chế phát hiện hành vi. Hãy giãn cách các request của bạn tối thiểu từ 1 đến 2 giây.
Luôn bật
unblocker. Trên Single và Proxy,unblocker: true(mặc định) sẽ thêm các browser header thực tế. Trên Browser, tùy chọn này sẽ bật trình giải quyết thử thách. Chỉ tắt tính năng này khi bạn thực sự cần một request không có thêm header hoặc một trang thử thách thô.Theo dõi tỷ lệ thành công. Kiểm tra các chỉ số trong Dashboard để theo dõi tỷ lệ thành công của bạn theo thời gian. Tỷ lệ giảm đột ngột thường có nghĩa là trang web mục tiêu đã cập nhật cơ chế bảo vệ.
Bỏ qua các exit node đã bị chặn. Nếu một lệnh gọi
/api/proxy/hoặc/api/auto/trả về một proxy ID sau đó bắt đầu thất bại, hãy truyền ID đó vàoignoreProxiestrong lệnh gọi tiếp theo để FourA chọn một exit node khác.Đọc
defensetrước khi thử lại. Tên nhà cung cấp cho bạn biết liệu có đáng để thử một hồ sơ trình duyệt khác hay không, liệu bạn có cần render toàn bộ hay không, hoặc liệu bước kiểm tra đó có phải là loại không ai có thể vượt qua nếu không có dịch vụ giải mã.Thay đổi trình duyệt bạn hiển thị. Một số mục tiêu chấp nhận trình duyệt này nhưng từ chối trình duyệt khác. Đặt
browser,os, hoặcversiontrên Single và Proxy, đồng thời đọcGET /api/profilesđể xem danh mục hiện tại. Chi tiết có trong tài liệu tham khảo endpoint.
Giới hạn
Một số trường hợp đòi hỏi phải xử lý bổ sung bên ngoài API:
- Nội dung yêu cầu đăng nhập: FourA không quản lý các phiên đăng nhập dài hạn cho bạn. Browser endpoint chấp nhận
cookiestheo từng request; hãy tự truyền session cookie của bạn vào. - Tác vụ xác minh tương tác: FourA nhận diện các tác vụ dạng hình ảnh và báo cáo chúng trong
defense.present, nhưng không giải quyết chúng. Turnstile được xử lý bởi Browser. - Nội dung bị giới hạn theo quốc gia: sử dụng
exitCountriestrên/api/proxy/để ghim lựa chọn vào các quốc gia được phép. Những trang web kiểm tra cả mạng của địa chỉ IP (một số nhà cái có giấy phép theo quốc gia, một số dịch vụ công) vẫn có thể từ chối exit node dù đúng quốc gia. VớiexitClass: premiumvà một quốc gia trongexitCountries, một premium exit node cũng có thể xuất phát từ vùng, thành phố hoặc mạng bạn chỉ định: xem Exit location. Khi pool không có exit node nào thuộc các quốc gia bạn cho phép, request sẽ trả vềno_eligible_proxy. - Các trang web có hạn chế pháp lý: Luôn đảm bảo việc thu thập dữ liệu của bạn tuân thủ điều khoản dịch vụ của trang web đích và luật pháp hiện hành.
Các bước tiếp theo
- Smart Fetch (Tự động): Đi sâu vào
/api/auto/ - Chọn đúng Endpoint: Hướng dẫn quyết định lựa chọn endpoint
- Các vấn đề thường gặp: Xử lý lỗi 403 và các trang xác minh
- API Endpoints: Tài liệu tham khảo tham số đầy đủ bao gồm
exitCountries - Kiểm tra trang web: Trường
defense, danh sách hệ thống và phát lại clearance - MCP Recipes: Các template quy trình bao gồm chuỗi proxy trước rồi đến browser