Kiểm tra trang web

Khi mục tiêu chạy kiểm tra bot trên đường đến trang bạn yêu cầu, FourA sẽ thông báo cho bạn. Mỗi request gặp phải kiểm tra này sẽ trả về một trường nêu tên hệ thống, liệu bước kiểm tra đã được vượt qua hay chưa, và (khi vượt qua) thông tin clearance bạn có thể phát lại để lệnh gọi tiếp theo bỏ qua bước này.

Trang này là tài liệu tham khảo cho các trường đó. Về chiến lược, xem Protected sites.

Vị trí của trường

Endpoint Trường Xuất hiện khi
POST /api/single/ defense (object) Phát hiện kiểm tra bot trên response
POST /api/proxy/ defense (object) Tương tự, được báo cáo bởi lượt thử đã phản hồi
POST /api/browser/ defenseSolved (boolean) và defenses (object) Luôn xuất hiện trên trang đã tải. defenseSolved là false và defenses trống khi không phát hiện thấy gì.
POST /api/auto/ meta.solved (boolean) Trên mọi câu trả lời khi thang đã bắt đầu. true khi kiểm tra đã được vượt qua ở một bước nào đó trên thang. Phần body không qua được xác thực hoặc máy chủ không thể phân giải sẽ được phản hồi trước thang, không có meta.

Sự vắng mặt có nghĩa là không phát hiện thấy gì. Đừng hiểu trường defense bị thiếu là một lỗi.

Trên Single và Proxy, việc báo cáo cần có unblocker, được bật theo mặc định. Với unblocker: false, bạn đã yêu cầu trang chính xác như trạng thái vốn có, vì vậy Single sẽ trả lại challenge nguyên vẹn và Browser sẽ hiển thị nó mà không xử lý giải quyết.

defense trên Single và Proxy

{
  "status": 200,
  "data": "<!doctype html>...",
  "total_time": 3.61,
  "defense": {
    "vendor": "sgcaptcha",
    "solved": true,
    "present": ["sgcaptcha"],
    "ms": 3412,
    "hashes": 1048576,
    "complexity": 20,
    "cookie": "_I_=<clearance>"
  }
}
Trường Kiểu dữ liệu Mô tả
vendor string Hệ thống liên quan đến bản ghi này: hệ thống đã được vượt qua, hoặc hệ thống chính gặp phải. Xem danh sách nhà cung cấp bên dưới.
solved boolean true nghĩa là kiểm tra đã được vượt qua và data là trang thực tế. false nghĩa là data có thể là trang thử thách.
present string[] Mọi hệ thống được nhận diện trên phản hồi này. Có thể chứa nhiều tên hơn vendor, và có thể chứa các tên chưa có ai vượt qua.
ms number Số mili giây dùng để vượt qua kiểm tra. Chỉ xuất hiện khi vượt qua thành công.
hashes number Lượng tác vụ tính toán mà thử thách yêu cầu. Chỉ xuất hiện khi vượt qua thành công.
complexity number Độ khó do thử thách công bố. Chỉ xuất hiện khi vượt qua thành công, và chỉ khi thử thách có báo cáo giá trị này.
answers number Số lượng câu trả lời được chấp nhận đã cung cấp, áp dụng cho các thử thách yêu cầu nhiều câu trả lời thay vì một. Chỉ xuất hiện khi vượt qua thành công.
retry string Xuất hiện khi nội dung phản hồi đến từ việc thử lại thay vì từ việc vượt qua kiểm tra: refusal-cookies, amazon-continue, reddit-js-check hoặc verify-challenge. Xem bên dưới.
cookie string Cookie jar cần gửi lại: thông tin xác thực nhận được khi vượt qua, hoặc phiên làm việc được cấp khi bị từ chối.

solved: false là trường hợp đáng để phân nhánh xử lý. FourA không bao giờ trả về trang thử thách dưới dạng nội dung, vì vậy cờ này là tín hiệu cho thấy nội dung phản hồi cần chuyển tiếp xử lý thay vì phân tích cú pháp.

retry: "refusal-cookies"

Một số trang web không chạy câu đố. Chúng từ chối request đầu tiên, đặt cookie trên phản hồi từ chối đó, và phân phối trang thực tế cho bất kỳ ai gửi lại các cookie này. Trang sản phẩm của eBay là trường hợp điển hình.

Khi điều đó xảy ra, FourA sẽ tự động gửi lại cookie và chuyển trang thực tế cho bạn. Phản hồi sau đó sẽ mang retry: "refusal-cookies":

{
  "status": 200,
  "data": "<!doctype html>...",
  "defense": {
    "vendor": "akamai",
    "solved": false,
    "present": ["akamai"],
    "retry": "refusal-cookies",
    "cookie": "bm_sv=...; dp1=..."
  }
}

Cách hiểu như sau:

  • solved vẫn là false. Việc phản hồi một handshake không phải là vượt qua challenge, và điều này không bao giờ làm thay đổi chi phí của lệnh gọi. Bạn chỉ bị tính phí cho request bạn đã thực hiện.
  • data là nội dung thực, không phải trang challenge. Đây là trường hợp duy nhất mà solved: false không có nghĩa là phần body cần escalation, đó là lý do trường này tồn tại.
  • cookie là session do trang web phân phối. Hãy replay lại tương tự như cách bạn replay một clearance, các trang tiếp theo sẽ bỏ qua sự từ chối này.
  • Một lần retry và một lần clear đều có thể xảy ra trên cùng một request. Nếu kết quả trả về của lần retry là một challenge mà FourA có thể xử lý, bạn sẽ nhận được solved: true cùng các trường riêng của nhà cung cấp và retry: "refusal-cookies" bên cạnh.

vendor sẽ hiển thị unknown khi việc retry mang lại nội dung thành công và không có hệ thống nào được nhận diện trên tiến trình. Khi đó, present sẽ là một mảng rỗng.

retry: "amazon-continue"

Amazon đôi khi phản hồi bằng quy trình kiểm tra robot bằng một nút bấm: một trang nhỏ yêu cầu bạn nhấp để tiếp tục mua sắm, với câu trả lời đã được điền sẵn. Khi bật unblocker (mặc định), Single và Proxy sẽ nhấn nút đó trên cùng một node exit, bên trong timeout_ms của bạn, rồi yêu cầu lại trang với các cookie vừa được thiết lập. Khi thao tác này mở được trang thành công, response sẽ chứa retry: "amazon-continue":

{
  "status": 200,
  "data": "<!doctype html>...",
  "defense": {
    "vendor": "akamai",
    "solved": false,
    "present": ["akamai", "amazon"],
    "retry": "amazon-continue",
    "cookie": "ak_bmsc=...; ..."
  }
}

Hãy hiểu cơ chế này như một lượt thử lại refusal-cookies. solved vẫn là false, data là trang thực tế, bạn bị tính phí cho request đã thực hiện, và cookie là jar cần phát lại trên các trang tiếp theo. Hãy tìm amazon trong present thay vì trong vendor: trang kiểm tra thường đặt một cookie mà FourA cũng nhận diện được, và vendor nêu tên hệ thống đầu tiên trong danh sách.

Phiên bản hình ảnh của cùng một bước kiểm tra, nơi người dùng phải đọc câu trả lời, sẽ được báo cáo và giữ nguyên như ban đầu. Trường hợp nhấn vào nhưng trang kiểm tra chỉ xuất hiện lại cũng tương tự. Dù thế nào thì trang đó cũng không bị tính phí (xem Chi phí).

retry: "reddit-js-check"

Reddit đôi khi phản hồi bằng một bước kiểm tra trang nhẹ: một trang nhỏ chứa form ẩn và một script tự động điền form. Khi bật unblocker (mặc định), Single và Proxy sẽ gửi form đó trên cùng một cổng ra, bên trong timeout_ms của bạn, rồi yêu cầu lại trang của bạn cùng các cookie đã được thiết lập. Khi trang được mở thành công, response sẽ chứa retry: "reddit-js-check":

{
  "status": 200,
  "data": "<!doctype html>...",
  "defense": {
    "vendor": "reddit",
    "solved": false,
    "present": ["reddit"],
    "retry": "reddit-js-check",
    "cookie": "edgebucket=...; ..."
  }
}

Hãy hiểu nó như một lần thử lại amazon-continue. solved vẫn là false, data là trang thực tế, bạn chỉ bị tính phí cho request bạn đã tạo, và cookie là jar dùng để gửi lại trên các trang tiếp theo. Khi quá trình kiểm tra liên tục lặp lại, FourA giữ nguyên trang như lúc nhận về, và trang đó không bị tính phí.

retry: "verify-challenge"

Một số trang web mở đầu bằng một trang kiểm tra ngắn riêng: biểu tượng quay và một script sẽ chuyển tiếp bạn đến trang đích sau khi kiểm tra hoàn tất. Khi bật unblocker (mặc định), Single và Proxy sẽ hoàn thành quá trình kiểm tra đó trên cùng một cổng ra, bên trong timeout_ms của bạn, rồi yêu cầu lại trang của bạn với cookie vừa được thiết lập. Khi trang được mở thành công, response sẽ chứa retry: "verify-challenge":

{
  "status": 200,
  "data": "<!doctype html>...",
  "defense": {
    "vendor": "verify-challenge",
    "solved": false,
    "present": ["verify-challenge"],
    "retry": "verify-challenge",
    "cookie": "token=..."
  }
}

Hãy hiểu nó như một lần thử lại reddit-js-check. solved vẫn là false, data là trang thực tế, bạn bị tính phí cho request bạn đã thực hiện, và cookie là jar để phát lại trên các trang tiếp theo. Khi trang kiểm tra trả về trạng thái không được phản hồi, nó sẽ không bị tính phí.

defenses trên Browser

{
  "status": 200,
  "body": "<!doctype html>...",
  "userAgent": "Mozilla/5.0...",
  "defenseSolved": true,
  "defenses": {
    "present": ["cloudflare"],
    "cleared": ["cloudflare"]
  }
}
Trường Kiểu Mô tả
defenseSolved boolean true khi phát hiện một hệ thống trong quá trình tải và clearance của hệ thống đó được giữ lại trên trang cuối cùng. Đây là cờ quyết định lượt gọi tốn 5 hay 10 credit.
defenses.present string[] Mọi hệ thống được nhận diện tại bất kỳ thời điểm nào trong quá trình tải trang, không chỉ riêng trên response cuối cùng. Việc kiểm tra là sự kiện đã diễn ra, và khi trang thực tế được trả về thì challenge response đã kết thúc từ lâu.
defenses.cleared string[] Các hệ thống có clearance được trang cuối cùng giữ lại.

Một tên xuất hiện trong present nhưng không bao giờ đạt tới cleared nghĩa là hệ thống đó đã được FourA nhận diện nhưng chưa nhận được clearance: có thể do FourA chưa hỗ trợ hoàn thành, hoặc là một trong số ít trường hợp Browser xử lý theo cách khác (xem Những gì được giải quyết hiện nay). Những trường hợp này không bao giờ làm tăng chi phí của lượt gọi.

Nhà cung cấp

Giá trị vendor Hệ thống
cloudflare Các challenge và quản lý bot của Cloudflare
sgcaptcha Trình kiểm tra trang web của SiteGround
datadome DataDome
perimeterx PerimeterX
akamai Akamai Bot Manager
incapsula Imperva Incapsula
awswaf Challenge của AWS WAF
ebay-splashui Challenge riêng của eBay
reddit Các trang kiểm tra và từ chối riêng của Reddit
verify-challenge Trang kiểm tra riêng của một trang web tự động chuyển hướng bạn sau khi hoàn tất kiểm tra
amazon Trình kiểm tra robot của Amazon
hcaptcha hCaptcha
recaptcha reCAPTCHA
unknown Không nhận diện được hệ thống nào. Chỉ xuất hiện cùng với retry, nơi bản ghi tồn tại nhằm báo cáo lượt thử lại thay vì một nhà cung cấp.

Những gì được giải quyết hiện nay

Endpoint Giải quyết
Single, Proxy sgcaptcha, ebay-splashui. Cả hai đều mang tính tính toán thay vì thị giác, do đó không cần dùng đến trình duyệt.
Browser cloudflare, sgcaptcha

Một số trường hợp khác được xử lý mà không cần clear. Single và Proxy tự bấm kiểm tra robot một nút của Amazon rồi báo cáo dưới dạng retry: "amazon-continue", gửi kiểm tra trang nhẹ của Reddit rồi báo cáo dưới dạng retry: "reddit-js-check", và hoàn thành trang kiểm tra riêng của trang web rồi báo cáo dưới dạng retry: "verify-challenge". Browser đợi tối đa 10 giây để chính trang kiểm tra đó chuyển tiếp. Browser tự bấm nút của Amazon, đồng thời đợi trong khi trang cảm biến của Akamai, trang challenge của AWS WAF, trang kiểm tra thiết bị của DataDome hoặc trang challenge riêng của eBay tự tải trang tiếp theo, sau đó trả về trang đó. Nếu trang đó không bao giờ xuất hiện, Browser sẽ trả về trang hiện có bên trong timeout_ms của bạn. Trên Browser, những tên đó hiển thị trong defenses.present, không bao giờ nằm trong cleared, và lượt gọi tốn 5.

Mọi thứ khác trong danh sách chỉ được nhận diện và báo cáo, không có thao tác nào khác. Sự phân chia này thay đổi khi FourA hỗ trợ vượt qua nhiều hệ thống hơn, vì vậy hãy đọc solved thay vì tự suy đoán từ bảng này.

Hai lưu ý đối với các trường hợp đặc biệt:

  • hcaptcha và recaptcha cũng là các widget biểu mẫu thông thường. Chúng chỉ được báo cáo khi response thực sự chặn bạn (403, 429 hoặc 503), vì vậy trang thanh toán có widget xác minh trong biểu mẫu sẽ không báo cáo là có lớp bảo vệ.
  • Nằm sau Cloudflare không phải là một lớp bảo vệ. cloudflare xuất hiện khi có thử thách thực sự hoặc dấu vết bot-management trên response, chứ không phải vì trang web sử dụng Cloudflare.

Phát lại Clearance

defense.cookie là mục đích chính của trường này. Một clearance được liên kết với IP đầu ra đã nhận được nó và User-Agent đã nhận được nó, vì vậy hãy phát lại nó qua cùng cặp này và quy trình kiểm tra sẽ không chạy lại.

import requests

API = "https://eu.api.foura.ai"
H = {"X-API-Key": "YOUR_API_KEY", "Content-Type": "application/json"}

# 1) First call pays for the clear.
first = requests.post(f"{API}/api/proxy/", headers=H, json={
    "maxTries": 5,
    "request": {"method": "GET", "url": "https://example.com/catalog"},
}).json()

defense = first.get("defense", {})
if defense.get("solved"):
    clearance = defense["cookie"]
    exit_id = first["proxy"]

    # 2) Follow-up pages skip the check: same exit, same clearance.
    for page in range(2, 6):
        r = requests.post(f"{API}/api/single/", headers=H, json={
            "method": "GET",
            "url": f"https://example.com/catalog?page={page}",
            "proxy": exit_id,
            "headers": [["Cookie", clearance]],
        }).json()
        print(page, r["status"])

Lượt gọi đầu tiên chịu chi phí giải quyết thử thách. Mỗi lượt phát lại sau đó là một request bình thường với mức giá thông thường.

Ba yếu tố làm hỏng một lượt phát lại:

  1. Exit node khác nhau. Hãy ghim proxy ID mà response giải quyết thử thách trả về. Xem Tái sử dụng Proxy qua nhiều Request.
  2. User-Agent khác nhau. Response từ Browser trả về userAgent đã sử dụng. Hãy gửi lại giá trị đó kèm theo cookie.
  3. Hết hạn. Clearance có thời hạn sử dụng riêng do mục tiêu thiết lập. SiteGround duy trì khoảng 30 ngày cho toàn bộ trang web; Cloudflare clearance thường ngắn hơn nhiều. Hãy coi clearance như một bộ nhớ cache: khi các lượt phát lại bắt đầu gặp lại challenge, hãy chạy một lượt gọi mới để lấy clearance mới.

Chi phí

Một lần vượt qua kiểm tra chỉ làm thay đổi giá trên Browser:

Engine Base Đã vượt qua kiểm tra
Single 1 (2 với unblocker) Không đổi
Proxy 2 (4 với unblocker) Không đổi
Browser 5 10

Browser chỉ tính phí 10 khi trình giải quyết thử thách được bật và hệ thống thực sự được giải quyết thành công. Hệ thống được nhận diện nhưng không thể vượt qua có giá 5, tương đương với một trang không có bất kỳ kiểm tra nào.

Một trang kiểm tra hoặc trang từ chối mà FourA nhận diện trả về với HTTP 200 (ví dụ kiểm tra robot của Amazon, trang xác minh của Reddit hoặc trang challenge của eBay) sẽ không bị tính phí trên bất kỳ endpoint nào. Response của Single, Proxy và Browser sẽ nêu tên mục này trong X-FourA-Check-Page.

Kết hợp với validate

defense cho bạn biết đã gặp một kiểm tra. validate báo cho FourA biết trang thực sự trông như thế nào, giúp một request báo lỗi thay vì trả về cho bạn một trang trung gian vô tình mang mã HTTP 200.

{
  "method": "GET",
  "url": "https://example.com/product/42",
  "validate": {
    "data": {"accept": ["Add to cart"], "fail": ["Just a moment"]}
  }
}

Trên POST /api/auto/, validate là yếu tố ngăn ladder chấp nhận trang challenge và coi như hoàn tất.

Cập nhật: 11 tháng 11, 2026