Điểm nổi bật
Rất nhiều trang web thiết lập cookie ngay khi bước kiểm tra của họ cho phép request đi qua, sau đó từ chối API của chính mình với bất kỳ ai không gửi lại cookie đó. Auto hiện trả về cookie này trong session, cho phép lệnh gọi tiếp theo tới API của trang web có thể chạy trên Single. Lệnh gọi Auto thất bại cũng nêu rõ phản hồi thực tế từ trang web, trang bị xóa sẽ kết thúc lệnh gọi trong vài giây, và Browser hoàn tất widget xác thực mà một số trang web đặt trên trang từ chối của họ.
Có gì mới
Auto trả về cookie đã mở trang web
Một số trang web bảo vệ dữ liệu của họ qua hai lớp. Trang web tải sau khi bước kiểm tra nhanh cho phép request của bạn đi qua, và JSON phía sau (lệnh gọi mà script của trang web thực hiện) chỉ phản hồi khi bạn gửi lại cookie mà bước kiểm tra đó đã thiết lập. Auto hiện trả về cookie đó trong session.cookies, giúp session đã mở trang web cũng mở được API.
Nhiệm vụ của Auto ở đây là tìm đường vào một lần. Các lệnh gọi tiếp theo nên chạy trên Single, thông qua cùng một proxy ID:
import requests
H = {"X-API-Key": "pk_live_..."}
# 1) Find the route once
r = requests.post(
"https://api.foura.ai/api/auto",
headers=H,
json={"url": "https://example.com/"},
).json()
s = r.get("session") or {}
# 2) Call the site's own API on Single, with the cookie the check set
body = {
"method": "GET",
"url": "https://example.com/api/products?page=1",
"headers": [["Referer", "https://example.com/"]],
}
if s.get("proxy"):
body["proxy"] = s["proxy"]
if s.get("cookies"):
body["headers"].append(
["Cookie", "; ".join(f"{c['name']}={c['value']}" for c in s["cookies"])]
)
data = requests.post("https://api.foura.ai/api/single", headers=H, json=body).json()
Gửi trang dưới dạng Referer nữa. Nhiều API trong số này từ chối request nếu thiếu nó, vì script của chính trang đó luôn gửi kèm. Các cookie thường có thời hạn ngắn, nên khi API bắt đầu từ chối lại, chỉ cần thêm một lệnh gọi Auto để lấy cookie mới. Và nếu bạn không biết trang gửi request nào, tab DevTools trong tiện ích mở rộng Chrome của chúng tôi, hiện vẫn ở bản beta, sẽ liệt kê chúng và sao chép bất kỳ request nào thành một lệnh gọi hoàn chỉnh (hãy xử lý lệnh gọi được sao chép cùng cookie như mật khẩu, vì nó có thể mang phiên đã đăng nhập). Chúng tôi đã hướng dẫn cách làm trong Any Page Request as an API Call.
Hai thay đổi nhỏ hơn đi kèm. Header Cookie bạn gửi đến Auto hiện được chuyển đến trang web mà không bị thay đổi, và cookie của phiên đang hoạt động chỉ được thêm vào bên cạnh dưới những tên bạn chưa gửi. Header của bạn cũng được gửi trong các request Single và Proxy Finder mà Auto thực hiện hiện nay, bao gồm cả quá trình tìm kiếm exit IP hoạt động, trong khi các tầng browser vẫn không gửi chúng. Toàn bộ mô hình nằm trong Replaying with the session.
Lệnh gọi Auto thất bại cho biết phản hồi từ trang web
Khi Auto không tìm được route, bạn cần biết lý do trước khi thay đổi bất cứ điều gì. attemptReport trên phản hồi thất bại giờ đây sẽ tính một trang web từ chối request (mã 401, 403, 429 hoặc 503, hoặc một trang challenge) vào mục defense, ngay cả khi không nhận diện được nhà cung cấp giải pháp chống bot nào. Trang bị gỡ bỏ sẽ nằm trong statusRejected. Dòng summary nêu rõ mã trạng thái HTTP mà trang web đã trả về và thông báo khi hạn mức browser hàng ngày của bạn đã hết, khiến browser không thể khởi chạy.
Hãy bắt đầu với contentRejected. Số lượng đó cho thấy trang đã trả về kết quả và chỉ có quy tắc validate của riêng bạn từ chối nó, đây là điểm duy nhất bạn có thể sửa trước khi tác vụ chuyển sang Single hoặc Browser. Các trường còn lại được mô tả trong Why an Auto call failed.
Các trang bị gỡ bỏ cũng kết thúc nhanh chóng. Khi một trang web phản hồi 410 cho trang đã bị hạ xuống, Auto sẽ dừng lệnh gọi trong vài giây, ngay cả khi nhiều lệnh gọi của bạn đang chờ trên cùng trang web đó. Nếu trang bị gỡ bỏ là kết quả bạn muốn ghi lại, hãy khai báo 404 hoặc 410 trong validate.status.accept.
Browser hoàn tất bước xác minh của chính trang web
Một số trang web phản hồi bằng trang từ chối riêng của họ, mã 401 hoặc 403 đi kèm tiện ích xác minh. Browser với unblocker: true giờ đây sẽ hoàn tất bước mà tiện ích yêu cầu và chờ tối đa 10 giây cho trang tiếp theo.
Không phải mọi lần thử đều thành công. Vì vậy, khi trang web vẫn từ chối, bạn sẽ nhận lại trang kiểm tra của họ sau thời gian chờ, đúng phản hồi bạn nhận được trước đây, và code của bạn không cần thêm nhánh xử lý mới.
Auto dùng browser request vào đúng nơi cần thiết
Trên một số trang web, các browser request sau vài lượt đầu tiên trong một lệnh gọi hiếm khi tải lại được trang. Auto hiện tự học điều này theo từng trang web. Khi các request vượt quá ba lượt đầu của một lệnh gọi hầu như không bao giờ hiệu quả, hệ thống sẽ duy trì giới hạn ba lượt cho mỗi lệnh gọi trong ngày tiếp theo, chuyển sang thử nghiệm các route khác, và sau đó học lại. Định ngạch browser hàng ngày của bạn được tối ưu hơn. Các browser request qua premium exit không bị giới hạn, vì trên một số ít trang web, đó là cách duy nhất để truy cập.
Khi Auto tìm thấy một route browser, hãy replay session mà nó trả về trên Browser cho lưu lượng lớn. Đó là nơi dành cho traffic production.
Trên ngày càng nhiều trang web, nội dung trang không phải là dữ liệu. Đó chỉ là bước bắt tay trước API lưu trữ dữ liệu đó, và Auto hiện cung cấp cho bạn cả hai.