Điểm nổi bật
Từ trước đến nay FourA chỉ có một cánh cửa: bạn gửi cho chúng tôi một URL, chúng tôi trả lại trang cho bạn. Tuần này chúng tôi đã mở cánh cửa thứ hai, một proxy endpoint thông thường mà bạn có thể dán vào bất kỳ HTTP client nào, với thông tin xác thực tạo trong Dashboard. Proxy Finder cũng đã học cách sử dụng exit trả phí cho các mục tiêu từ chối mọi cách tiếp cận khác, và Auto đã ghi nhớ tốt hơn các exit hoạt động hiệu quả.
Có gì mới
Trỏ bất kỳ HTTP client nào về phía chúng tôi
Mục mới trong Dashboard: ACCESS, sau đó là Proxy. Tạo một người dùng proxy và trang sẽ cung cấp chính xác chuỗi kết nối, kèm theo các ví dụ bằng curl, Python và Node ngay bên cạnh. Chọn loại exit, quốc gia, tùy chọn giữ nguyên exit qua một chuỗi request, và chuỗi kết nối sẽ tự động cập nhật theo lựa chọn của bạn.
Tại sao lại xây dựng tính năng này khi API đã hoạt động tốt? Một số tác vụ không thuộc dạng request và response. Một tunnel sẽ sao chép các byte ngay khi chúng đến: không có vỏ bọc JSON, không cần buffering. Đó là những gì một tệp lớn hoặc một luồng video cần, và API của chúng tôi vốn không được thiết kế cho việc đó.
Khả năng nhắm mục tiêu chi tiết hơn trên các exit trả phí: khu vực, thành phố, mạng theo tên ISP, và thời gian một exit được giữ riêng cho bạn. Pool riêng của chúng tôi chỉ hỗ trợ cấp quốc gia, có chủ đích. Một thành phố trong một quốc gia có độ phủ thấp chỉ bao gồm một vài địa chỉ, và một bộ lọc thường xuyên thất bại còn tệ hơn là không có bộ lọc.
Một sự đánh đổi rõ ràng. Thông qua một tunnel thông thường, client của bạn sẽ trực tiếp kết nối tới trang web chứ không phải chúng tôi, vì vậy những xử lý mà API thực hiện thay bạn sẽ không nằm trên đường dẫn đó: cờ unblocker, giải quyết dựa trên trình duyệt, các quy tắc validate, session replay. Tunnel mang lại cho bạn các exit và băng thông của chúng tôi. API mang lại cho bạn những gì chúng tôi xây dựng bên trên. Hãy chọn theo từng tác vụ, không phải theo toàn bộ công ty.
Exit Premium, và response cho biết exit nào đã phục vụ bạn
/api/proxy hiện nhận một exitClass, có thể là standard hoặc premium. Premium sẽ định tuyến bạn qua một exit mà chúng tôi trả phí, dành cho các mục tiêu liên tục chặn pool riêng của chúng tôi.
Nếu không gửi gì, bạn sẽ nhận được chế độ auto: pool dùng chung sẽ được thử trước, và exit trả phí chỉ tham gia tìm kiếm khi quá trình này gặp khó khăn. Chỉ định rõ một class và chúng tôi sẽ tuân thủ chính xác. standard không bao giờ tự ý leo thang, đó chính là mục đích của việc chỉ định rõ ràng.
Response sẽ gửi kèm exitClass trở lại, vì vậy bạn luôn biết exit nào đã phân phối dữ liệu. Một request premium được pool riêng của chúng tôi phản hồi thành công trước sẽ trả về standard, đây là một thành công, không phải là hạ cấp. Nếu gói của bạn không có premium, request sẽ bị từ chối thẳng thừng thay vì âm thầm được phục vụ từ một nơi khác.
Premium được tính như một phần trong băng thông của bạn, không bao giờ là một tổng mức thứ hai: một hàng trên Quota, một cột trên Metrics, một đánh dấu trên hàng Activity đã đi qua đường đó, một thẻ trên trang Overview của bạn. Playground đã có bộ điều khiển này, và tùy chọn để trống mang ý nghĩa quan trọng: việc không thiết lập sẽ không gửi bất kỳ trường nào, vì "chưa từng yêu cầu" và "yêu cầu không bao giờ leo thang" là hai request hoàn toàn khác nhau.
Auto ghi nhớ những gì đã hoạt động hiệu quả
Bậc thang của Auto luôn ghi nhận những exit nào bị lỗi. Giờ đây hệ thống ghi nhận thêm những exit phân phối thành công, từ mọi bậc thay vì chỉ các bậc browser, và chỉ sau khi nội dung vượt qua quy trình kiểm tra dùng để quyết định việc chúng tôi có trả trang về hay không. Một exit không thể được đánh dấu là tốt cho một trang mà chúng tôi sẽ không trả về cho bạn.
Các lệnh ban cũng tự động hết hạn theo thời gian riêng. Danh sách loại trừ của một host từng bị làm mới thời hạn mỗi khi xuất hiện một lệnh ban mới; giờ đây mỗi lệnh ban sẽ hết hạn theo đúng lịch trình ban đầu của nó.
Và khi một lần chạy chạm đến giới hạn browser trong gói của bạn, bậc thang sẽ không dừng lại nữa. Thay vào đó, nó tiếp tục xử lý ở bậc proxy, sau đó cache lại exit chiến thắng để các lệnh gọi sau có thể phát lại với chi phí thấp trên Single.
Auto vẫn là công cụ dò đường, không phải tuyến đường production. Hãy để nó cho bạn biết bậc nào đã chiến thắng rồi trả lại session, sau đó hướng toàn bộ lưu lượng của bạn vào /api/single hoặc /api/browser trực tiếp với session đó. Đó chính là luận điểm khi Auto ra mắt và không có thay đổi nào ở đây làm khác đi điều đó.
Trang trả về không phải là trang bạn yêu cầu
Một số exit nằm trong mạng doanh nghiệp bị lọc, nơi gateway phản hồi thay cho trang web đích. Response trả về mã 200, có body, và vượt qua mọi bài kiểm tra của chúng tôi. Hiện tại điều đó không còn nữa: một trang như vậy giờ được tính là bằng chứng cho thấy exit không thể sử dụng được thay vì chứng minh trang web đã phản hồi, vì vậy request sẽ bỏ qua nó và exit đó không còn được ưu tiên.
Mỗi cấu trúc trang mà chúng tôi so khớp đều đi kèm một giới hạn kích thước, do đó một tài liệu thực tế vô tình chứa các từ khóa đó sẽ không bị đánh giá sai. Kích thước là một lớp bảo vệ, không bao giờ là tín hiệu. Chúng tôi đã viết về phiên bản mở rộng của vấn đề này hai tuần trước, khi một lệnh chặn trông giống như một điểm dữ liệu.
Chi tiết kỹ thuật
Rate limit hiện được kiểm tra dựa trên mức trần của chính tài khoản của bạn trước khi trừ vào dung lượng dùng chung. Một đợt burst trong một tài khoản sẽ bị từ chối ngay lập tức dựa trên giới hạn của chính tài khoản đó, mà không làm tiêu tốn slot mà người khác đang chờ.
Chỉ số in-flight trên dashboard của bạn đến từ một thước đo trực tiếp được mỗi instance tái xuất bản mỗi giây, không phải là một bộ đếm có thể tăng liên tục mà không bao giờ giảm. Giao diện và bộ giới hạn hiện đọc cùng một con số.
Số liệu thực tế
Trong thử nghiệm nội bộ của chúng tôi, việc mở tunnel tới một host mà chúng tôi đã tìm thấy exit mất từ 63 đến 672 ms trên khoảng chục mẫu thử, phần lớn dưới 260 ms. Lần kết nối đầu tiên với một host mà chúng tôi chưa từng xử lý sẽ chậm hơn: vài giây, đôi khi vài chục giây, trong khi pool được tìm kiếm để chọn ra các exit hoạt động được với mục tiêu đó. Quá trình đó diễn ra một lần cho mỗi host, không phải cho mỗi request. Mẫu thử nhỏ, số liệu nội bộ của chúng tôi.
Hai cánh cửa mở ra một câu hỏi mà tuần trước bạn chưa gặp phải: tác vụ này tập trung vào dung lượng byte, hay việc vượt qua rào cản? Nếu cần chuyển một file lớn, tunnel là giải pháp có chi phí thấp nhất của chúng tôi. Mọi thứ phức tạp hơn thế vẫn là mục đích phục vụ của API.