← Tất cả bài viết

Cloudflare Verified Bots: Phân loại theo bot, thu hồi theo công ty

Cloudflare hiện xếp hạng Verified bot dựa trên robots.txt và mã 429. Mức phân loại áp dụng cho từng bot, nhưng tài liệu cho phép hình phạt ảnh hưởng đến toàn bộ công ty của bạn.

Lịch sử vi phạm của một bot có thể trả giá bằng cả công ty

Cloudflare giải thích hệ thống đánh giá bot mới của mình bằng hình ảnh bằng lái xe: nó cho biết một người là ai, chứ không phải liệu họ có lái xe có trách nhiệm vào năm tới hay không. Một phép so sánh hay. Tuy nhiên, nó thiếu một chi tiết. Bằng lái bị treo chỉ tước quyền lái xe của một tài xế, còn theo các quy định của Cloudflare, một hồ sơ vi phạm có thể đánh sập mọi bot mà một công ty đang vận hành.

Vào ngày 16 tháng 10, Cloudflare tuyên bố họ hiện đánh giá các bot Verified liên tục, dựa trên hai tín hiệu: liệu traffic của chúng có nhất quán với robots.txt của trang web theo thời gian hay không, và liệu chúng có giảm tốc độ sau khi gặp lỗi HTTP 429 hay không. Kết quả được xếp vào một "trust band" (nhóm tin cậy). Các kỹ sư đọc thông tin đó sẽ lập tức điều chỉnh retry logic trước tiên, và bài viết chi tiết của Crawlbase về fetch loop đạt điểm cao là một khởi đầu tốt.

Chúng tôi nghĩ rằng retry logic chỉ là phần nhỏ hơn. Nếu bạn xây dựng scraper cho bên khác, câu hỏi quan trọng thực sự là tên của ai đang nằm trên danh sách đăng ký.

Những gì thực sự đã được phát hành

Ít hơn những gì các tiêu đề mô tả. Cloudflare cho biết họ "đang sử dụng hệ thống này trong nội bộ" trong khi xây dựng dữ liệu lịch sử. Điểm số công khai trên Radar và ngưỡng mà chủ sở hữu trang web có thể tự chọn đều được viết ở thì tương lai, không kèm theo ngày cụ thể. Chưa có tài liệu nào Cloudflare công bố cho phép một trang web từ chối crawler của bạn chỉ vì trust band ở thời điểm hiện tại.

Phạm vi cũng rất hẹp. Chỉ các bot nằm trong danh sách Verified mới bị đánh giá, còn lại đều không được chấm điểm. Con số này chiếm gần như toàn bộ: tại Cloudflare Connect vào tháng 10, công ty cho biết chưa đến một phần mười request tự động đến từ bot tự định danh.

Vì vậy, nếu scraper của bạn không nằm trong danh sách đó, thông báo này không xếp hạng bạn.

Điều này có nghĩa là: sổ cái đánh giá vẫn chưa mở cho các chủ sở hữu trang web, và hầu hết traffic tự động không nằm trong đó. Những người cần quan tâm lúc này là những ai sở hữu crawler đã niêm yết, hoặc đang có kế hoạch đưa crawler vào danh sách.

Phạm vi phạt rộng hơn điểm số

Đây là phần mà các bài phân tích chúng tôi đã đọc đều bỏ qua. Trust band chỉ mô tả một bot cụ thể. Nhưng hậu quả không nhất thiết chỉ dừng lại ở đó. Tài liệu Verified bots của Cloudflare, cập nhật ngày 2 tháng 11, nêu rõ họ "có thể thu hồi trạng thái Verified đối với tất cả bot và agent do một tổ chức sở hữu hoặc vận hành" sau những vi phạm lặp lại, và chỉ rõ trường hợp một công ty "tuân thủ chính sách cho một bot hoặc agent trong khi lại vi phạm với một bot khác."

Hãy đặt trường hợp đó vào một agency nhỏ. Một công ty, nhiều dự án cho khách hàng, nhưng chỉ có một tên trong danh mục. Khách hàng muốn có danh mục sản phẩm trước thứ Sáu và yêu cầu bạn tăng rate limit lên. Nếu tác vụ đó tiếp tục duy trì tốc độ bất chấp các mã lỗi 429 trả về, và tái diễn nhiều lần, thiệt hại sẽ không dừng lại ở tác vụ đó. Nó có thể giáng xuống toàn bộ công ty, và ảnh hưởng tới mọi dự án khác đang chạy dưới danh nghĩa của họ.

Cùng trang đó cho thấy lý do tại sao điều này đột nhiên áp dụng cho các hoạt động thương mại. BotBase, thư mục của Cloudflare, hiện liệt kê hành vi "Data Collection", được định nghĩa là "thu thập giá cả, thu thập thông tin tình báo cạnh tranh và phân tích bên thứ ba". Nó nằm cạnh Search và Training. Hoạt động thu thập thương mại có thể là một hành động được khai báo, có tên gọi rõ ràng, và chúng tôi coi đó là tin tốt.

Nhưng hãy nhìn vào các nhãn bên cạnh. Một bot có thể là Direct (một người vận hành, thường trên hạ tầng riêng của họ) hoặc Intermediary ("một dịch vụ agentic mà nhiều người dùng cuối có thể vận hành"). Cloudflare gọi vấn đề với nhóm thứ hai là transitive trust: bạn có thể tin tưởng người vận hành mà không tin tưởng tất cả những người đang điều khiển nó, vì vậy họ đang thử nghiệm việc chuyển tiếp chi tiết về người dùng cuối. Một đơn vị cung cấp dịch vụ scraping thực chất là một bên trung gian trong mọi khía cạnh, ngoại trừ trên giấy tờ.

429 Không Phải Lúc Nào Cũng Do Tốc Độ

Tín hiệu thứ hai nghe có vẻ đơn giản. Cloudflare gọi 429 là "chỉ thị để khách truy cập giảm tốc độ request" và theo dõi xem lưu lượng truy cập có chậm lại hoặc tạm dừng sau đó hay không.

Nhưng các trang web sử dụng mã trạng thái đó cho nhiều mục đích hơn là chỉ tải hệ thống. Crawl Readiness đã kiểm tra top 1.000 của Tranco vào ngày 12 tháng 10, yêu cầu từng trang chủ cung cấp một trang dưới dạng trình duyệt và sau đó là bốn AI crawler, khoảng mười request mỗi trang và không thử lại. Trong số 78 trang từ chối một crawler mà chính robots.txt của họ cho phép, 14 trang đã trả lời bằng mã 429 và không có gì khác (một lượt quét duy nhất, chỉ dùng chuỗi user-agent, vì vậy hãy coi đó là một gợi ý).

Các tác giả đã gác những trường hợp đó sang một bên vì có thể là rate limit, đây là cách xử lý thận trọng. Chúng tôi hiểu chúng theo cách khác. Một trang web trả về 200 cho trình duyệt nhưng lại trả về 429 cho một crawler có tên cụ thể, chỉ sau một vài request, nhiều khả năng không phải đang báo cáo tình trạng quá tải. Nó đang thể hiện một sự từ chối bằng từ vựng của sự tắc nghẽn.

Vì vậy, một hệ thống chấm điểm coi mọi mã 429 là cùng một chỉ thị đôi khi sẽ đo lường sai bản chất, và trang web hiếm khi cho bạn biết bạn đang rơi vào trường hợp nào. Giới hạn số kết nối đồng thời, giới hạn mỗi phút và một lời từ chối thẳng thừng đều xuất hiện dưới dạng cùng ba chữ số đó.

Phía client thông thường cũng không hỗ trợ tốt hơn. Rất nhiều mã retry chờ hết Retry-After rồi tiếp tục với tốc độ vừa bị từ chối. Thử nghiệm nội bộ của Crawlbase đưa ra một con số cụ thể: trước giới hạn hai request mỗi giây, một vòng lặp giữ nguyên tốc độ cũ đã nhận 13 lần từ chối trong 40 request, trong khi một vòng lặp hạ trần tốc độ chỉ nhận 3 lần và vẫn lấy được nhiều trang hơn mỗi giây (1,11 so với 0,94). Đó là một toy server. Nhưng xu hướng thực tế vẫn hoàn toàn chính xác.

Điều này có ý nghĩa gì: nếu bot của bạn nằm trong danh sách Verified, việc giảm tốc độ là giải pháp được điểm số ghi nhận, và chi phí bỏ ra thấp hơn nhiều so với dự tính. Nhưng hãy ghi log những gì bạn nhận được, vì một số mã 429 đó chưa bao giờ bắt nguồn từ tốc độ của bạn.

Việc Ký Danh Và Việc Tuân Thủ Đang Tách Rời Nhau

Tài liệu của Google làm rõ nét sự căng thẳng này. Trang Web Bot Auth của họ, cập nhật lần cuối vào ngày 13 tháng 10, nêu rõ một tập hợp con các request từ Google-Agent được ký số như một thử nghiệm. Trang của họ về trình thu thập do người dùng kích hoạt, nơi liệt kê Google-Agent, cho biết vì người dùng đã yêu cầu thu thập dữ liệu, các fetcher này "thường bỏ qua các quy tắc robots.txt."

Vì vậy, Google đang chứng minh ai đã gửi một request trong khi từ chối tuân thủ tệp tin mà mọi người khác có thể bị đánh giá dựa vào. Bài đăng của Cloudflare không đề cập việc một lượt fetch do người dùng chỉ định sẽ được đánh giá ra sao. Nếu bạn đang xây dựng các agent, ranh giới đó chính là điểm cần theo dõi, bởi vì lý do "một người dùng đã yêu cầu điều này" sắp sửa có sức nặng rất lớn.

Điều này có ý nghĩa gì đối với những người xây dựng scraper cho khách hàng

Phân loại công việc theo danh tính đứng tên. Một sản phẩm có crawler công khai riêng và một mục đích rõ ràng là ứng viên tốt cho trạng thái Verified. Một hệ thống vận hành tác vụ của người khác dưới tên công ty của bạn lại là một quyết định khó khăn hơn, vì tác vụ của một khách hàng có thể khiến toàn bộ danh sách gặp rủi ro.

Đưa quy tắc crawl vào hợp đồng. Nếu khách hàng có thể yêu cầu tốc độ cao hơn, hợp đồng cần quy định rõ ai chịu trách nhiệm về hậu quả. Một khi mã 429 trở thành bản ghi lưu trữ, yêu cầu "cứ tăng tốc lên" sẽ không còn là một đòi hỏi vô hại.

Lưu giữ log của riêng bạn. Trạng thái, Retry-After, tốc độ bạn duy trì trước và sau đó, trên từng host. Cloudflare cam kết một dải phân loại có thể giải thích được, nhưng họ chưa nói cách một bên vận hành có thể khiếu nại, và nếu không có số liệu của riêng bạn thì báo cáo của bên đánh giá là căn cứ duy nhất. Đây cũng là thói quen mà dự thảo hướng dẫn của EDPB khuyến khích: có thể chứng minh bạn đã thu thập dữ liệu gì, từ đâu và khi nào.

Ngừng xem robots.txt là giấy phép. Bài đăng của Cloudflare khẳng định trực tiếp: "không có hàm ý rằng bất cứ điều gì không được nêu rõ đều được cho phép." RFC 9309 chưa bao giờ là một giấy phép, và giờ đây đã có bên theo dõi chấm điểm dựa trên nó.

Menu thả xuống không ai mở

Vào tháng 8, chúng tôi đã viết rằng web đang phân loại bot theo mục đích chứ không phải hành vi, và các giá trị mặc định là cách một chính sách trở thành chuẩn mực. Yếu tố hành vi đã xuất hiện hai tháng sau đó. Hiệu ứng mặc định này hiện đã có thể đo lường được: đợt quét ngày 30 tháng 10 của Crawlbase trên top 2.000 của Tranco phát hiện 71 trang web có dòng Content-Signal trong robots.txt, 39 trong số đó sử dụng giá trị mặc định được quản lý giống hệt nhau của Cloudflare. Pay-per-crawl cũng cần điều tương tự như mô hình này: một người mua có danh tính rõ ràng.

Dự đoán của chúng tôi: khi các ngưỡng tin cậy được triển khai, hầu hết các trang web sẽ chấp nhận bất kỳ giá trị nào được chọn sẵn, và đánh giá của một trang web về crawler của bạn phần lớn sẽ chỉ là một menu thả xuống không ai thèm mở. Bản thân chúng tôi cũng đứng ở cả hai đầu của mã trạng thái này. Khi giới hạn gói dịch vụ chặn một lệnh gọi, FourA API nêu rõ giới hạn và chỉ gửi Retry-After khi việc chờ đợi mang lại hiệu quả, và Proxy Finder sẽ tạm dừng IP gửi request bị rate limit cho riêng trang web đó, trong khoảng thời gian chờ mà Retry-After của nó chỉ định. Mã 429 vốn dĩ luôn là một lời yêu cầu. Giờ đây, nó sắp trở thành một bản ghi.