Trong tháng Một, 16 triệu request đã chứng minh chặn IP đã chết
Một cuộc tấn công scalping đã nhắm vào một nền tảng thương mại điện tử lớn vào tháng 1 năm 2026. Mười sáu triệu request trải rộng trên 3,9 triệu địa chỉ IP duy nhất. Cơ chế rate limit theo từng IP hoàn toàn bất lực. Cuộc tấn công thành công không phải nhờ code thông minh. Nó thành công vì lượng IP khổng lồ đã khiến các phương pháp phát hiện truyền thống trở nên vô nghĩa (SecurityBoulevard, tháng 3 năm 2026).
Sự cố đó đã chứng minh điều mà ngành công nghiệp anti-bot đã cảnh báo từ lâu: chỉ riêng IP reputation không thể phân biệt được con người và bot. Và nếu bên phòng thủ đã chuyển dịch công nghệ, các scraper cũng cần phải chuyển dịch theo.
Ba lớp thay thế cho việc chặn IP
Hệ thống phát hiện bot hiện đại hoạt động trên ba lớp. Chỉ có lớp đầu tiên liên quan đến IP của bạn.
Network fingerprinting. Trước khi request của bạn đến được máy chủ, gói tin TLS "Client Hello" sẽ tạo ra một chữ ký (được gọi là JA3 hoặc JA4) để nhận diện thư viện HTTP đang thực hiện request. Thư viện requests của Python, client mặc định của Go, hay fetch của Node.js, mỗi công cụ đều tạo ra một fingerprint riêng biệt. Các hệ thống anti-bot sẽ kiểm tra điều này trước khi đọc bất kỳ header nào. Nếu chữ ký TLS của bạn không khớp với một trình duyệt thực tế, bạn sẽ bị chặn ngay từ cấp độ kết nối (Reddit r/programming).
Browser fingerprinting. Các trang web hiện nay kiểm tra hơn 300 tín hiệu từ môi trường trình duyệt. Canvas rendering, đầu ra WebGL, audio context, các font chữ đã cài đặt, độ phân giải màn hình, múi giờ, thông tin GPU. Chuỗi User-Agent của bạn là tín hiệu ít thú vị nhất trong tập hợp này. Cloudflare, Akamai và DataDome thu thập các thông tin này một cách thụ động thông qua các thử thách JavaScript chạy trước khi trang tải (ScrapingBee, 2026).
Behavioral analysis. Đây là lớp mới nhất và khó giả mạo nhất. Các hệ thống anti-bot hiện theo dõi chuyển động chuột, tốc độ cuộn trang, mô hình click, nhịp điệu gõ phím và khoảng thời gian giữa các tương tác. Con người thực tế không di chuyển chuột theo các đường thẳng hoàn hảo. Họ tạm dừng, di chuột quá nút bấm, cuộn trang một cách ngẫu nhiên. Bot không làm những điều này, hoặc làm tất cả một cách quá hoàn hảo (r/webdev, 2026).
Hầu hết các đội ngũ scraping đang chiến đấu sai trận địa
Đây là một sự thật phũ phàng: hầu hết các đội ngũ scraping vẫn đầu tư chủ yếu vào hạ tầng IP. Các proxy pool lớn hơn, residential IP, các gateway xoay vòng. Những giải pháp đó vẫn có vai trò nhất định. IP reputation vẫn quan trọng như một tín hiệu trong số nhiều tín hiệu khác.
Nhưng việc mua 10.000 residential IP sẽ không giúp ích gì nếu fingerprint TLS của bạn tố cáo bạn là "Python script" hoặc trình duyệt headless của bạn làm rò rỉ các cờ tự động hóa thông qua navigator.webdriver. Bạn đang chi tiền cho sai lớp.
Một nhà phát triển từng xây dựng 34 scraper chạy thực tế đã viết về vấn đề này (Dev|Journal, tháng 3 năm 2026): khoảng cách giữa việc scraping ở mức độ hướng dẫn cơ bản và những gì thực sự hoạt động hiệu quả trong môi trường production được định nghĩa bởi các hệ thống anti-bot phân tích fingerprint TLS và chuyển động chuột, chứ không phải các DOM selector. Các bài hướng dẫn dạy bạn cách parse HTML. Môi trường production dạy bạn cách sống sót qua các hệ thống phát hiện.
Vài tình hình đang ngày càng trở nên khó khăn hơn. Báo cáo State of Web Scraping 2026 của Browserless chỉ ra rằng các trình duyệt headless tiêu chuẩn bị gắn cờ thường xuyên hơn so với trình duyệt thực tế, bởi vì các hệ thống anti-bot đã lập danh mục các điểm khác biệt cụ thể về fingerprint giữa Chrome headless và Chrome thông thường. Khoảng cách này không hề thu hẹp lại.
Nếu scraper của bạn liên tục bị lỗi và bạn chỉ tập trung vào việc xoay vòng proxy, có thể bạn đang sửa sai chỗ hoàn toàn.
Yếu tố Cloudflare
Cloudflare xứng đáng được nhắc đến đặc biệt vì họ đứng ở cả hai phía của sự chuyển dịch này.
Sản phẩm Bot Management của họ thực hiện phân tích hành vi trên mỗi request, chấm điểm khách truy cập theo thang điểm từ 1 đến 99 dựa trên hàng chục tín hiệu. Turnstile (giải pháp thay thế CAPTCHA vô hình của họ) tự động điều chỉnh độ khó của thử thách dựa trên mức độ giống con người của khách truy cập (tài liệu Cloudflare).
Đồng thời, Cloudflare cũng ra mắt hạ tầng crawling AI của riêng mình. Cộng đồng đã nhận thấy sự trớ trêu này (Reddit r/cybersecurity).
Ý nghĩa thực tế của điều này là: các trang web được bảo vệ bởi Cloudflare là những trang khó scrape nhất vào năm 2026, và khoảng 20% tổng số trang web nằm sau mạng lưới của họ. Nếu chiến lược scraping của bạn không tính đến việc phát hiện hành vi, bạn đã mất đi một phần năm lượng web có thể tiếp cận.
Những gì thực sự hiệu quả trong năm 2026
Các scraper thành công đều chia sẻ ba đặc điểm chung.
Thứ nhất, chúng khớp với fingerprint TLS của trình duyệt thực tế. Các công cụ như curl-impersonate mô phỏng chính xác chữ ký TLS của Chrome hoặc Firefox, ngăn chặn việc bị phát hiện trước khi nó bắt đầu. Không có phương pháp giả mạo header nào có thể khắc phục được một hash JA3 không khớp.
Thứ hai, chúng chạy các môi trường trình duyệt thực tế (hoặc thực tế một cách thuyết phục). Không phải Chrome headless với các cài đặt mặc định. Đó phải là các instance trình duyệt thực tế với các fingerprint nhất quán, khớp với User-Agent mà chúng khai báo.
Thứ ba, đối với các trang web được bảo vệ, chúng bổ sung thêm các nhiễu hành vi giống con người. Các khoảng trễ ngẫu nhiên là không đủ. Khoảng thời gian giữa các hành động cần tuân theo các phân phối thực tế, và quỹ đạo chuyển động chuột cần có các đường cong và sự ngập ngừng tự nhiên.
Vì vậy, kiến trúc đã thay đổi. Vấn đề không còn là sở hữu nhiều IP hơn nữa. Mà là làm cho mỗi request không thể phân biệt được với một người dùng thực tế đang lướt web trên Chrome.
Cuộc đua vũ trang phát hiện bot đang tăng tốc
Các nhà cung cấp giải pháp anti-bot đã bắt đầu chia sẻ thông tin tình báo về mối đe dọa (threat intelligence) trong toàn bộ cơ sở khách hàng của họ theo thời gian thực. Khi một trang web gắn cờ một mẫu bot mới, mọi trang web khác trong mạng lưới sẽ biết được điều đó chỉ trong vòng vài phút (SecurityBoulevard, tháng 3 năm 2026). Đó là một sự thay đổi căn bản so với mô hình cũ, nơi hệ thống phòng thủ của mỗi trang web hoạt động độc lập.
Chúng tôi tin rằng điều này đồng nghĩa với việc chi phí tự xây dựng hạ tầng scraping sẽ tiếp tục tăng cao. Mỗi tín hiệu phát hiện mới đều đòi hỏi thời gian kỹ thuật để đối phó, và chu kỳ này đang tăng tốc. Các đội ngũ xử lý việc phát hiện ở cấp độ hạ tầng (smart proxy routing, browser fingerprinting, khớp TLS) sẽ hoạt động hiệu quả hơn hẳn so với những đội ngũ tiếp tục đổ thêm IP vào để giải quyết vấn đề.
Câu hỏi không phải là liệu bạn có cần thêm proxy hay không. Mà là liệu các request của bạn có trông giống con người trước khi chúng tiếp cận máy chủ mục tiêu hay không.