# Hướng dẫn web scraping của EDPB: Các scraper có mục tiêu giành lợi thế

> URL: https://foura.ai/vi/blog/edpb-web-scraping-guidelines-targeted
> Updated: 2026-10-28
> Index: https://foura.ai/llms.txt

## EDPB Vừa Soạn Một Bản Đặc Tả Cho Scraper

Các cơ quan bảo vệ dữ liệu châu Âu đã nói rất nhiều về các mô hình AI. Nhưng cho đến mùa hè này, chưa có tài liệu nào chỉ rõ cho kỹ sư biết scraper cần làm gì trước khi fetch trang đầu tiên.

[Guidelines 03/2026 on web scraping in the context of generative AI](https://www.edpb.europa.eu/system/files/2026-07/edpb_guidelines_2020603_webscraping_v1_en_0.pdf) đã thay đổi điều đó. European Data Protection Board đã thông qua bản dự thảo vào ngày 7 tháng 7 năm 2026, và đợt [lấy ý kiến công chúng](https://www.edpb.europa.eu/public-consultations/guidelines-032026-on-web-scraping-in-the-context-of-generative-ai_en) sẽ kết thúc vào ngày 30 tháng 10 năm 2026. Trên văn bản, phạm vi áp dụng khá hẹp: các công ty tư nhân scrape dữ liệu cá nhân để huấn luyện hoặc fine-tune generative AI. Trên thực tế, đây là bản mô tả chi tiết nhất từng được một cơ quan quản lý ban hành về cách xây dựng một tác vụ scraping có thể bảo vệ được về mặt pháp lý, từ các tiêu chí bạn viết ra trước request đầu tiên cho đến timestamp trên bản ghi cuối cùng.

Góc nhìn của chúng tôi sau khi đọc hết 23 trang: bản dự thảo không bận tâm bạn dùng công cụ nào. Nó quan tâm đến việc bạn có thể giải trình mình đã thu thập những gì, từ đâu và khi nào hay không. Những scraper có thể trả lời điều đó chỉ bằng một truy vấn sẽ an toàn. Những lượt crawl không giới hạn sẽ gặp khó khăn với hầu như mọi điều khoản.

(Tuyên bố miễn trừ trách nhiệm: Đây không phải là lời khuyên pháp lý. Trước hết, chúng tôi đang tham chiếu một bản dự thảo, và chúng tôi là các kỹ sư đọc nó dưới góc nhìn kỹ thuật phần mềm.)

### Có mục tiêu hay không có mục tiêu mới là ranh giới quan trọng

Đoạn 8 chia scraping thành hai loại dựa trên mức độ cụ thể và hạn chế của phạm vi thu thập, "chứ không phải công cụ kỹ thuật được sử dụng". Targeted scraping tuân theo các tiêu chí thu thập: một domain, một ngôn ngữ, một chủ đề. Untargeted scraping là một crawler đi theo mọi liên kết mà nó tìm thấy. Mối lo ngại của Hội đồng rất cụ thể: khi hàng đợi tăng lên, bên kiểm soát "chỉ có hiểu biết hạn chế về việc dữ liệu cá nhân nào đang được thu thập và xử lý."

Sự phân chia đó xuyên suốt phần còn lại của văn bản. Giảm thiểu dữ liệu (data minimisation) yêu cầu bạn phải "xác định các tiêu chí thu thập chính xác" và thực hiện "quy trình kiểm kê và lập bản đồ dữ liệu" trước khi bắt đầu thu thập (đoạn 37). Phép thử tính cần thiết theo lợi ích hợp pháp chỉ ra rằng việc thu hẹp các tiêu chí, "thay vì scrape một phần rộng lớn của internet", có thể là yếu tố quyết định việc xử lý đó có thực sự cần thiết hay không (đoạn 52). Tính minh bạch yêu cầu công khai danh sách các nguồn, lý tưởng nhất là kèm theo domain name, URL và ngày thu thập (đoạn 30 và 31).

Một công cụ theo dõi giá với danh sách cố định các trang sản phẩm trên một chục domain bán lẻ có thể tạo ra mọi dữ liệu này từ file cấu hình của nó. Một lượt crawl theo chiều rộng (breadth-first) thì không thể. [Bài phân tích phản biện dự thảo của Privacy World](https://www.privacyworld.blog/2026/07/regulating-the-irreversible-the-edpbs-web-scraping-guidelines-and-the-limits-of-gdpr-orthodoxy/) đã nêu đúng điểm mâu thuẫn: các nghĩa vụ được viết cho một bên kiểm soát biết rõ họ thu thập những gì, ngay sau khi Hội đồng thừa nhận rằng một lượt crawl không có mục tiêu có thể chứa dữ liệu cá nhân mà bên đó không thể kiểm kê được.

**Điều này có nghĩa là:** nếu bạn scrape bất kỳ dữ liệu nào liên quan đến con người (đánh giá kèm tên người dùng, tin đăng kèm tên và số điện thoại của môi giới, các luồng thảo luận trên diễn đàn), tiêu chí thu thập của bạn hiện là một tài liệu tuân thủ. Hãy lưu trữ chúng trong hệ thống quản lý phiên bản cùng với scraper, thay vì chỉ ghi nhớ trong đầu.

### Lời từ chối của một trang web giờ đây sẽ bất lợi cho bạn

Đây là phần sẽ làm thay đổi hầu hết các pipeline. Bản dự thảo liệt kê các biện pháp kỹ thuật thể hiện rõ trang web phản đối việc bị scrape: robots.txt, ai.txt, "xác thực robot để xem nội dung", và các biện pháp kiểm tra "yêu cầu một hành động chỉ có thể được thực hiện bởi con người" (đoạn 37). Khuyến nghị dành cho dữ liệu huấn luyện là loại bỏ các trang web đó.

Các tín hiệu tương tự cũng xuất hiện trở lại trong bài kiểm tra cân bằng lợi ích. Khi người dùng biết một trang web áp dụng các biện pháp đó nhưng trang vẫn bị scrape, bản dự thảo nêu rõ họ sẽ khó có thể dự đoán được việc dữ liệu bị xử lý (đoạn 64). Ví dụ 5 nêu rõ: một nền tảng có chặn qua robots.txt, có bước kiểm tra chỉ dành cho con người và có tuyên bố cấm huấn luyện AI đồng nghĩa với việc người dùng của họ "không thể kỳ vọng một cách hợp lý" rằng bên thứ ba sẽ scrape dữ liệu của họ cho mục đích đó. Và điều ngược lại không có giá trị. Việc thiếu tệp robots.txt không đồng nghĩa với sự đồng ý (đoạn 45).

Cơ quan CNIL của Pháp đã đi trước một bước. [Tài liệu chuyên đề về lợi ích hợp pháp và web scraping](https://www.cnil.fr/en/legal-basis-legitimate-interest-focus-sheet-measures-implement-case-data-collection-web-scraping) của họ, xuất bản lần đầu vào tháng 6 năm 2025, chỉ ra rằng hoạt động xử lý "không thể nằm trong kỳ vọng hợp lý của chủ thể dữ liệu" khi bên kiểm soát không loại trừ các trang web đã phản đối qua robots.txt hoặc bước kiểm tra chỉ dành cho con người.

Có hai điểm ít rõ ràng hơn nằm trong nhóm các biện pháp giảm thiểu (đoạn 66c). Một là loại trừ dữ liệu cá nhân chỉ hiển thị sau khi đăng nhập. Điểm còn lại áp dụng cho các trang web trả về nội dung cho User-Agent của scraper khác với trình duyệt thông thường, "đặc biệt khi dịch vụ scraping nhận được nhiều dữ liệu hơn" mức một người dùng thông thường có thể thấy. Nếu scraper của bạn đọc một API nội bộ chi tiết hơn những gì trang hiển thị, đó chính là trường hợp họ đề cập.

Chúng tôi đã phân tích khía cạnh máy có thể đọc được của vấn đề này (các phần mở rộng của robots.txt, agent có chữ ký, tín hiệu nội dung) trong bài viết [Search, Agent, Training: The Web's New Bot Rules](https://foura.ai/blog/search-agent-training-bot-rules), và phân tích các đơn vị phát hành nội dung chọn thu phí thay vì từ chối trong [Pay-Per-Crawl Is Splitting the Web in Two](https://foura.ai/blog/pay-per-crawl-splits-the-web). Bản dự thảo của EDPB là lần đầu tiên một cơ quan quản lý xem các tín hiệu đó là bằng chứng cho kỳ vọng của người dùng.

**Điều này có nghĩa là:** hãy ghi lại trạng thái của robots.txt (và ai.txt, nếu trang có sử dụng) theo từng tên miền tại thời điểm thu thập, lưu trữ cùng với dữ liệu. Nếu một năm sau có ai đó hỏi tại sao một nguồn dữ liệu lại nằm trong tập dữ liệu huấn luyện, câu trả lời "nó được cho phép vào ngày chúng tôi thu thập" chỉ có giá trị khi bạn đã ghi nhận lại điều đó.

### Bên thực hiện scrape có thể là bên xử lý dữ liệu

Mục 3.2.1 khá ngắn và dễ bị bỏ qua. Nhưng bạn không nên làm vậy, nhất là khi bạn xây dựng scraper cho khách hàng. Nếu bạn tạo một tập dữ liệu huấn luyện thay mặt cho nhà phát triển "theo các hướng dẫn bằng văn bản của họ", bạn có thể là bên xử lý (processor) và nhà phát triển là bên kiểm soát (controller) (đoạn 18). Nếu bạn và khách hàng cùng nhau thiết lập các tiêu chí thu thập, hai bên có thể là các bên đồng kiểm soát (joint controllers) (đoạn 20, Ví dụ 1). Nếu bạn tự thu thập một tập dữ liệu và người khác sử dụng lại tập dữ liệu đó, mỗi bên sẽ tự chịu trách nhiệm về hoạt động xử lý của riêng mình (đoạn 19).

Bài viết [trên IAPP của Brian Hengesbaugh về bản dự thảo](https://iapp.org/news/a/thought-for-the-week-web-scraping-for-generative-ai-is-subject-to-the-gdpr) đã chỉ rõ khía cạnh thương mại. Khi hợp đồng chỉ định bên cung ứng là bên xử lý dữ liệu, khách hàng sẽ phải chịu trách nhiệm tuân thủ theo mô tả trong tài liệu hướng dẫn, và các nghĩa vụ trực tiếp của bên cung ứng "có thể hẹp hơn và ít an tâm hơn so với suy nghĩ ban đầu." Điều này mang tính hai mặt. Khách hàng không thể giao phó trách nhiệm tuân thủ cho lập trình viên tự do viết scraper, và một lập trình viên tự do tự ý chọn danh sách nguồn có thể vô tình trở thành bên kiểm soát dữ liệu.

## Đội ngũ dữ liệu cần thay đổi những gì ngay bây giờ

Phần lớn hoạt động web scraping thương mại không bị ảnh hưởng bởi quy định này. Giá cả, mức tồn kho, thông số kỹ thuật sản phẩm và lịch trình nhìn chung không phải là dữ liệu cá nhân, vì vậy GDPR không áp dụng cho chúng. Bản dự thảo nêu rõ rằng trong một tập dữ liệu "hỗn hợp", quy định sẽ áp dụng cho phần thông tin cá nhân (đoạn 13). Do đó, một danh sách sản phẩm có tên người bán, hoặc một đánh giá có chứa username, sẽ đưa phần dữ liệu đó vào phạm vi áp dụng.

Đối với các tác vụ có thu thập dữ liệu về con người, dưới đây là cách chuyển đổi các yêu cầu của dự thảo vào pipeline:

| Yêu cầu của dự thảo | Trong pipeline của bạn |
|---|---|
| Tiêu chí thu thập | Mẫu URL theo từng tác vụ |
| Lọc dựa trên cú pháp | Loại bỏ bằng Regex khi parse |
| Bản ghi có gắn mốc thời gian | fetched_at trên mỗi hàng |
| Danh sách nguồn | Tên miền trong file cấu hình |
| Tôn trọng yêu cầu từ chối thu thập | Ghi log trạng thái robots.txt |

Hai trong số các hàng đó cần được phân tích kỹ hơn.

Lọc ngay tại thời điểm parse, không phải trong tác vụ dọn dẹp dữ liệu nhiều tuần sau đó. Đoạn 38 nêu rõ việc sử dụng biểu thức chính quy cho các định dạng như số an sinh xã hội và số điện thoại, áp dụng ngay trong quá trình thu thập. Dữ liệu bạn chưa từng lưu trữ là dữ liệu bạn không bao giờ phải giải trình, và đoạn 60 nói rất thẳng thắn về lý do điều này quan trọng đối với AI: một khi mô hình đã được huấn luyện, dữ liệu cá nhân "không thể dễ dàng xóa bỏ" khỏi mô hình đó.

Giữ lại URL nguồn và thời gian fetch trên mỗi bản ghi. Đoạn 42 yêu cầu gắn timestamp để đảm bảo tính chính xác, nhưng chính hai trường này sẽ trả lời cho mọi câu hỏi sau này về nguồn gốc của một dữ liệu. Các quy định về dữ liệu huấn luyện vốn đã được thắt chặt theo Đạo luật AI ([chúng tôi đã viết về vấn đề này vào tháng 4](https://foura.ai/blog/eu-ai-act-training-data-compliance)), và họ sẽ liên tục đặt ra cùng một câu hỏi đó.

Nếu bạn xây dựng hệ thống cho khách hàng, bạn phải lập văn bản hướng dẫn rõ ràng: nguồn dữ liệu, các trường cần lấy, các trường loại trừ. Bản dự thảo coi các hướng dẫn bằng văn bản là căn cứ để xác định bạn là bên xử lý thay vì bên đồng kiểm soát, và một trang tài liệu đặc tả luôn tốt hơn việc tranh cãi về vai trò sau này.

## Điều gì xảy ra sau ngày 30 tháng 10

Văn bản cuối cùng sẽ thay đổi, và sự chuyển dịch lớn hơn có thể đến từ Brussels thay vì từ Hội đồng. Vào ngày 21 tháng 10 năm 2026, Hội đồng [đã thống nhất lập trường đàm phán](https://www.consilium.europa.eu/en/press/press-releases/2026/10/21/digital-rulebook-council-agrees-position-to-simplify-data-protection-privacy-and-cyber-reporting-rules/) về Digital Omnibus, gói sửa đổi GDPR. Theo [báo cáo của IAPP về nhiệm vụ đàm phán](https://iapp.org/news/a/eu-member-states-finalize-digital-omnibus-negotiating-stance), các quốc gia thành viên đã bổ sung "các điểm làm rõ về cơ sở pháp lý cho việc xử lý dữ liệu cá nhân và sự cần thiết phải duy trì các biện pháp bảo vệ thích hợp" đối với dữ liệu huấn luyện AI. Các cuộc đàm phán với Nghị viện Châu Âu sẽ diễn ra tiếp theo. Dù câu từ cuối cùng ra sao, các quốc gia thành viên đều muốn giữ lại các biện pháp bảo vệ, điều này hướng tới một bài kiểm tra cân bằng rất giống với bản dự thảo này.

Chúng tôi cho rằng sự phân chia giữa có chủ đích (targeted) và không có chủ đích (untargeted) sẽ tiếp tục tồn tại qua cả hai tiến trình, bởi đó là phần duy nhất trong dự thảo liên quan đến kỹ thuật hơn là luật pháp. Một cơ quan quản lý sẽ không đọc code crawler của bạn. Họ có thể yêu cầu cung cấp tiêu chí thu thập, danh sách nguồn và dấu thời gian của bạn, và một đội ngũ có thể bàn giao những thứ đó ngay trong buổi chiều hôm đó sẽ chẳng còn nhiều điều cần phải tranh cãi.

Vì vậy, câu hỏi tiếp theo mà cơ quan quản lý quyền riêng tư đặt ra cho một scraper sẽ không phải là "nó hoạt động như thế nào", mà là: "nó được yêu cầu thu thập những gì".