Content-Signal trong robots.txt là gì, và có ai tuân theo không?

Đăng ngày

Trả lời ngắn

Content-Signal là một dòng tùy chọn trong robots.txt do Cloudflare công bố, cho biết nội dung của bạn được dùng thế nào sau khi bị tải về: search cho kết quả tìm kiếm, ai-input cho việc đưa vào câu trả lời AI và ai-train cho việc huấn luyện mô hình, mỗi tín hiệu đặt là yes hoặc no, như trong Content-Signal: search=yes, ai-input=yes, ai-train=no. Dòng này thể hiện một mong muốn và không chặn gì cả. Tính đến tháng 11 năm 2026, không trang nào về trình thu thập dữ liệu của OpenAI, Anthropic, Google hay Perplexity nói rằng họ đọc nó, trong khi các công ty AI lớn lại ủng hộ một token khác, chỉ dành cho huấn luyện.

robots.txt được tạo ra để nói trình thu thập dữ liệu được đi đâu, chứ không nói được làm gì với những gì nó đọc. Khi cùng một lượt tải có thể dùng cho chỉ mục tìm kiếm, cho câu trả lời AI trực tiếp và cho tập dữ liệu huấn luyện, khoảng trống đó trở nên quan trọng. Cloudflare công bố Content Signals Policy ngày 24 tháng 9 năm 2025 theo giấy phép CC0 để lấp khoảng trống này, và khi đó cho biết khách hàng của họ đã bật robots.txt được quản lý cho hơn 3,8 triệu tên miền, tính năng giờ đây tự thêm dòng này cho họ.

Trong trang này
  1. search, ai-input và ai-train nghĩa là gì?
  2. Cách viết dòng Content-Signal trong robots.txt
  3. Đoạn văn bản chính sách phía trên dòng này nói gì?
  4. robots.txt của tôi đã có Content-Signal chưa?
  5. Trình thu thập dữ liệu AI có tuân theo Content-Signal không?
  6. Tôi có nên thêm Content-Signal vào robots.txt không?
  7. Làm sao kiểm tra robots.txt của tôi nói gì với từng trình thu thập?

search, ai-input và ai-train nghĩa là gì?

Chính sách định nghĩa ba tín hiệu. Cách diễn đạt dưới đây theo contentsignals.org và văn bản chính sách mà Cloudflare công bố:

Mỗi tín hiệu nhận yes hoặc no. Theo các điều khoản của chính sách, yes nghĩa là nội dung có thể được thu thập cho mục đích đó, no nghĩa là không, còn tín hiệu bạn bỏ trống thì không cho phép cũng không hạn chế mục đích đó. Mặc định của Cloudflare đặt search và ai-train và để trống ai-input, vì Cloudflare nói họ không biết mong muốn của từng khách hàng với tín hiệu này và không muốn đoán.

Sự phân biệt giữa search và ai-input là điểm mà nhiều người bỏ qua nhất. Nếu bạn muốn trang của mình được dùng trong câu trả lời AI, riêng search=yes không nói lên điều đó. ai-input=yes thì có.

Cách viết dòng Content-Signal trong robots.txt

Content-Signal nằm trong một nhóm user agent, cạnh Allow và Disallow, với các tín hiệu cách nhau bằng dấu phẩy. contentsignals.org cũng đưa ra một dạng bắt đầu bằng đường dẫn, để một phần của website có thể mang tín hiệu khác với phần còn lại:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow và Disallow vẫn hoạt động y như trước, và Content-Signal không thay thế chúng. RFC 9309 cho phép trình thu thập dữ liệu diễn giải các bản ghi không thuộc giao thức, miễn là không ảnh hưởng đến các quy tắc đã định nghĩa, nên một trình phân tích không biết dòng này sẽ bỏ qua nó.

Có hai chi tiết đáng biết. Thứ nhất, dòng này thuộc về một nhóm. Theo RFC 9309, trình thu thập có nhóm mang tên riêng của nó sẽ bỏ qua hoàn toàn nhóm User-agent: *, và các trang về Content Signals không mô tả ngoại lệ nào cho dòng này. Nếu bạn cho Googlebot hoặc OAI-SearchBot một nhóm riêng, hãy lặp lại dòng Content-Signal ở đó, như contentsignals.org làm trong ví dụ cho từng trình thu thập. Thứ hai, Google Search Console có thể báo Syntax not understood cho dòng này. Tài liệu của Cloudflare có nhắc đến điều này và nói chưa thấy ảnh hưởng nào đến việc thu thập dữ liệu hay SEO. Tài liệu robots.txt của Google chỉ liệt kê user-agent, allow, disallow và sitemap là các trường được hỗ trợ.

Đoạn văn bản chính sách phía trên dòng này nói gì?

Content Signals Policy không chỉ là một dòng. Trình tạo của Cloudflare trên contentsignals.org và robots.txt được quản lý của Cloudflare đều đặt một khối chú thích phía trên các tín hiệu. Khối này mở đầu bằng việc nói rằng, như một điều kiện để truy cập website, bạn đồng ý tuân thủ các tín hiệu nội dung, sau đó định nghĩa ba tín hiệu và các trường hợp yes, no và bỏ trống.

Khối này kết thúc bằng một câu viết hoa nói rằng mọi hạn chế được thể hiện qua tín hiệu nội dung là sự bảo lưu quyền rõ ràng theo Điều 4 của Chỉ thị EU 2019/790 về quyền tác giả trong Thị trường kỹ thuật số chung. Thông báo của Cloudflare nói thêm rằng các tín hiệu này có thể có giá trị pháp lý ở nhiều khu vực pháp lý.

Chính contentsignals.org cũng cảnh báo rằng tòa án và cơ quan quản lý có thể kết luận tệp robots.txt không tạo ra nghĩa vụ pháp lý có thể cưỡng chế, và gợi ý tham khảo ý kiến luật sư. Hãy coi khối chú thích là một tuyên bố bằng văn bản về lập trường của bạn, không phải một hợp đồng.

robots.txt của tôi đã có Content-Signal chưa?

Nếu website của bạn dùng Cloudflare, có thể đã có, theo một trong hai cách:

Phần use=reference là mới. Cloudflare mô tả use là trường thứ tư tùy chọn đang được thử nghiệm, với ba giá trị: immediate (tương tác, nhưng không lưu và không dùng lại gì), reference (lập chỉ mục, trích đoạn và liên kết lại) và full (tóm tắt và tái tạo nội dung). Đây không phải một trong ba tín hiệu ban đầu, và không tài liệu nào về trình thu thập dữ liệu mà chúng tôi đã kiểm tra nhắc đến nó.

Vì Cloudflare thêm các dòng này ở biên mạng, tệp trong kho mã của bạn có thể trông không đổi trong khi tệp mà trình thu thập nhận được đã khác. Hãy tải https://yourdomain.com/robots.txt đang hoạt động trước khi thêm dòng của riêng bạn, để phản hồi không nêu hai chính sách khác nhau.

Mức độ áp dụng vẫn còn thấp ở các website lớn. Trong nghiên cứu tháng 11 năm 2026 của chúng tôi về 1.000 tên miền phổ biến nhất, 18 trong số 518 website có robots.txt (3,5%) dùng Content-Signal.

Trình thu thập dữ liệu AI có tuân theo Content-Signal không?

Không, theo mọi tài liệu chúng tôi tìm được. Ngày 17 tháng 11 năm 2026, chúng tôi đã kiểm tra các trang về trình thu thập dữ liệu của OpenAI, Anthropic, Google và Perplexity, và không trang nào nhắc đến Content-Signal. Chính Cloudflare mô tả các tín hiệu này là mong muốn, không phải biện pháp kỹ thuật chống lại việc cào dữ liệu, và nói rằng một số công ty có thể đơn giản là bỏ qua chúng.

Thay vào đó, điều các công ty AI đã công bố là một cơ chế riêng, dựa trên công việc của nhóm làm việc AI Preferences của IETF: một token chính sách, __usage_ai-training, được viết như một nhóm User-Agent thông thường. Token này chỉ áp dụng cho huấn luyện, và Internet-Draft định nghĩa nó nói rằng nhóm User-Agent: * không được tính là dùng token này:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Mức hỗ trợ không đồng đều và một phần vẫn còn ở phía trước. Anthropic cho biết họ đã nhận diện một tín hiệu huấn luyện chung, máy đọc được, từ ngày 30 tháng 10 năm 2026, đang triển khai dần, và một quy tắc nêu tên ClaudeBot được ưu tiên hơn tín hiệu đó. Microsoft công bố token __usage_ai-training cho Bing, với các mong muốn mới có hiệu lực khi trang được thu thập từ ngày 1 tháng 2 năm 2027. Google cho biết họ dự định hỗ trợ cơ chế kiểm soát chung này trong năm 2027 và sẽ coi một lựa chọn từ chối huấn luyện qua cơ chế này là lệnh cấm Google-Extended khi token đó không được nêu tên. OpenAI công bố thông báo cùng ngày nói rằng họ sẽ tôn trọng tín hiệu chung này, nhưng không nêu ngày.

Vì vậy ai-train=no và __usage_ai-training nói những điều tương tự, nhưng chỉ cái sau có sự hỗ trợ được các công ty AI công bố. Các token theo từng trình thu thập, như GPTBot và ClaudeBot, vẫn là cơ chế kiểm soát mà từng nhà cung cấp áp dụng hiện nay.

Tôi có nên thêm Content-Signal vào robots.txt không?

Hãy thêm nếu bạn muốn chính sách sử dụng của mình được viết ra ở một nơi mà cả máy và người đều đọc được. Nó cũng nêu mong muốn ai-input cho mọi trình thu thập chỉ trong một dòng, điều mà token của các nhà cung cấp chỉ thể hiện được theo từng trình thu thập. Bạn chỉ tốn một dòng, và các trình phân tích không biết nó sẽ bỏ qua.

Đừng chỉ dựa vào nó. Để giữ nội dung khỏi việc huấn luyện, hãy cấm thêm các token huấn luyện đã được công bố và cân nhắc token huấn luyện chung; hướng dẫn của chúng tôi về chặn huấn luyện AI mà vẫn có mặt trong tìm kiếm AI liệt kê các token theo từng nhà cung cấp. Với những gì bỏ qua robots.txt, chỉ quy tắc tường lửa mới thực thi được việc chặn.

Cuối cùng, hãy kiểm tra dòng này có khớp với phần còn lại của tệp không. ai-input=no bên cạnh một nhóm Allow cho OAI-SearchBot hoặc PerplexityBot là thông điệp mâu thuẫn: bạn cho các trình thu thập tìm kiếm AI vào nhưng lại nói câu trả lời của chúng không được dùng những gì chúng tải về.

Làm sao kiểm tra robots.txt của tôi nói gì với từng trình thu thập?

Trình kiểm tra robots.txt miễn phí của AISeeWhy nhận địa chỉ trang hoặc nội dung robots.txt được dán vào và cho thấy, với từng trình thu thập dữ liệu AI và tìm kiếm, trang đó có được phép tải hay không, để bạn xác nhận tệp đang hoạt động, kể cả những gì Cloudflare chèn vào đầu, nói đúng điều bạn muốn. Trình tạo robots.txt miễn phí viết tệp theo lựa chọn của bạn.

Công cụ miễn phí

Bước tiếp theo

Các trình thu thập trong bài này

Câu hỏi thường gặp

Content-Signal có thuộc tiêu chuẩn robots.txt không?

Không. RFC 9309 định nghĩa User-agent, Allow và Disallow và cho phép trình thu thập dữ liệu diễn giải các bản ghi khác. Content-Signal đến từ Content Signals Policy của Cloudflare, phát hành theo giấy phép CC0. Riêng nhóm làm việc AI Preferences của IETF đang soạn quy tắc Content-Usage của riêng mình cho robots.txt, hiện vẫn là Internet-Draft, chưa phải tiêu chuẩn.

ai-train=no có ngăn được GPTBot hoặc ClaudeBot không?

Theo tài liệu của các nhà cung cấp thì không. OpenAI và Anthropic mô tả việc kiểm soát qua các quy tắc robots.txt nêu tên GPTBot và ClaudeBot, và trang về trình thu thập của cả hai đều không nhắc đến Content-Signal. Để từ chối huấn luyện với một trong hai, hãy cấm token theo tên.

Content-Signal và __usage_ai-training khác nhau thế nào?

Content-Signal là một dòng bên trong một nhóm và bao gồm tìm kiếm, đầu vào AI và huấn luyện. __usage_ai-training là một token chính sách dùng như một nhóm User-Agent riêng và chỉ áp dụng cho huấn luyện. Anthropic, Microsoft, Google và OpenAI đã công bố tuyên bố về tín hiệu huấn luyện chung; không ai trong số họ công bố hỗ trợ Content-Signal.

Vì sao Google Search Console báo Syntax not understood?

Tài liệu robots.txt của Google chỉ hỗ trợ user-agent, allow, disallow và sitemap, nên các dòng khác có thể bị gắn cờ. Cloudflare cho biết chưa thấy ảnh hưởng nào đến tốc độ thu thập hay SEO từ những cảnh báo này.

use=reference nghĩa là gì?

Đó là trường thứ tư mà Cloudflare đang thử nghiệm. reference nghĩa là lập chỉ mục, trích đoạn và liên kết lại. Cloudflare thêm nó vào các tệp robots.txt được quản lý, và không tài liệu nào về trình thu thập dữ liệu mà chúng tôi kiểm tra nhắc đến nó.

Nguồn tham khảo

Bài viết khác