AISeeWhy
VI
Dùng thử miễn phí

Cách chặn huấn luyện AI nhưng vẫn có mặt trong câu trả lời tìm kiếm AI

Đăng ngày

Trả lời ngắn

Phần lớn các hãng AI dùng token robots.txt riêng cho huấn luyện mô hình và cho tìm kiếm. Hãy cấm các token huấn luyện, như GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent và CCBot, và cho phép các token tìm kiếm và người dùng, như OAI-SearchBot, Claude-SearchBot và PerplexityBot. Thêm một dòng Content-Signal để nêu cùng ý muốn đó bằng lời.

Nhiều chủ website muốn hai điều cùng lúc: không muốn nội dung của mình được dùng để huấn luyện các mô hình AI, nhưng muốn trợ lý AI tìm thấy, trích dẫn và dẫn liên kết tới các trang của mình. Vì các hãng lớn hiện chia hai việc này cho các trình thu thập dữ liệu hoặc token khác nhau, robots.txt có thể thể hiện cả hai lựa chọn. Điểm vướng là tên gọi khác nhau giữa các hãng, một vài hãng không theo mô hình này, và chỉ một dòng sai cũng có thể loại bạn khỏi câu trả lời của AI thay vì khỏi dữ liệu huấn luyện.

Trong trang này
  1. Trình thu thập dữ liệu huấn luyện khác trình thu thập dữ liệu tìm kiếm ở điểm nào?
  2. Token nào kiểm soát huấn luyện và token nào kiểm soát tìm kiếm?
  3. Tệp robots.txt trông như thế nào?
  4. Có bao nhiêu website đã làm như vậy?
  5. Content-Signal bổ sung điều gì?
  6. Sự phân chia này không hoạt động trọn vẹn ở đâu?
  7. Làm sao kiểm tra sự phân chia này hoạt động?

Trình thu thập dữ liệu huấn luyện khác trình thu thập dữ liệu tìm kiếm ở điểm nào?

Trình thu thập dữ liệu huấn luyện thu thập các trang có thể được dùng để xây dựng hoặc cải thiện mô hình AI. Chỉ riêng việc huấn luyện không tạo ra trích dẫn hay liên kết. Trình thu thập dữ liệu tìm kiếm xây dựng một chỉ mục mà trợ lý AI dùng để tìm nguồn cho câu trả lời, và chính các nguồn đó là thứ có thể được trích dẫn. Trình tải trang do người dùng kích hoạt mở một trang trực tiếp vì có ai đó hỏi về trang đó.

Các hãng ghi tài liệu riêng cho từng vai trò này và cho biết các thiết lập độc lập với nhau. Chẳng hạn, OpenAI cho biết mỗi thiết lập robots.txt cho các trình thu thập dữ liệu của họ độc lập với các thiết lập còn lại. Vì vậy, nếu thực hiện đúng, việc từ chối huấn luyện không ảnh hưởng đến khả năng hiển thị trong tìm kiếm của bạn.

Token nào kiểm soát huấn luyện và token nào kiểm soát tìm kiếm?

Đây là các token mà các hãng công bố, nhóm theo thứ chúng kiểm soát:

Tệp robots.txt trông như thế nào?

Theo RFC 9309, nhiều dòng User-agent liên tiếp tạo thành một nhóm, nên các quy tắc áp dụng cho từng dòng trong đó. Tệp này từ chối các token huấn luyện ở trên, cho phép các agent tìm kiếm và người dùng, và giữ đóng một đường dẫn riêng tư đối với mọi người:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Có hai chi tiết quan trọng. Thứ nhất, một nhóm được nêu tên không kế thừa từ *, nên mọi đường dẫn riêng tư phải được lặp lại trong nhóm tìm kiếm. Thứ hai, đừng thêm Googlebot hoặc Applebot vào nhóm huấn luyện: chúng là các trình thu thập dữ liệu tìm kiếm, và chặn chúng sẽ loại bạn khỏi Google Search và các tính năng tìm kiếm của Apple. Thay đổi không có hiệu lực ngay: OpenAI cho biết khoảng 24 giờ đối với tìm kiếm, và Perplexity cho biết tới 24 giờ.

Có bao nhiêu website đã làm như vậy?

Ít hơn bạn có thể nghĩ. Chúng tôi đã đọc robots.txt của 1.000 tên miền phổ biến nhất trong danh sách Tranco vào ngày 2026-11-12. Trong 518 website có robots.txt, 155 (29,9%) cấm trang chủ đối với ít nhất một trình thu thập dữ liệu huấn luyện AI. Chỉ 57 (11,0%) chọn cách có chọn lọc: họ chặn các trình thu thập dữ liệu huấn luyện và cho phép mọi trình thu thập dữ liệu tìm kiếm và người dùng AI mà chúng tôi kiểm tra. Tổng cộng, 101 website (19,5%) chặn ít nhất một trình thu thập dữ liệu tìm kiếm hoặc người dùng AI.

Số liệu theo từng trình thu thập dữ liệu cho thấy cùng sự phân chia đó. GPTBot bị chặn trên 111 website (21,4%) và OAI-SearchBot trên 58 (11,2%). ClaudeBot bị chặn trên 110 (21,2%) và Claude-SearchBot trên 67 (12,9%). Google-Extended bị chặn trên 94 (18,1%), Googlebot trên 14 (2,7%). Chỉ 18 website (3,5%) dùng Content-Signal.

Nghiên cứu chỉ xét các quy tắc robots.txt dành cho trang chủ. Nó không đo việc chặn ở tường lửa, và không cho biết mỗi website có ý định gì.

Content-Signal bổ sung điều gì?

Content Signals là một phần mở rộng của robots.txt do Cloudflare công bố tại contentsignals.org. Một dòng Content-Signal nêu nội dung có thể được dùng như thế nào, với ba tín hiệu: search (xây dựng chỉ mục tìm kiếm và hiển thị liên kết cùng các đoạn trích ngắn), ai-input (đưa nội dung vào các mô hình AI theo thời gian thực, chẳng hạn grounding hoặc truy xuất để tạo câu trả lời) và ai-train (huấn luyện hoặc tinh chỉnh mô hình).

Lưu ý rằng định nghĩa của search loại trừ các bản tóm tắt tìm kiếm do AI tạo ra. Nếu bạn muốn xuất hiện trong câu trả lời của AI, hãy đặt thêm ai-input=yes, như trong ví dụ ở trên. Tệp robots.txt được quản lý của Cloudflare mặc định thêm search=yes, ai-train=no; một tín hiệu bạn bỏ qua sẽ không cho phép cũng không hạn chế cách dùng đó.

Đây là những ý muốn được nêu ra. Trang Content Signals cho biết chúng không ngăn việc thu thập dữ liệu ở mức kỹ thuật, và Cloudflare lưu ý rằng việc tuân thủ robots.txt là tự nguyện. Không trang nào về trình thu thập dữ liệu của OpenAI, Anthropic, Google hay Perplexity mà chúng tôi kiểm tra nói rõ họ có đọc Content-Signal hay không, vì vậy hãy xem nó là phần bổ sung cho các nhóm theo từng trình thu thập dữ liệu, chứ không thay thế chúng.

Sự phân chia này không hoạt động trọn vẹn ở đâu?

Một vài trường hợp cần thận trọng:

Làm sao kiểm tra sự phân chia này hoạt động?

Hãy đọc robots.txt của bạn như từng trình thu thập dữ liệu sẽ đọc: tìm nhóm có nêu tên nó, chỉ dùng * nếu không có nhóm nào, và áp dụng quy tắc khớp dài nhất. Sau đó yêu cầu một trang bằng user agent của từng trình thu thập dữ liệu tìm kiếm và xác nhận nó nhận được mã 200 với đầy đủ nội dung, chứ không phải 403 hay trang thử thách.

AISeeWhy làm cả hai việc này cho 14 trình thu thập dữ liệu, nhóm thành huấn luyện, tìm kiếm và agent người dùng, và đánh dấu lỗi phổ biến nhất: chặn một token tìm kiếm như PerplexityBot hay Claude-SearchBot trong khi định chặn huấn luyện.

Câu hỏi thường gặp

Chặn GPTBot có loại website của tôi khỏi câu trả lời của ChatGPT không?

Không. OpenAI cho biết GPTBot dành cho huấn luyện và mỗi thiết lập robots.txt là độc lập. Tìm kiếm của ChatGPT dùng OAI-SearchBot; miễn là bot này được phép và không bị tường lửa chặn, các trang của bạn vẫn đủ điều kiện.

Chặn Google-Extended có loại tôi khỏi AI Overviews không?

Không, theo tài liệu của Google. Google cho biết Google-Extended không ảnh hưởng đến việc đưa vào Google Search, và AI Overviews dựa trên chỉ mục Search. Google có một điều khiển riêng trong Search Console để loại một website khỏi AI Overviews và AI Mode.

Có một dòng duy nhất nào chặn toàn bộ huấn luyện AI không?

Không có dòng chuẩn nào như vậy. Content-Signal: ai-train=no nêu ý muốn cho mọi trình thu thập dữ liệu, nhưng việc một trình thu thập dữ liệu có tuân theo hay không tùy vào đơn vị vận hành. Các nhóm được nêu tên cho từng token huấn luyện là cách đã được ghi trong tài liệu.

Tôi có nên chặn Perplexity để ngăn huấn luyện AI không?

Perplexity cho biết các agent của họ không được dùng để thu thập dữ liệu huấn luyện. Chặn PerplexityBot làm giảm khả năng hiển thị của bạn trong kết quả tìm kiếm của Perplexity mà không có tác dụng như một lựa chọn từ chối huấn luyện.

Nguồn tham khảo

Bài viết khác