Chúng tôi đọc robots.txt của 10.000 site phổ biến nhất. Đây là cách họ xử lý AI crawler

Đăng ngày

Trả lời ngắn

Trong 6.192 tên miền thuộc Tranco top 10.000 có robots.txt, 23,2% chặn ít nhất một crawler huấn luyện AI và 12,3% chặn ít nhất một crawler tìm kiếm hoặc crawler người dùng của AI. 51,6% site chặn huấn luyện cũng chặn tìm kiếm AI. Chỉ 11,2% từ chối huấn luyện nhưng vẫn cho phép mọi crawler tìm kiếm AI.

Vào tháng 11, chúng tôi đã đọc robots.txt của 1.000 tên miền phổ biến nhất. Lần này chúng tôi đọc 10.000 tên miền, với cùng phương pháp, và bổ sung phần kiểm tra xem bức tranh thay đổi thế nào khi site nhỏ dần. Kết luận chính vẫn giữ nguyên: chặn huấn luyện và chặn tìm kiếm bị coi là một quyết định, dù thực chất là hai.

Trong trang này
  1. Chúng tôi đo bằng cách nào?
  2. Chúng tôi tìm thấy gì?
  3. Crawler nào bị chặn nhiều nhất?
  4. Site lớn có chặn nhiều hơn không?
  5. Có gì thay đổi kể từ báo cáo ngày 12 tháng 11 không?
  6. Điều này có ý nghĩa gì với robots.txt của bạn?
  7. Các con số này đáng tin đến mức nào?

Chúng tôi đo bằng cách nào?

Chúng tôi lấy 10.000 tên miền đầu của danh sách Tranco (list ID JZWZY) và tải trang chủ, robots.txt và llms.txt của từng tên miền một lần vào ngày 21 tháng 11 năm 2026, với user agent riêng của AISeeWhy. Chúng tôi đánh giá từng robots.txt theo RFC 9309 cho trang chủ (/) và cho 16 crawler AI và tìm kiếm.

6.192 trong 10.000 tên miền có robots.txt (phản hồi thành công và không phải trang HTML). 1.121 tên miền trả về mã 4xx, nghĩa là không có quy tắc và mọi crawler đều được phép, còn 2.687 tên miền không có robots.txt (không có site HTTPS, lỗi, hết thời gian chờ hoặc trả về trang HTML). Mọi tỷ lệ phần trăm bên dưới đều tính trên 6.192 tên miền. Danh sách này có cả CDN và API không phục vụ website.

Chúng tôi tìm thấy gì?

Crawler nào bị chặn nhiều nhất?

Tỷ lệ trong 6.192 tên miền có robots.txt cấm crawler đó truy cập trang chủ:

Site lớn có chặn nhiều hơn không?

Có, và họ cũng nhầm lẫn giữa huấn luyện và tìm kiếm thường xuyên hơn. Chúng tôi chia danh sách theo thứ hạng:

Hướng có chọn lọc hiếm ở mọi quy mô: 10,5%, 10,4% và 11,5% số tên miền trong ba nhóm.

Có gì thay đổi kể từ báo cáo ngày 12 tháng 11 không?

Chúng tôi chạy lại 1.000 tên miền đầu với cùng danh sách. Kết quả ổn định, chênh lệch khoảng một điểm phần trăm: 28,6% chặn huấn luyện (29,9% ngày 12 tháng 11), 18,6% chặn tìm kiếm AI (19,5%), và 63,1% số site chặn huấn luyện cũng chặn tìm kiếm AI (63,2%). Mẫu số khác nhau đôi chút (hiện có 560 tên miền có robots.txt, trước đó là 518) vì lần chạy này theo chuyển hướng của tên miền đến máy chủ chính trước khi tải.

Điều này có ý nghĩa gì với robots.txt của bạn?

Hầu hết các công ty AI có tài liệu mô tả crawler riêng cho huấn luyện và cho tìm kiếm, và cho biết các thiết lập này độc lập với nhau. Cấm GPTBot không ảnh hưởng đến OAI-SearchBot, và cấm ClaudeBot không ảnh hưởng đến Claude-SearchBot. Nếu bạn muốn từ chối huấn luyện mà vẫn được trích dẫn, hãy chặn các token huấn luyện và cho phép các token tìm kiếm và người dùng, đồng thời lặp lại mọi đường dẫn riêng tư trong từng nhóm, vì một nhóm có tên không kế thừa từ *.

Các con số này đáng tin đến mức nào?

Đây là các quy tắc robots.txt cho trang chủ, được một trình phân tích đọc trong một ngày. Chúng không đo việc chặn bằng tường lửa, vốn có thể từ chối crawler mà robots.txt cho phép. Chúng cũng không cho biết ý định của từng site, và danh sách Tranco có cả các tên miền không phục vụ website. Quy tắc chặn crawler tìm kiếm chưa phải bằng chứng của một sai sót, chỉ là một lựa chọn thường được đưa ra khi chưa hiểu sự khác biệt. Bạn có thể trích dẫn các số liệu này kèm liên kết đến trang này.

Công cụ miễn phí

Bước tiếp theo

Các trình thu thập trong bài này

Câu hỏi thường gặp

Bao nhiêu phần trăm site phổ biến chặn AI crawler?

Trong 6.192 tên miền thuộc Tranco top 10.000 có robots.txt, 23,2% chặn ít nhất một crawler huấn luyện AI và 12,3% chặn ít nhất một crawler tìm kiếm hoặc crawler người dùng của AI.

Site chặn huấn luyện AI có chặn cả tìm kiếm AI không?

Thường là có. 51,6% site chặn crawler huấn luyện cũng chặn ít nhất một crawler tìm kiếm hoặc crawler người dùng của AI, dù các nhà cung cấp mô tả đó là những crawler riêng với thiết lập độc lập.

AI crawler nào bị chặn nhiều nhất?

Trong nhóm crawler huấn luyện là Bytespider (18,7%) và CCBot (18,5%), rồi đến GPTBot (17,4%). Trong nhóm crawler tìm kiếm AI, PerplexityBot bị chặn nhiều nhất, ở 10,4% số tên miền.

Vì sao số liệu khác với báo cáo 1.000 site của các bạn?

1.000 tên miền đầu cho tỷ lệ gần như giống nhau (28,6% và 18,6% so với 29,9% và 19,5%). Số liệu của 10.000 site thấp hơn vì các site nhỏ hơn chặn ít hơn.

Nguồn tham khảo

Bài viết khác