Chúng tôi đọc robots.txt của 10.000 site phổ biến nhất. Đây là cách họ xử lý AI crawler
Trong 6.192 tên miền thuộc Tranco top 10.000 có robots.txt, 23,2% chặn ít nhất một crawler huấn luyện AI và 12,3% chặn ít nhất một crawler tìm kiếm hoặc crawler người dùng của AI. 51,6% site chặn huấn luyện cũng chặn tìm kiếm AI. Chỉ 11,2% từ chối huấn luyện nhưng vẫn cho phép mọi crawler tìm kiếm AI.
Vào tháng 11, chúng tôi đã đọc robots.txt của 1.000 tên miền phổ biến nhất. Lần này chúng tôi đọc 10.000 tên miền, với cùng phương pháp, và bổ sung phần kiểm tra xem bức tranh thay đổi thế nào khi site nhỏ dần. Kết luận chính vẫn giữ nguyên: chặn huấn luyện và chặn tìm kiếm bị coi là một quyết định, dù thực chất là hai.
Trong trang này
Chúng tôi đo bằng cách nào?
Chúng tôi lấy 10.000 tên miền đầu của danh sách Tranco (list ID JZWZY) và tải trang chủ, robots.txt và llms.txt của từng tên miền một lần vào ngày 21 tháng 11 năm 2026, với user agent riêng của AISeeWhy. Chúng tôi đánh giá từng robots.txt theo RFC 9309 cho trang chủ (/) và cho 16 crawler AI và tìm kiếm.
6.192 trong 10.000 tên miền có robots.txt (phản hồi thành công và không phải trang HTML). 1.121 tên miền trả về mã 4xx, nghĩa là không có quy tắc và mọi crawler đều được phép, còn 2.687 tên miền không có robots.txt (không có site HTTPS, lỗi, hết thời gian chờ hoặc trả về trang HTML). Mọi tỷ lệ phần trăm bên dưới đều tính trên 6.192 tên miền. Danh sách này có cả CDN và API không phục vụ website.
Chúng tôi tìm thấy gì?
- 23,2% (1.437 tên miền) chặn ít nhất một crawler huấn luyện AI.
- 12,3% (762) chặn ít nhất một crawler tìm kiếm hoặc crawler người dùng của AI, nghĩa là các trang không nên được dùng hoặc trích dẫn trong những câu trả lời dựa vào crawler đó.
- 51,6% tên miền chặn crawler huấn luyện (742 trên 1.437) cũng chặn ít nhất một crawler tìm kiếm hoặc crawler người dùng của AI.
- Chỉ 11,2% (695) chọn hướng có chọn lọc: chặn crawler huấn luyện và cho phép mọi crawler tìm kiếm và crawler người dùng của AI.
- 6,5% (401) nêu tùy chọn AI của mình bằng
Content-Signal. - 12,4% trong tổng số 10.000 tên miền (1.240) công bố tệp
llms.txt. - Để so sánh, 2,0% (124) chặn
Googlebotở trang chủ.
Crawler nào bị chặn nhiều nhất?
Tỷ lệ trong 6.192 tên miền có robots.txt cấm crawler đó truy cập trang chủ:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% là crawler tìm kiếm AI bị chặn nhiều nhất, trướcOAI-SearchBot7,0% vàClaude-SearchBot7,0%.- Các crawler mở trang khi có người hỏi:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Site lớn có chặn nhiều hơn không?
Có, và họ cũng nhầm lẫn giữa huấn luyện và tìm kiếm thường xuyên hơn. Chúng tôi chia danh sách theo thứ hạng:
- Hạng 1 đến 1.000 (560 tên miền có robots.txt): 28,6% chặn huấn luyện, 18,6% chặn tìm kiếm AI, và 63,1% số site chặn huấn luyện cũng chặn tìm kiếm AI.
- Hạng 1.001 đến 3.000 (1.256 tên miền): 23,5%, 13,5% và 55,6%.
- Hạng 3.001 đến 10.000 (4.376 tên miền): 22,4%, 11,2% và 48,6%.
Hướng có chọn lọc hiếm ở mọi quy mô: 10,5%, 10,4% và 11,5% số tên miền trong ba nhóm.
Có gì thay đổi kể từ báo cáo ngày 12 tháng 11 không?
Chúng tôi chạy lại 1.000 tên miền đầu với cùng danh sách. Kết quả ổn định, chênh lệch khoảng một điểm phần trăm: 28,6% chặn huấn luyện (29,9% ngày 12 tháng 11), 18,6% chặn tìm kiếm AI (19,5%), và 63,1% số site chặn huấn luyện cũng chặn tìm kiếm AI (63,2%). Mẫu số khác nhau đôi chút (hiện có 560 tên miền có robots.txt, trước đó là 518) vì lần chạy này theo chuyển hướng của tên miền đến máy chủ chính trước khi tải.
Điều này có ý nghĩa gì với robots.txt của bạn?
Hầu hết các công ty AI có tài liệu mô tả crawler riêng cho huấn luyện và cho tìm kiếm, và cho biết các thiết lập này độc lập với nhau. Cấm GPTBot không ảnh hưởng đến OAI-SearchBot, và cấm ClaudeBot không ảnh hưởng đến Claude-SearchBot. Nếu bạn muốn từ chối huấn luyện mà vẫn được trích dẫn, hãy chặn các token huấn luyện và cho phép các token tìm kiếm và người dùng, đồng thời lặp lại mọi đường dẫn riêng tư trong từng nhóm, vì một nhóm có tên không kế thừa từ *.
Các con số này đáng tin đến mức nào?
Đây là các quy tắc robots.txt cho trang chủ, được một trình phân tích đọc trong một ngày. Chúng không đo việc chặn bằng tường lửa, vốn có thể từ chối crawler mà robots.txt cho phép. Chúng cũng không cho biết ý định của từng site, và danh sách Tranco có cả các tên miền không phục vụ website. Quy tắc chặn crawler tìm kiếm chưa phải bằng chứng của một sai sót, chỉ là một lựa chọn thường được đưa ra khi chưa hiểu sự khác biệt. Bạn có thể trích dẫn các số liệu này kèm liên kết đến trang này.
Bước tiếp theo
- Trình kiểm tra robots.txt cho trình thu thập AI
- Trình kiểm tra và xác thực llms.txt
- Xem ví dụ báo cáo đầy đủ
- Giám sát trình thu thập AI
- Gói và giá
Các trình thu thập trong bài này
Câu hỏi thường gặp
Bao nhiêu phần trăm site phổ biến chặn AI crawler?
Trong 6.192 tên miền thuộc Tranco top 10.000 có robots.txt, 23,2% chặn ít nhất một crawler huấn luyện AI và 12,3% chặn ít nhất một crawler tìm kiếm hoặc crawler người dùng của AI.
Site chặn huấn luyện AI có chặn cả tìm kiếm AI không?
Thường là có. 51,6% site chặn crawler huấn luyện cũng chặn ít nhất một crawler tìm kiếm hoặc crawler người dùng của AI, dù các nhà cung cấp mô tả đó là những crawler riêng với thiết lập độc lập.
AI crawler nào bị chặn nhiều nhất?
Trong nhóm crawler huấn luyện là Bytespider (18,7%) và CCBot (18,5%), rồi đến GPTBot (17,4%). Trong nhóm crawler tìm kiếm AI, PerplexityBot bị chặn nhiều nhất, ở 10,4% số tên miền.
Vì sao số liệu khác với báo cáo 1.000 site của các bạn?
1.000 tên miền đầu cho tỷ lệ gần như giống nhau (28,6% và 18,6% so với 29,9% và 19,5%). Số liệu của 10.000 site thấp hơn vì các site nhỏ hơn chặn ít hơn.
Nguồn tham khảo
- AISeeWhy: Báo cáo truy cập của AI crawler, 2026-11
- Tranco: bảng xếp hạng site hàng đầu phục vụ nghiên cứu
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Tổng quan về các crawler của OpenAI
- Anthropic: Anthropic có thu thập dữ liệu từ web không, và chủ site có thể chặn crawler như thế nào?
- Perplexity: Các crawler của Perplexity