Cách kiểm tra website có chặn trình thu thập dữ liệu AI không
Dán một địa chỉ bất kỳ để xem website có chặn GPTBot, ClaudeBot, PerplexityBot và các trình thu thập dữ liệu AI khác hay không: trong robots.txt, trong tường lửa, hoặc cả hai.
Miễn phí · Không cần đăng ký · Có kết quả sau 30 giây
Trình thu thập dữ liệu nào bị chặn
Trình thu thập dữ liệu để huấn luyện, tìm kiếm và theo yêu cầu người dùng được hiển thị riêng, vì chặn GPTBot không có nghĩa là chặn OAI-SearchBot, và chặn ClaudeBot không có nghĩa là chặn Claude-SearchBot.
Dòng quyết định kết quả
Với từng trình thu thập dữ liệu, robots.txt được đọc theo quy tắc RFC 9309: nhóm nêu tên trình đó, hoặc User-agent: * làm phương án dự phòng, và quy tắc được áp dụng.
Tường lửa từ chối
Trang được yêu cầu dưới danh nghĩa 14 trình thu thập dữ liệu và một trình duyệt thông thường. Các lệnh chặn và trang thử thách được đánh dấu, đồng thời nêu tên tường lửa đã phản hồi.
Mỗi phát hiện đều có cách khắc phục
Mỗi phát hiện đi kèm thay đổi cần thực hiện. Bản kiểm tra miễn phí hiển thị điểm số và phát hiện đầu tiên; báo cáo đầy đủ giá $29, trả một lần.
Một trang có thể chặn trình thu thập dữ liệu AI ở hai chỗ: robots.txt, nơi yêu cầu chúng tránh xa, và máy chủ hoặc tường lửa, nơi thực sự từ chối chúng. Hãy đọc robots.txt để tìm token của từng trình thu thập dữ liệu, nếu không có thì xem nhóm User-agent: *, rồi tải trang dưới danh nghĩa trình đó và so sánh với trình duyệt. Một tiện ích trình duyệt làm phần robots.txt cho 16 trình thu thập dữ liệu AI chỉ với một cú nhấp.
Tự kiểm tra trong 3 bước
- Chọn trình thu thập dữ liệu
Mỗi công ty AI vận hành các trình riêng. Huấn luyện:
GPTBot,ClaudeBot. Tìm kiếm:OAI-SearchBot,Claude-SearchBot,PerplexityBot. Theo yêu cầu của một người dùng:ChatGPT-User,Claude-User,Perplexity-User. - Đọc robots.txt cho trình đó
Mở
https://example.com/robots.txtvà tìm nhóm nêu tên trình thu thập dữ liệu. Nếu không có nhóm nào, nhómUser-agent: *sẽ được áp dụng; nếu cũng không có, mọi thứ đều được phép. - Tải trang dưới danh nghĩa trình đó
Yêu cầu trang bằng user agent của trình thu thập dữ liệu và so sánh trạng thái và kích thước với trình duyệt. Mã 403, trang thử thách hoặc mã 200 nhỏ hơn nhiều nghĩa là tường lửa từ chối trình đó.
Câu hỏi thường gặp
Trang không có robots.txt có mở cho trình thu thập dữ liệu AI không?
Có, nếu chỉ xét robots.txt. robots.txt trả về 404 nghĩa là không có quy tắc, nên mọi trình thu thập dữ liệu đều được tải mọi trang. Tường lửa vẫn có thể chặn chúng.
Tiện ích có hiển thị việc chặn bởi tường lửa không?
Không. Tiện ích đọc robots.txt từ trình duyệt của bạn, cho thấy trang yêu cầu trình thu thập dữ liệu làm gì. Việc chặn bởi tường lửa và lớp chống bot cần một yêu cầu gửi dưới danh nghĩa trình thu thập dữ liệu, và bài kiểm tra đầy đủ trên aiseewhy.com làm việc đó.
Tôi có thể kiểm tra một trang không phải của mình không?
Có. robots.txt là công khai, và tiện ích chỉ đọc các tệp robots.txt và llms.txt mà trang công bố, cũng là những tệp mọi trình thu thập dữ liệu đều đọc.
Đọc hướng dẫn đầy đủ
Dù bạn đang kiểm tra trang của mình sau một thay đổi hay xem trang của người khác trước khi dựa vào nó, câu hỏi "trang này có chặn trình thu thập dữ liệu AI không?" đều có câu trả lời chính xác. Câu trả lời phụ thuộc vào việc bạn nói đến trình thu thập dữ liệu nào, vì các công ty AI chạy những trình riêng cho huấn luyện, cho tìm kiếm và cho lượt truy cập trực tiếp, và một trang có thể đối xử với từng trình theo cách khác nhau. Hướng dẫn này trình bày ba cách kiểm tra, từ nhanh nhất đến đầy đủ nhất.
Một trang có thể chặn trình thu thập dữ liệu AI ở đâu?
Có ba lớp, và trình thu thập dữ liệu phải vượt qua cả ba mới dùng được một trang.
- robots.txt: một tệp quy tắc công khai mà các trình thu thập dữ liệu biết tuân thủ đọc trước khi tải bất cứ thứ gì. Đó là lời đề nghị, không phải ổ khóa.
- Máy chủ, CDN hoặc tường lửa: quyết định thực sự gửi lại cái gì. Một quy tắc chống bot có thể trả lời trình thu thập dữ liệu bằng 403, 429 hoặc trang thử thách ngay cả khi robots.txt cho phép.
- Chính trang đó: nếu nội dung chính chỉ xuất hiện sau khi JavaScript chạy, trình thu thập dữ liệu đọc HTML ban đầu sẽ nhận một trang gần như trống, dù không có gì chặn nó.
Phần lớn các cách kiểm tra nhanh chỉ xem lớp đầu tiên. Đó là khởi đầu tốt, miễn là bạn nhớ hai lớp còn lại.
Đọc robots.txt cho một trình thu thập dữ liệu AI như thế nào?
Mở https://example.com/robots.txt trong trình duyệt và tìm nhóm áp dụng cho trình thu thập dữ liệu đó. Một nhóm bắt đầu bằng một hoặc nhiều dòng User-agent. Trình thu thập dữ liệu dùng nhóm có ghi token của nó, chẳng hạn GPTBot; việc so khớp không phân biệt hoa thường. Nếu không nhóm nào ghi tên nó, nó dùng nhóm User-agent: *. Nếu không có cả hai, mọi thứ đều được phép.
Trong nhóm, quy tắc có đường dẫn khớp dài nhất sẽ thắng, và khi một Allow và một Disallow dài bằng nhau thì Allow thắng. Vì vậy tệp dưới đây chặn GPTBot khỏi toàn bộ trang nhưng cho mọi trình thu thập dữ liệu khác vào:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Hãy xem cả cách tệp phản hồi. Theo RFC 9309, mã 404 nghĩa là không có quy tắc, nên mọi thứ đều được phép. Lỗi máy chủ (5xx) hoặc không có phản hồi nào nghĩa là trình thu thập dữ liệu phải coi toàn bộ trang là bị cấm. Địa chỉ robots.txt trả về một trang HTML là lỗi thường gặp: trình thu thập dữ liệu không tìm thấy quy tắc hợp lệ nào trong đó.
Làm sao kiểm tra mọi trình thu thập dữ liệu AI cùng lúc?
Đọc tệp bằng tay sẽ chậm khi bạn quan tâm đến nhiều hơn một trình thu thập dữ liệu. Mỗi công ty AI chạy vài trình, với những việc khác nhau:
- Trình thu thập dữ liệu huấn luyện thu thập nội dung để huấn luyện mô hình:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, cùng các tokenGoogle-ExtendedvàApplebot-Extended, vốn chỉ xuất hiện trong robots.txt. - Trình thu thập dữ liệu tìm kiếm lập chỉ mục trang để câu trả lời AI có thể trích dẫn:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Trình thu thập dữ liệu người dùng tải trang khi có người nhờ trợ lý AI:
ChatGPT-User,Claude-User,Perplexity-User.
Tiện ích miễn phí Kiểm tra trình thu thập AI cho Chrome làm việc này chỉ với một cú nhấp. Mở bất kỳ trang nào, nhấp vào biểu tượng, tiện ích sẽ đọc robots.txt của trang đó và cho biết, với từng trình trong 16 trình thu thập dữ liệu, trang có được phép không và dòng nào quyết định điều đó. Nó cũng hiển thị các tùy chọn Content-Signal, trang có llms.txt hay không, và các sitemap được liệt kê trong robots.txt. Tiện ích chạy trong trình duyệt của bạn, không cần tài khoản, và chỉ đọc trang mà bạn nhấp vào.
Nếu không dùng Chrome, công cụ kiểm tra robots.txt miễn phí trên aiseewhy.com cho cùng câu trả lời với URL bạn dán vào.
Làm sao kiểm tra tường lửa có cho chúng đi qua không?
robots.txt cho biết trang yêu cầu điều gì. Để xem trình thu thập dữ liệu thực sự nhận được gì, hãy yêu cầu trang hai lần, một lần như trình duyệt và một lần với user agent của trình thu thập dữ liệu, rồi so sánh mã trạng thái và kích thước phản hồi:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Nếu trình duyệt nhận 200 còn trình thu thập dữ liệu nhận 403, 429 hoặc 503, hay một trang nhỏ hơn nhiều, thì tường lửa hoặc lớp chống bot đang đối xử với trình thu thập dữ liệu khác đi. Mọi bài kiểm tra từ bên ngoài đều có một giới hạn: nó đến từ mạng của bạn, không phải từ mạng của công ty AI. Một tường lửa tin tưởng trình thu thập dữ liệu dựa trên địa chỉ IP được công bố có thể đối xử với trình thật theo cách khác, vì vậy nhật ký máy chủ mới là câu trả lời cuối cùng.
Bài kiểm tra đầy đủ trên aiseewhy.com tải trang dưới danh nghĩa cả 16 trình thu thập dữ liệu bên cạnh một trình duyệt thật, chỉ ra tường lửa hoặc quy tắc chặn trình thu thập dữ liệu, và so sánh văn bản mà mỗi trình nhận được.
Nên nhắm tới kết quả nào?
Điều đó tùy vào mục tiêu của bạn. Nếu muốn được trích dẫn trong tìm kiếm ChatGPT, Claude và Perplexity, các trình thu thập dữ liệu tìm kiếm và người dùng phải được phép trong robots.txt và phải nhận được trang thật từ máy chủ. Nếu không muốn nội dung bị dùng để huấn luyện, chỉ chặn các token huấn luyện. Đây là những lựa chọn riêng biệt: chặn GPTBot không chặn OAI-SearchBot, và chặn ClaudeBot không chặn Claude-SearchBot.
Nhiều trang nhầm lẫn hai việc này. Trong báo cáo tháng 11 năm 2026 của chúng tôi về 1.000 tên miền phổ biến nhất, 63% số trang chặn trình thu thập dữ liệu huấn luyện cũng chặn ít nhất một trình thu thập dữ liệu tìm kiếm hoặc người dùng của AI, khiến trang của họ không xuất hiện trong các câu trả lời AI đó.
Bước tiếp theo
- Trình kiểm tra robots.txt cho trình thu thập AI
- Trình kiểm tra và xác thực llms.txt
- Xem ví dụ báo cáo đầy đủ
- Giám sát trình thu thập AI
- Gói và giá
Các trình thu thập trong bài này
Nguồn tham khảo
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Tổng quan về các trình thu thập dữ liệu của OpenAI
- Anthropic: Anthropic có thu thập dữ liệu từ web không, và chủ trang có thể chặn trình thu thập dữ liệu như thế nào?
- Perplexity: Các trình thu thập dữ liệu của Perplexity
- Google: Các trình thu thập dữ liệu phổ biến, gồm Google-Extended
- AISeeWhy: Báo cáo quyền truy cập của trình thu thập dữ liệu AI, 2026-11