Trình kiểm tra robots.txt cho trình thu thập AI

Nhập địa chỉ trang: chúng tôi đọc robots.txt của trang web và cho biết, với từng trình thu thập AI và tìm kiếm, liệu nó có được tải trang đó không. Hoặc dán một tệp robots.txt để thử trước khi xuất bản.

robots.txt chỉ là một lời yêu cầu. Tường lửa hoặc lớp chống bot vẫn có thể chặn một trình thu thập mà robots.txt cho phép; kiểm tra đầy đủ sẽ thử điều đó. Chạy kiểm tra đầy đủ →

Trình thu thập AI đọc robots.txt như thế nào

Mỗi trình thu thập tuân theo nhóm có ghi token của nó (ví dụ GPTBot hoặc PerplexityBot); chỉ khi không có nhóm nào như vậy, nó mới tuân theo User-agent: *. Trong một nhóm, quy tắc khớp dài nhất sẽ thắng, và Allow thắng khi bằng nhau. Chặn các trình thu thập huấn luyện như GPTBot, ClaudeBot hoặc Google-Extended sẽ giữ nội dung của bạn khỏi việc huấn luyện mô hình; chặn các trình thu thập tìm kiếm và người dùng như OAI-SearchBot, ChatGPT-User hoặc PerplexityBot sẽ khiến trang của bạn không xuất hiện trong câu trả lời của AI.