Trình tạo robots.txt cho trình thu thập AI
Chọn trình thu thập AI nào được đọc site của bạn và sao chép robots.txt đã tạo. Lựa chọn phổ biến là chặn các trình thu thập huấn luyện AI như GPTBot và ClaudeBot nhưng cho phép các trình thu thập tìm kiếm AI như OAI-SearchBot và PerplexityBot, để trang của bạn vẫn có thể xuất hiện và được trích dẫn trong câu trả lời AI.
Chặn các trình tải theo yêu cầu người dùng chỉ có tác dụng hạn chế: một số nhà cung cấp cho biết các tác tử này có thể không tuân theo robots.txt, vì một người đã yêu cầu trang. Hãy thử kết quả bằng trình kiểm tra robots.txt trước khi xuất bản. Trình kiểm tra robots.txt cho trình thu thập AI →
Cách sử dụng
Đặt tệp ở thư mục gốc của tên miền (https://example.com/robots.txt). Nếu bạn đã có quy tắc cho các trình thu thập khác, hãy giữ lại và chỉ thêm các nhóm AI. Thay đổi có hiệu lực vào lần tiếp theo mỗi trình thu thập đọc tệp, thường trong vòng một ngày.