AISeeWhy
VI
Dùng thử miễn phí

robots.txt không cho phép GPTBot

Trả lời ngắn

robots.txt của bạn có quy tắc Disallow khớp với trang này đối với token của trình thu thập. Lần kiểm tra áp dụng RFC 9309: nhóm riêng của trình thu thập nếu có, nếu không thì nhóm *, và quy tắc khớp dài nhất thắng. Hãy thêm Allow cho trình thu thập hoặc gỡ quy tắc nếu bạn muốn cho nó vào.

robots.disallowed · Mức ưu tiên: P1–P3, tùy loại trình thu thập

Ý nghĩa

Các quy tắc trong robots.txt của bạn ngăn GPTBot tải /.

Vì sao điều này quan trọng với tìm kiếm AI

Các trình thu thập AI tuân thủ đều tôn trọng robots.txt. Nếu OAI-SearchBot, Claude-SearchBot hoặc PerplexityBot bị disallow, trang không được tải cho chỉ mục tìm kiếm của chúng nên không thể được trích dẫn trong câu trả lời. Disallow các token huấn luyện như GPTBot, ClaudeBot, Google-Extended hay Applebot-Extended chỉ ngăn việc dùng để huấn luyện mô hình.

Nhiều site chặn trình thu thập AI do nhầm lẫn: mẫu cấm mọi thứ trừ Googlebot, hoặc nhóm User-agent: * với Disallow: / còn sót từ môi trường staging. Lưu ý Applebot dùng nhóm của Googlebot khi không có nhóm riêng.

Cách khắc phục

  1. Tìm quy tắc trong phát hiện: nó nêu token của trình thu thập và đường dẫn. Báo cáo AISeeWhy hiển thị bằng chứng và bản sửa sẵn để dán; sau đó chạy "Kiểm tra lại" để xác nhận kết quả.
  2. Gỡ token của trình thu thập khỏi mọi nhóm đang disallow trang, rồi thêm nhóm riêng của nó với Allow: /. Nhóm cụ thể thay thế nhóm * đối với trình thu thập đó, nên các quy tắc dưới * không còn áp dụng cho nó.
  3. Trên WordPress, kiểm tra robots.txt là tệp thật ở thư mục gốc web hay do plugin SEO như Yoast hoặc Rank Math tạo ra, và sửa ở đó. Trên Shopify, sửa mẫu giao diện robots.txt.liquid.
  4. Trên Cloudflare, kiểm tra xem cài đặt robots.txt được quản lý có thêm quy tắc trình thu thập AI lên trên tệp của bạn không.
  5. Giữ các token huấn luyện ở trạng thái disallow nếu đó là chính sách của bạn; điều này không ảnh hưởng đến các trình thu thập tìm kiếm dùng token riêng.

Ví dụ

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Cách xác nhận đã khắc phục

Sau khi thay đổi, nhấn "Kiểm tra lại" trên báo cáo: báo cáo liệt kê những gì đã khắc phục và điểm thay đổi ra sao.

Kiểm tra trang của tôi →

Hướng dẫn liên quan

Tất cả phát hiện và cách tính điểm