Không thể tải robots.txt
robots.unreachable
Ý nghĩa
robots.txt trả về trạng thái 403 hoặc không phản hồi. Theo RFC 9309, khi đó các trình thu thập coi toàn bộ trang là bị cấm.
Mức ưu tiên
P1
Cách khắc phục
Chạy kiểm tra miễn phí cho trang của bạn. Báo cáo cho thấy bằng chứng của phát hiện này trên trang web của bạn và cách khắc phục sẵn để dán: thay đổi robots.txt, quy tắc Cloudflare, mã JSON-LD, bản nháp llms.txt hoặc một hướng dẫn ngắn.
Cách xác nhận đã khắc phục
Sau khi thay đổi, nhấn "Kiểm tra lại" trên báo cáo: báo cáo liệt kê những gì đã khắc phục và điểm thay đổi ra sao.