robots.txt tidak dapat diambil
robots.unreachable
Artinya
robots.txt menjawab dengan status 403 atau tidak menjawab. Menurut RFC 9309, crawler lalu menganggap seluruh situs dilarang.
Prioritas
P1
Cara memperbaikinya
Jalankan pemeriksaan gratis untuk halaman Anda. Laporan menunjukkan bukti temuan ini di situs Anda dan perbaikan siap tempel: perubahan robots.txt, aturan Cloudflare, markup JSON-LD, draf llms.txt, atau instruksi singkat.
Cara memastikan perbaikannya
Setelah perubahan, tekan "Periksa lagi" pada laporan: laporan mencantumkan apa yang diperbaiki dan bagaimana skor berubah.