robots.txt berupa halaman HTML
robots.invalid
Artinya
Alamat robots.txt mengembalikan HTML (sering kali halaman 404 yang disajikan dengan status 200), sehingga crawler tidak dapat membaca aturan apa pun.
Prioritas
P2
Cara memperbaikinya
Jalankan pemeriksaan gratis untuk halaman Anda. Laporan menunjukkan bukti temuan ini di situs Anda dan perbaikan siap tempel: perubahan robots.txt, aturan Cloudflare, markup JSON-LD, draf llms.txt, atau instruksi singkat.
Cara memastikan perbaikannya
Setelah perubahan, tekan "Periksa lagi" pada laporan: laporan mencantumkan apa yang diperbaiki dan bagaimana skor berubah.