robots.txt tidak dapat diambil
robots.unreachable
Maksudnya
robots.txt menjawab dengan status 403 atau tidak menjawab. Di bawah RFC 9309, perangkak kemudian menganggap seluruh tapak sebagai dilarang.
Keutamaan
P1
Cara membetulkannya
Jalankan semakan percuma bagi halaman anda. Laporan menunjukkan bukti penemuan ini di laman anda dan pembetulan yang siap ditampal: perubahan robots.txt, peraturan Cloudflare, markup JSON-LD, draf llms.txt atau arahan ringkas.
Cara mengesahkan pembetulan
Selepas perubahan, tekan "Semak semula" pada laporan: ia menyenaraikan apa yang dibetulkan dan bagaimana skor berubah.