Sitemap tidak dapat diambil (status 403)
Sebuah sitemap dideklarasikan atau diharapkan ada, tetapi pengambilannya gagal dengan kesalahan, 401, 403, 429, atau status 5xx, sehingga crawler mungkin juga tidak bisa membacanya. Audit mengambilnya sebagai browser. Buat URL sitemap publik dan kecualikan dari tantangan bot dan pembatasan laju.
Artinya
Sitemap ditemukan, tetapi merespons dengan status 403 atau tidak merespons, sehingga crawler mungkin juga tidak dapat menggunakannya. Pastikan firewall Anda mengizinkan crawler mengambilnya.
Mengapa penting untuk pencarian AI
Sitemap yang mengembalikan 403 atau kesalahan server sama saja dengan tidak ada: crawler tidak dapat mengetahui halaman baru atau yang berubah darinya. Perlindungan bot adalah penyebab yang umum, karena permintaan sitemap hampir seluruhnya datang dari crawler, yang memang dibuat untuk dihentikan oleh aturan itu.
Sitemap besar yang dibuat pada setiap permintaan juga bisa kehabisan waktu atau menabrak batas server, yang muncul sebagai status 5xx. Karena audit mengambil file sebagai browser, kegagalan di sini biasanya berarti crawler juga ditolak.
Cara memperbaikinya
- Buka URL sitemap dari laporan dan catat statusnya. Laporan AISeeWhy menampilkan buktinya beserta perbaikan yang siap ditempel; setelah itu jalankan "Periksa lagi" untuk memastikan hasilnya.
- Di CDN atau WAF Anda, kecualikan jalur sitemap (misalnya
/sitemap*.xml) dari tantangan, Bot Fight Mode, dan pembatasan laju. - Jika berada di balik autentikasi pada pengaturan ala staging, jadikan publik di host produksi.
- Untuk kesalahan 5xx, cache sitemap yang dihasilkan atau bangun sebelumnya sebagai file statis, dan pecah yang sangat besar dengan indeks sitemap.
Cara memastikan perbaikannya
Setelah perubahan, tekan "Periksa lagi" pada laporan: laporan mencantumkan apa yang diperbaiki dan bagaimana skor berubah.