2 halaman menolak perayapan
Halaman ini menjawab 401, 403, 429, atau 503, atau timeout, saat audit mengambilnya seperti browser. Penyebabnya sering firewall, perlindungan bot, atau batas laju, bukan halaman yang rusak. Periksa apakah crawler pencarian dan AI mendapat jawaban yang sama.
Artinya
Halaman ini merespons 401, 403, 429, atau 503, atau waktunya habis. Firewall atau batas laju mungkin juga menghentikan crawler. Periksa apakah crawler mesin pencari dan AI mendapat respons yang sama.
Mengapa penting untuk pencarian AI
Audit mengambil banyak halaman dalam waktu singkat dari satu server, jadi batas laju bisa menjawab 429 atau 503 meskipun orang bisa membuka halamannya. Jika aturan yang sama berlaku untuk crawler pencarian dan AI, halaman ini tidak diambil untuk indeks mereka dan tidak bisa dikutip dalam jawaban AI.
401 berarti halaman memerlukan login, yang wajar untuk area akun tetapi tidak untuk konten publik. 503 di setiap halaman bisa berarti mode pemeliharaan lupa dimatikan. Halaman ini dipisahkan dari tautan rusak karena perbaikannya bergantung pada siapa yang ditolak.
Cara memperbaikinya
- Buka beberapa URL yang tercantum di jendela browser privat. Jika halamannya termuat, blokirnya ditujukan pada permintaan otomatis.
- Cari permintaan yang ditolak di log firewall, CDN, atau hosting Anda. Pastikan crawler pencarian terverifikasi seperti Googlebot dan Bingbot, serta crawler pencarian AI yang Anda inginkan, diizinkan; banyak CDN, termasuk Cloudflare, punya pengaturan untuk bot terverifikasi.
- Jika penyebabnya batas laju, naikkan batas untuk permintaan halaman biasa atau kecualikan halaman HTML darinya.
- Jika halaman menjawab 401, hapus login dari halaman publik, atau berhenti menautkan halaman privat dari halaman publik.
- Jalankan lagi audit situs dari akun Anda untuk memastikan hasilnya.
Cara memastikan perbaikannya
Setelah perubahan, tekan "Periksa lagi" pada laporan: laporan mencantumkan apa yang diperbaiki dan bagaimana skor berubah.