Pemeriksa robots.txt untuk crawler AI

Masukkan alamat halaman: kami membaca robots.txt situs tersebut dan menampilkan, untuk setiap crawler AI dan mesin pencari, apakah crawler itu boleh mengambil halaman tersebut. Atau tempel robots.txt untuk mengujinya sebelum dipublikasikan.

robots.txt hanyalah permintaan. Firewall atau perlindungan bot tetap bisa memblokir crawler yang diizinkan robots.txt; pemeriksaan lengkap menguji hal itu. Jalankan pemeriksaan lengkap →

Cara crawler AI membaca robots.txt

Setiap crawler mengikuti grup yang menyebut token-nya (misalnya GPTBot atau PerplexityBot); hanya jika tidak ada grup seperti itu, crawler mengikuti User-agent: *. Di dalam satu grup, aturan dengan kecocokan terpanjang yang berlaku, dan Allow menang jika seri. Memblokir crawler pelatihan seperti GPTBot, ClaudeBot, atau Google-Extended membuat konten Anda tidak dipakai untuk pelatihan model; memblokir crawler pencarian dan pengguna seperti OAI-SearchBot, ChatGPT-User, atau PerplexityBot membuat halaman Anda tidak muncul di jawaban AI.