Penyemak robots.txt untuk perangkak AI

Masukkan alamat halaman: kami membaca robots.txt laman itu dan menunjukkan, bagi setiap perangkak AI dan carian, sama ada ia boleh mengambil halaman tersebut. Atau tampal robots.txt untuk mengujinya sebelum anda menerbitkannya.

robots.txt hanyalah permintaan. Tembok api atau perlindungan bot masih boleh menyekat perangkak yang dibenarkan oleh robots.txt; semakan penuh menguji perkara ini. Jalankan semakan penuh →

Cara perangkak AI membaca robots.txt

Setiap perangkak mengikut kumpulan yang menamakan tokennya (contohnya GPTBot atau PerplexityBot); hanya jika tiada kumpulan sedemikian, ia mengikut User-agent: *. Dalam satu kumpulan, peraturan dengan padanan terpanjang menang, dan Allow menang jika seri. Menyekat perangkak latihan seperti GPTBot, ClaudeBot atau Google-Extended menghalang kandungan anda daripada digunakan untuk latihan model; menyekat perangkak carian dan pengguna seperti OAI-SearchBot, ChatGPT-User atau PerplexityBot menghalang halaman anda daripada muncul dalam jawapan AI.