Mengubah robots.txt? Lihat bagaimana setiap crawler AI membacanya
Satu baris di grup yang salah bisa memblokir penelusuran ChatGPT, padahal Anda hanya ingin memblokir pelatihan AI. Periksa hasilnya untuk 16 crawler.
Gratis · Tanpa perlu mendaftar · Hasil dalam 30 detik
Grup mana yang berlaku
Crawler mengikuti grup yang menyebut namanya, bukan grup *, dan hal ini mengejutkan banyak pemilik situs.
Penelusuran atau pelatihan
Blokir crawler pelatihan jika Anda mau, sambil tetap mempertahankan crawler yang membuat Anda muncul di jawaban penelusuran AI.
Perbaikan yang tepat
Baris yang perlu diubah, siap ditempel, dan pemeriksaan ulang untuk memastikannya.
Setelah pindah ke Cloudflare · Setelah desain ulang · Setelah pindah ke Shopify