Mengubah robots.txt? Lihat bagaimana setiap crawler AI membacanya

Satu baris di grup yang salah bisa memblokir penelusuran ChatGPT, padahal Anda hanya ingin memblokir pelatihan AI. Periksa hasilnya untuk 16 crawler.

Gratis · Tanpa perlu mendaftar · Hasil dalam 30 detik

Grup mana yang berlaku

Crawler mengikuti grup yang menyebut namanya, bukan grup *, dan hal ini mengejutkan banyak pemilik situs.

Penelusuran atau pelatihan

Blokir crawler pelatihan jika Anda mau, sambil tetap mempertahankan crawler yang membuat Anda muncul di jawaban penelusuran AI.

Perbaikan yang tepat

Baris yang perlu diubah, siap ditempel, dan pemeriksaan ulang untuk memastikannya.

Ambil paket lengkap

Setelah pindah ke Cloudflare · Setelah desain ulang · Setelah pindah ke Shopify