Generator robots.txt untuk crawler AI
Pilih crawler AI mana yang boleh membaca situs Anda dan salin robots.txt yang dihasilkan. Pilihan yang umum adalah memblokir crawler pelatihan AI seperti GPTBot dan ClaudeBot tetapi mengizinkan crawler pencarian AI seperti OAI-SearchBot dan PerplexityBot, agar halaman Anda tetap dapat muncul dan dikutip dalam jawaban AI.
Memblokir pengambil atas permintaan pengguna hanya berpengaruh terbatas: beberapa vendor menyatakan agen ini mungkin tidak mengikuti robots.txt, karena seseorang yang meminta halamannya. Uji hasilnya dengan pemeriksa robots.txt sebelum Anda mempublikasikannya. Pemeriksa robots.txt untuk crawler AI →
Cara memakainya
Letakkan file di root domain Anda (https://example.com/robots.txt). Jika Anda sudah punya aturan untuk crawler lain, pertahankan dan tambahkan hanya grup AI. Perubahan berlaku saat setiap crawler berikutnya membaca file, biasanya dalam sehari.