Penjana robots.txt untuk perangkak AI
Pilih perangkak AI yang boleh membaca laman anda dan salin robots.txt yang dijana. Pilihan lazim ialah menyekat perangkak latihan AI seperti GPTBot dan ClaudeBot tetapi membenarkan perangkak carian AI seperti OAI-SearchBot dan PerplexityBot, supaya halaman anda masih boleh muncul dan dipetik dalam jawapan AI.
Menyekat pengambil atas permintaan pengguna mempunyai kesan terhad: sesetengah vendor menyatakan ejen ini mungkin tidak mengikut robots.txt, kerana seseorang yang meminta halaman itu. Uji hasilnya dengan penyemak robots.txt sebelum anda menerbitkannya. Penyemak robots.txt untuk perangkak AI →
Cara menggunakannya
Letakkan fail di akar domain anda (https://example.com/robots.txt). Jika anda sudah mempunyai peraturan untuk perangkak lain, kekalkannya dan tambah kumpulan AI sahaja. Perubahan berkuat kuasa kali berikutnya setiap perangkak membaca fail, biasanya dalam masa sehari.