robots.txt untuk crawler AI: apa yang dibenarkan, apa yang disekat

Q: Di manakah robots.txt mesti diletakkan?

Pada akar setiap hos, contohnya https://example.com/robots.txt. Fail dalam subfolder diabaikan, dan setiap subdomain memerlukan failnya sendiri.

Diterbitkan 2026-11-12

Jawapan ringkas

Beri setiap crawler AI yang anda ambil berat kumpulan User-agent sendiri. Benarkan crawler carian seperti OAI-SearchBot, Claude-SearchBot dan PerplexityBot jika anda mahu dipetik, dan tentukan secara berasingan tentang token latihan seperti GPTBot, ClaudeBot, Google-Extended dan Applebot-Extended. Kumpulan yang dinamakan menggantikan kumpulan * untuk crawler itu.

robots.txt ialah fail teks biasa yang bermula sejak 1994 dan menjadi standard rasmi, RFC 9309, pada 2022. Kebanyakan vendor AI menyatakan crawler mereka mengikutinya, dan beberapa menerbitkan token berasingan untuk carian dan untuk latihan. Itu menjadikan robots.txt tempat paling mudah untuk menyatakan dasar AI, dengan syarat peraturannya bermaksud seperti yang anda sangka.

Dalam halaman ini

Token robots.txt yang manakah digunakan crawler AI?
Bagaimana rupa robots.txt AI yang baik?
Bagaimana crawler memilih peraturan yang terpakai kepada mereka?
Apakah kesilapan robots.txt yang paling lazim?
Bolehkah saya menyatakan dasar penggunaan AI selain allow dan disallow?
Berapa lama perubahan mengambil masa, dan bagaimana menyemaknya?

Token robots.txt yang manakah digunakan crawler AI?

Inilah token yang didokumentasikan oleh vendor. Padanan tidak sensitif kepada huruf besar dan kecil di bawah RFC 9309.

OpenAI: OAI-SearchBot (carian ChatGPT), GPTBot (latihan), ChatGPT-User (lawatan atas permintaan pengguna; OpenAI menyatakan robots.txt mungkin tidak terpakai).
Anthropic: Claude-SearchBot (carian), ClaudeBot (latihan), Claude-User (lawatan atas permintaan pengguna).
Perplexity: PerplexityBot (carian), Perplexity-User (lawatan atas permintaan pengguna; Perplexity menyatakan ia umumnya mengabaikan robots.txt).
Google: Googlebot (Search, termasuk ciri AI-nya) dan Google-Extended, token tanpa crawler sendiri yang mengawal penggunaan dalam latihan dan grounding Gemini.
Apple: Applebot (Spotlight, Siri, carian Safari) dan Applebot-Extended, yang tidak menjelajah tetapi mengawal penggunaan untuk melatih model asas Apple.
Meta: meta-externalagent (latihan dan pengindeksan produk) dan meta-webindexer (carian Meta AI).
Common Crawl: CCBot, yang membina arkib data web awam percuma milik Common Crawl.

Bagaimana rupa robots.txt AI yang baik?

Contoh ini membenarkan carian AI dan pengambilan oleh pengguna masuk, menolak token latihan utama dan menutup satu kawasan peribadi untuk semua orang:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Beberapa baris User-agent berturut-turut membentuk satu kumpulan, jadi peraturan di bawahnya terpakai kepada setiap crawler itu. Jika anda memang mahu kandungan anda digunakan untuk latihan, tinggalkan sahaja kumpulan kedua. Menyekat Google-Extended tidak menjejaskan Google Search: Google menyatakan ia tidak memberi kesan kepada kemasukan dalam Search dan bukan isyarat kedudukan. Begitu juga, Apple menyatakan halaman yang melarang Applebot-Extended masih boleh muncul dalam hasil carian Apple.

Bagaimana crawler memilih peraturan yang terpakai kepada mereka?

RFC 9309 mentakrifkannya dengan tepat, dan butiran ini menjelaskan kebanyakan kejutan:

Crawler mencari kumpulan yang User-agent-nya sepadan dengan product token-nya, tanpa mengira huruf besar atau kecil. Jika beberapa kumpulan sepadan, peraturannya digabungkan menjadi satu.
Hanya jika tiada kumpulan yang sepadan, crawler mengikut kumpulan User-agent: *. Kumpulan yang dinamakan tidak mewarisi apa-apa daripada *.
Dalam kumpulan, peraturan dengan laluan padanan terpanjang yang menang. Allow: /blog/ mengatasi Disallow: / untuk /blog/post.
Jika peraturan Allow dan Disallow sepadan dengan panjang yang sama, Allow patut digunakan.
* dalam laluan sepadan dengan sebarang aksara dan $ menandakan penghujung, jadi Disallow: /*.pdf$ meliputi semua PDF.

Apakah kesilapan robots.txt yang paling lazim?

Menjangka kumpulan yang dinamakan mewarisi daripada *. Kumpulan untuk OAI-SearchBot dengan Allow: / sahaja membuka setiap laluan, termasuk yang anda larang di bawah *.
Alamat robots.txt yang memulangkan halaman HTML, selalunya halaman 404 yang dihidangkan dengan status 200. Crawler tidak menemui peraturan yang sah di dalamnya.
robots.txt yang memulangkan ralat pelayan. RFC 9309 menyatakan crawler kemudian mesti menganggap seluruh laman dilarang. Status 404 berbeza: ia bermakna tiada sekatan.
Menyekat token carian sedangkan niatnya menyekat latihan, contohnya melarang PerplexityBot atau Claude-SearchBot untuk mengelakkan latihan model.
Bergantung kepada robots.txt untuk menghentikan pengambilan atas permintaan pengguna. OpenAI dan Perplexity kedua-duanya menyatakan user agent mereka mungkin tidak mengikutinya.
Terlupa subdomain. Setiap hos mempunyai robots.txt sendiri; dokumentasi Anthropic mengingatkan pemilik laman supaya menambah peraturan untuk setiap subdomain.

Bolehkah saya menyatakan dasar penggunaan AI selain allow dan disallow?

Cloudflare telah mencadangkan baris Content-Signal untuk robots.txt dengan tiga isyarat: search (membina indeks carian dan memaparkan pautan serta petikan ringkas), ai-input (menggunakan kandungan secara masa nyata untuk jawapan AI) dan ai-train (melatih atau memperhalusi model). robots.txt terurus Cloudflare boleh menambahnya untuk anda.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Seperti semua yang ada dalam robots.txt, ini ialah keutamaan, bukan kawalan teknikal. Cloudflare sendiri menyatakan bahawa pematuhan robots.txt adalah sukarela. Baris ini pilihan dan tidak mendatangkan mudarat, tetapi ia tidak menggantikan kumpulan setiap crawler di atas.

Berapa lama perubahan mengambil masa, dan bagaimana menyemaknya?

RFC 9309 menyatakan crawler tidak patut menggunakan robots.txt dalam cache lebih daripada 24 jam, dan OpenAI serta Perplexity kedua-duanya menyatakan perubahan mungkin mengambil masa kira-kira sehari untuk berkuat kuasa. Ingat juga bahawa robots.txt bukan kawalan akses: firewall masih boleh menyekat crawler yang dibenarkan oleh peraturan anda.

AISeeWhy menghuraikan robots.txt anda mengikut RFC 9309 untuk setiap crawler yang diuji, menandakan fail yang tidak dapat dicapai atau dihidangkan sebagai HTML, menunjukkan tempat peraturan anda dan pelayan anda bercanggah, dan memberi diff siap pakai untuk perubahan itu.

Soalan lazim

Adakah menyekat GPTBot atau ClaudeBot menjejaskan keterlihatan saya dalam jawapan AI?

Tidak secara langsung. Kedua-dua vendor menggunakan crawler carian yang berasingan, OAI-SearchBot dan Claude-SearchBot, untuk carian. Menyekat crawler latihan ialah pilihan dasar.

Adakah Google-Extended menghentikan AI Overviews?

Tidak. Google menyatakan ciri AI dalam Search menggunakan Googlebot dan kawalan Search yang biasa seperti nosnippet dan noindex. Google-Extended meliputi latihan dan grounding Gemini dalam produk Google lain dan tidak menjejaskan Search.

Adakah crawler AI menyokong Crawl-delay?

Ia bukan sebahagian daripada RFC 9309. Anthropic menyatakan ia menyokong Crawl-delay sebagai lanjutan tidak standard; bagi vendor lain, semak dokumentasi mereka.

Di manakah robots.txt mesti diletakkan?

Pada akar setiap hos, contohnya https://example.com/robots.txt. Fail dalam subfolder diabaikan, dan setiap subdomain memerlukan failnya sendiri.