Kami membaca robots.txt 10,000 laman paling popular. Inilah yang mereka lakukan terhadap perangkak AI
Daripada 6,192 domain dalam 10,000 teratas Tranco yang menyediakan robots.txt, 23.2% menyekat sekurang-kurangnya satu perangkak latihan AI dan 12.3% menyekat sekurang-kurangnya satu perangkak carian atau pengguna AI. 51.6% laman yang menyekat latihan turut menyekat carian AI. Hanya 11.2% menolak latihan sambil membenarkan setiap perangkak carian AI.
Pada November kami membaca robots.txt 1,000 domain paling popular. Kali ini kami membaca 10,000 dengan kaedah yang sama, dan menambah semakan tentang bagaimana gambaran berubah apabila laman semakin kecil. Dapatan utamanya kekal: menyekat latihan dan menyekat carian dianggap satu keputusan, walhal keduanya dua perkara berbeza.
Dalam halaman ini
Bagaimana kami mengukurnya?
Kami mengambil 10,000 domain teratas senarai Tranco (ID senarai JZWZY) dan memuat halaman utama, robots.txt dan llms.txt setiap domain sekali pada 21 November 2026, sebagai ejen pengguna AISeeWhy sendiri. Kami menilai setiap robots.txt mengikut RFC 9309 untuk halaman utama (/) dan untuk 16 perangkak AI dan carian.
6,192 daripada 10,000 domain menyediakan robots.txt (jawapan berjaya yang bukan halaman HTML). 1,121 menjawab dengan 4xx, bermakna tiada peraturan dan semua perangkak dibenarkan, dan 2,687 tidak menyediakannya (tiada laman HTTPS, ralat, tamat masa atau halaman HTML sebagai gantinya). Setiap peratusan di bawah adalah daripada 6,192 itu. Senarai ini merangkumi CDN dan API yang tidak melayani sebarang laman web.
Apa yang kami temui?
- 23.2% (1,437 domain) menyekat sekurang-kurangnya satu perangkak latihan AI.
- 12.3% (762) menyekat sekurang-kurangnya satu perangkak carian atau pengguna AI, jadi halaman mereka tidak sepatutnya digunakan atau dipetik oleh jawapan yang bergantung padanya.
- 51.6% domain yang menyekat perangkak latihan (742 daripada 1,437) turut menyekat sekurang-kurangnya satu perangkak carian atau pengguna AI.
- Hanya 11.2% (695) mengambil jalan terpilih: mereka menyekat perangkak latihan dan membenarkan setiap perangkak carian dan pengguna AI.
- 6.5% (401) menyatakan keutamaan AI mereka dengan
Content-Signal. - 12.4% daripada kesemua 10,000 domain (1,240) menerbitkan
llms.txt. - Sebagai perbandingan, 2.0% (124) menyekat
Googlebotpada halaman utama.
Perangkak mana yang paling kerap disekat?
Bahagian daripada 6,192 domain yang robots.txt-nya melarang halaman utama untuk perangkak itu:
- Perangkak latihan:
Bytespider18.7%,CCBot18.5%,GPTBot17.4%,ClaudeBot16.5%. - Perangkak latihan lain:
Meta-ExternalAgent15.5%,Google-Extended14.9%,Applebot-Extended14.6%. PerplexityBot10.4% ialah perangkak carian AI yang paling kerap disekat, mendahuluiOAI-SearchBot7.0% danClaude-SearchBot7.0%.- Perangkak yang membuka halaman apabila seseorang bertanya:
ChatGPT-User8.9%,Perplexity-User7.7%,Claude-User7.4%.
Adakah laman yang lebih besar menyekat lebih banyak?
Ya, dan mereka lebih kerap mencampuradukkan latihan dengan carian. Kami membahagikan senarai mengikut kedudukan:
- Kedudukan 1 hingga 1,000 (560 domain dengan robots.txt): 28.6% menyekat latihan, 18.6% menyekat carian AI, dan 63.1% daripada penyekat latihan turut menyekat carian AI.
- Kedudukan 1,001 hingga 3,000 (1,256 domain): 23.5%, 13.5% dan 55.6%.
- Kedudukan 3,001 hingga 10,000 (4,376 domain): 22.4%, 11.2% dan 48.6%.
Jalan terpilih jarang pada setiap saiz: 10.5%, 10.4% dan 11.5% daripada domain dalam tiga kumpulan itu.
Adakah apa-apa berubah sejak laporan 12 November kami?
Kami menjalankan semula 1,000 domain pertama dengan senarai yang sama. Hasilnya stabil dalam lingkungan kira-kira satu mata: 28.6% menyekat latihan (29.9% pada 12 November), 18.6% menyekat carian AI (19.5%), dan 63.1% daripada penyekat latihan turut menyekat carian AI (63.2%). Penyebutnya sedikit berbeza (kini 560 domain dengan robots.txt, ketika itu 518) kerana larian ini mengikut ubah hala domain ke hos utamanya sebelum memuat.
Apa maksudnya untuk robots.txt anda?
Kebanyakan syarikat AI mendokumentasikan perangkak berasingan untuk latihan dan untuk carian serta menyatakan tetapannya bebas antara satu sama lain. Melarang GPTBot tidak menjejaskan OAI-SearchBot, dan melarang ClaudeBot tidak menjejaskan Claude-SearchBot. Jika anda mahu menolak latihan tetapi masih dipetik, sekat token latihan dan benarkan token carian dan pengguna, serta ulangi mana-mana laluan persendirian dalam setiap kumpulan, kerana kumpulan bernama tidak mewarisi daripada *.
Setakat mana boleh dipercayai nombor ini?
Ini ialah peraturan robots.txt untuk halaman utama, dibaca oleh satu penghurai pada satu hari. Ia tidak mengukur sekatan tembok api, yang boleh menolak perangkak yang dibenarkan oleh robots.txt. Ia tidak dapat memberitahu niat setiap laman, dan senarai Tranco merangkumi domain yang tidak melayani sebarang laman web. Peraturan yang menyekat perangkak carian bukan bukti kesilapan, hanya bukti pilihan yang sering dibuat tanpa mengetahui perbezaannya. Anda boleh memetik angka ini dengan pautan ke halaman ini.
Langkah seterusnya
- Penguji dan penyemak robots.txt untuk perangkak AI
- Penyemak dan pengesah llms.txt
- Lihat contoh laporan penuh
- Pemantauan perangkak AI
- Pelan dan harga
Perangkak dalam artikel ini
Soalan lazim
Berapa peratus laman popular yang menyekat perangkak AI?
Antara 6,192 domain dalam 10,000 teratas Tranco yang menyediakan robots.txt, 23.2% menyekat sekurang-kurangnya satu perangkak latihan AI dan 12.3% menyekat sekurang-kurangnya satu perangkak carian atau pengguna AI.
Adakah laman yang menyekat latihan AI turut menyekat carian AI?
Selalunya. 51.6% laman yang menyekat perangkak latihan turut menyekat sekurang-kurangnya satu perangkak carian atau pengguna AI, walaupun vendor mendokumentasikannya sebagai perangkak berasingan dengan tetapan bebas.
Perangkak AI mana yang paling kerap disekat?
Antara perangkak latihan ialah Bytespider (18.7%) dan CCBot (18.5%), kemudian GPTBot (17.4%). Antara perangkak carian AI, PerplexityBot paling kerap disekat, pada 10.4% domain.
Mengapa nombornya berbeza daripada laporan 1,000 laman anda?
1,000 domain pertama memberikan peratusan yang hampir sama (28.6% dan 18.6% berbanding 29.9% dan 19.5%). Angka 10,000 laman lebih rendah kerana laman yang lebih kecil menyekat kurang.
Sumber
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers