Kami membaca robots.txt 10,000 laman paling popular. Inilah yang mereka lakukan terhadap perangkak AI

Diterbitkan

Jawapan ringkas

Daripada 6,192 domain dalam 10,000 teratas Tranco yang menyediakan robots.txt, 23.2% menyekat sekurang-kurangnya satu perangkak latihan AI dan 12.3% menyekat sekurang-kurangnya satu perangkak carian atau pengguna AI. 51.6% laman yang menyekat latihan turut menyekat carian AI. Hanya 11.2% menolak latihan sambil membenarkan setiap perangkak carian AI.

Pada November kami membaca robots.txt 1,000 domain paling popular. Kali ini kami membaca 10,000 dengan kaedah yang sama, dan menambah semakan tentang bagaimana gambaran berubah apabila laman semakin kecil. Dapatan utamanya kekal: menyekat latihan dan menyekat carian dianggap satu keputusan, walhal keduanya dua perkara berbeza.

Dalam halaman ini
  1. Bagaimana kami mengukurnya?
  2. Apa yang kami temui?
  3. Perangkak mana yang paling kerap disekat?
  4. Adakah laman yang lebih besar menyekat lebih banyak?
  5. Adakah apa-apa berubah sejak laporan 12 November kami?
  6. Apa maksudnya untuk robots.txt anda?
  7. Setakat mana boleh dipercayai nombor ini?

Bagaimana kami mengukurnya?

Kami mengambil 10,000 domain teratas senarai Tranco (ID senarai JZWZY) dan memuat halaman utama, robots.txt dan llms.txt setiap domain sekali pada 21 November 2026, sebagai ejen pengguna AISeeWhy sendiri. Kami menilai setiap robots.txt mengikut RFC 9309 untuk halaman utama (/) dan untuk 16 perangkak AI dan carian.

6,192 daripada 10,000 domain menyediakan robots.txt (jawapan berjaya yang bukan halaman HTML). 1,121 menjawab dengan 4xx, bermakna tiada peraturan dan semua perangkak dibenarkan, dan 2,687 tidak menyediakannya (tiada laman HTTPS, ralat, tamat masa atau halaman HTML sebagai gantinya). Setiap peratusan di bawah adalah daripada 6,192 itu. Senarai ini merangkumi CDN dan API yang tidak melayani sebarang laman web.

Apa yang kami temui?

Perangkak mana yang paling kerap disekat?

Bahagian daripada 6,192 domain yang robots.txt-nya melarang halaman utama untuk perangkak itu:

Adakah laman yang lebih besar menyekat lebih banyak?

Ya, dan mereka lebih kerap mencampuradukkan latihan dengan carian. Kami membahagikan senarai mengikut kedudukan:

Jalan terpilih jarang pada setiap saiz: 10.5%, 10.4% dan 11.5% daripada domain dalam tiga kumpulan itu.

Adakah apa-apa berubah sejak laporan 12 November kami?

Kami menjalankan semula 1,000 domain pertama dengan senarai yang sama. Hasilnya stabil dalam lingkungan kira-kira satu mata: 28.6% menyekat latihan (29.9% pada 12 November), 18.6% menyekat carian AI (19.5%), dan 63.1% daripada penyekat latihan turut menyekat carian AI (63.2%). Penyebutnya sedikit berbeza (kini 560 domain dengan robots.txt, ketika itu 518) kerana larian ini mengikut ubah hala domain ke hos utamanya sebelum memuat.

Apa maksudnya untuk robots.txt anda?

Kebanyakan syarikat AI mendokumentasikan perangkak berasingan untuk latihan dan untuk carian serta menyatakan tetapannya bebas antara satu sama lain. Melarang GPTBot tidak menjejaskan OAI-SearchBot, dan melarang ClaudeBot tidak menjejaskan Claude-SearchBot. Jika anda mahu menolak latihan tetapi masih dipetik, sekat token latihan dan benarkan token carian dan pengguna, serta ulangi mana-mana laluan persendirian dalam setiap kumpulan, kerana kumpulan bernama tidak mewarisi daripada *.

Setakat mana boleh dipercayai nombor ini?

Ini ialah peraturan robots.txt untuk halaman utama, dibaca oleh satu penghurai pada satu hari. Ia tidak mengukur sekatan tembok api, yang boleh menolak perangkak yang dibenarkan oleh robots.txt. Ia tidak dapat memberitahu niat setiap laman, dan senarai Tranco merangkumi domain yang tidak melayani sebarang laman web. Peraturan yang menyekat perangkak carian bukan bukti kesilapan, hanya bukti pilihan yang sering dibuat tanpa mengetahui perbezaannya. Anda boleh memetik angka ini dengan pautan ke halaman ini.

Alat percuma

Langkah seterusnya

Perangkak dalam artikel ini

Soalan lazim

Berapa peratus laman popular yang menyekat perangkak AI?

Antara 6,192 domain dalam 10,000 teratas Tranco yang menyediakan robots.txt, 23.2% menyekat sekurang-kurangnya satu perangkak latihan AI dan 12.3% menyekat sekurang-kurangnya satu perangkak carian atau pengguna AI.

Adakah laman yang menyekat latihan AI turut menyekat carian AI?

Selalunya. 51.6% laman yang menyekat perangkak latihan turut menyekat sekurang-kurangnya satu perangkak carian atau pengguna AI, walaupun vendor mendokumentasikannya sebagai perangkak berasingan dengan tetapan bebas.

Perangkak AI mana yang paling kerap disekat?

Antara perangkak latihan ialah Bytespider (18.7%) dan CCBot (18.5%), kemudian GPTBot (17.4%). Antara perangkak carian AI, PerplexityBot paling kerap disekat, pada 10.4% domain.

Mengapa nombornya berbeza daripada laporan 1,000 laman anda?

1,000 domain pertama memberikan peratusan yang hampir sama (28.6% dan 18.6% berbanding 29.9% dan 19.5%). Angka 10,000 laman lebih rendah kerana laman yang lebih kecil menyekat kurang.

Sumber

Artikel lain