Kami membaca robots.txt dari 10.000 situs terpopuler. Inilah yang mereka lakukan terhadap crawler AI

Dipublikasikan

Jawaban singkat

Dari 6.192 domain dalam Tranco top 10.000 yang menyajikan robots.txt, 23,2% memblokir setidaknya satu crawler pelatihan AI dan 12,3% memblokir setidaknya satu crawler pencarian atau pengguna AI. Sebanyak 51,6% situs yang memblokir pelatihan juga memblokir pencarian AI. Hanya 11,2% yang menolak pelatihan tetapi tetap mengizinkan semua crawler pencarian AI.

Pada November kami membaca robots.txt dari 1.000 domain terpopuler. Kali ini kami membaca 10.000 domain dengan metode yang sama, dan menambahkan pengecekan tentang bagaimana gambarannya berubah pada situs yang lebih kecil. Kesimpulan utamanya tetap sama: memblokir pelatihan dan memblokir pencarian diperlakukan sebagai satu keputusan, padahal keduanya berbeda.

Di halaman ini
  1. Bagaimana kami mengukurnya?
  2. Apa yang kami temukan?
  3. Crawler mana yang paling sering diblokir?
  4. Apakah situs yang lebih besar lebih banyak memblokir?
  5. Apakah ada yang berubah sejak laporan 12 November kami?
  6. Apa artinya bagi robots.txt Anda?
  7. Seberapa andal angka-angka ini?

Bagaimana kami mengukurnya?

Kami mengambil 10.000 domain teratas dari daftar Tranco (ID daftar JZWZY) dan mengambil halaman beranda, robots.txt, dan llms.txt setiap domain satu kali pada 21 November 2026, dengan user agent milik AISeeWhy sendiri. Kami menilai setiap robots.txt menurut RFC 9309 untuk halaman beranda (/) dan untuk 16 crawler AI dan mesin pencari.

Sebanyak 6.192 dari 10.000 domain menyajikan robots.txt (respons berhasil yang bukan halaman HTML). Sebanyak 1.121 menjawab dengan 4xx, yang berarti tidak ada aturan dan semua crawler diizinkan, dan 2.687 tidak menyajikannya (tanpa situs HTTPS, error, timeout, atau halaman HTML sebagai gantinya). Semua persentase di bawah ini dihitung dari 6.192. Daftar ini mencakup CDN dan API yang tidak melayani situs web.

Apa yang kami temukan?

Crawler mana yang paling sering diblokir?

Persentase dari 6.192 domain yang robots.txt-nya melarang crawler tersebut mengakses halaman beranda:

Apakah situs yang lebih besar lebih banyak memblokir?

Ya, dan mereka lebih sering mencampuradukkan pelatihan dan pencarian. Kami membagi daftar berdasarkan peringkat:

Jalur selektif jarang ditemukan di semua ukuran: 10,5%, 10,4%, dan 11,5% dari domain di ketiga kelompok.

Apakah ada yang berubah sejak laporan 12 November kami?

Kami menjalankan ulang 1.000 domain pertama dengan daftar yang sama. Hasilnya stabil dalam kisaran sekitar satu poin: 28,6% memblokir pelatihan (29,9% pada 12 November), 18,6% memblokir pencarian AI (19,5%), dan 63,1% dari pemblokir pelatihan juga memblokir pencarian AI (63,2%). Penyebutnya sedikit berbeda (kini 560 domain dengan robots.txt, sebelumnya 518) karena proses kali ini mengikuti pengalihan domain ke host utamanya sebelum mengambil data.

Apa artinya bagi robots.txt Anda?

Sebagian besar perusahaan AI mendokumentasikan crawler terpisah untuk pelatihan dan untuk pencarian, dan menyatakan bahwa pengaturannya independen. Melarang GPTBot tidak memengaruhi OAI-SearchBot, dan melarang ClaudeBot tidak memengaruhi Claude-SearchBot. Jika Anda ingin menolak pelatihan tetapi tetap dikutip, blokir token pelatihan dan izinkan token pencarian dan pengguna, lalu ulangi setiap path privat di setiap grup, karena grup bernama tidak mewarisi aturan dari *.

Seberapa andal angka-angka ini?

Angka ini adalah aturan robots.txt untuk halaman beranda, dibaca oleh satu parser pada satu hari. Angka ini tidak mengukur pemblokiran firewall, yang bisa menolak crawler yang diizinkan oleh robots.txt. Angka ini tidak dapat menunjukkan maksud setiap situs, dan daftar Tranco mencakup domain yang tidak melayani situs web. Aturan yang memblokir crawler pencarian bukan bukti kesalahan, hanya pilihan yang sering dibuat tanpa mengetahui perbedaannya. Anda boleh mengutip angka-angka ini dengan tautan ke halaman ini.

Alat gratis

Langkah berikutnya

Crawler dalam artikel ini

Pertanyaan yang sering diajukan

Berapa persen situs populer yang memblokir crawler AI?

Di antara 6.192 domain dalam Tranco top 10.000 yang menyajikan robots.txt, 23,2% memblokir setidaknya satu crawler pelatihan AI dan 12,3% memblokir setidaknya satu crawler pencarian atau pengguna AI.

Apakah situs yang memblokir pelatihan AI juga memblokir pencarian AI?

Sering. Sebanyak 51,6% situs yang memblokir crawler pelatihan juga memblokir setidaknya satu crawler pencarian atau pengguna AI, padahal para vendor mendokumentasikannya sebagai crawler terpisah dengan pengaturan independen.

Crawler AI mana yang paling sering diblokir?

Di antara crawler pelatihan, Bytespider (18,7%) dan CCBot (18,5%), lalu GPTBot (17,4%). Di antara crawler pencarian AI, PerplexityBot paling sering diblokir, pada 10,4% domain.

Mengapa angkanya berbeda dari laporan 1.000 situs Anda?

1.000 domain pertama menghasilkan persentase yang hampir sama (28,6% dan 18,6% dibandingkan 29,9% dan 19,5%). Angka untuk 10.000 situs lebih rendah karena situs yang lebih kecil lebih sedikit memblokir.

Sumber

Artikel lainnya