Empat daripada sepuluh laman web perniagaan menolak crawler AI
Dalam audit kami terhadap 165 laman web perniagaan di AS, UK dan Perancis, 38% menolak sekurang-kurangnya satu crawler AI di pelayan, hampir selalu bot latihan atau pengikis. Kira-kira satu daripada sepuluh laman turut menolak crawler carian AI seperti PerplexityBot atau OAI-SearchBot, iaitu crawler yang boleh membawa kepada rujukan. Semak laman anda dengan satu permintaan bagi setiap crawler.
Anda bertanya ChatGPT tentang produk anda sendiri dan ia menamakan pesaing, laman ulasan dan satu utas forum. Kadang-kadang itu soal kandungan. Selalunya ia ialah tembok api yang menjawab crawler AI dengan penolakan, yang tiada sesiapa dalam pasukan anda pernah lihat kerana laman itu berfungsi dalam pelayar.
Dalam halaman ini
Apa yang kami uji?
Kami meminta sesebuah halaman beberapa kali dari alamat yang sama: sekali sebagai pelayar biasa, dan sekali bagi setiap satu daripada 14 crawler AI dan carian, termasuk GPTBot, OAI-SearchBot dan ChatGPT-User daripada OpenAI, ClaudeBot dan Claude-SearchBot daripada Anthropic serta PerplexityBot daripada Perplexity. Jika pelayar mendapat halaman dan crawler mendapat 401, 403, 406, 429, 451, 503 atau halaman cabaran, laman itu menolak crawler tersebut.
Sampelnya ialah 218 laman web perniagaan di AS, UK dan Perancis, diaudit dari 18 hingga 21 November 2026. Kami dapat menjalankan ujian penuh pada 165. Baki 53 menolak permintaan pelayar biasa kami atau tidak menjawab, jadi kami mengecualikannya dan tidak membuat andaian.
Apa yang kami temui?
- 38% laman yang boleh diuji (63 daripada 165) menolak sekurang-kurangnya satu crawler AI.
- Setiap satu daripada laman itu menolak sekurang-kurangnya satu crawler latihan atau pengikis.
Bytespiderditolak oleh 35% daripada semua laman,ClaudeBotoleh 13% danGPTBotoleh 11%. - 10% laman (16) turut menolak sekurang-kurangnya satu crawler carian AI, dan 5% (8) menolak crawler yang membuka halaman secara langsung apabila seseorang bertanya pembantu AI tentangnya.
- Crawler carian yang paling penting ialah
PerplexityBot(11 laman) danOAI-SearchBot(5 laman). - Cloudflare berada di belakang 32 daripada 66 laman yang menolak mana-mana crawler yang kami uji. Bagi 30 lagi, kami tidak dapat memastikan tembok api mana yang menjawab.
Mengapa ini berlaku, dan bilakah ia satu pilihan?
Banyak daripada ini mungkin disengajakan. Ramai pemilik tidak mahu kandungan mereka digunakan untuk melatih model, dan tetapan perlindungan bot yang menyekat pengikis mudah dihidupkan. Itu pilihan yang wajar.
Masalahnya, syarikat AI menjalankan crawler berasingan untuk latihan dan untuk carian. Menyekat crawler latihan tidak memerlukan crawler carian disekat, dan crawler carianlah yang boleh membawa kepada halaman anda dirujuk dalam jawapan.
Adakah laman terbesar lebih baik?
Tidak juga. Dalam laporan robots.txt kami terhadap 1,000 domain paling popular, 29.9% laman yang mempunyai robots.txt menyekat sekurang-kurangnya satu crawler latihan AI, dan 63.2% daripadanya turut menyekat sekurang-kurangnya satu crawler carian atau pengguna AI. Hanya 11.0% menyekat latihan sambil membenarkan setiap crawler carian AI, iaitu persediaan yang mungkin dikehendaki kebanyakan mereka.
Bagaimana saya menyemak laman sendiri dalam sepuluh minit?
- Buka
yoursite.com/robots.txt. Bagi setiap crawler AI yang anda pentingkan, lihat sama ada ada kumpulan yang menamakannya dan apa yang dinyatakan kumpulan itu. Kumpulan yang menamakan sesebuah crawler menggantikan kumpulan umum*sepenuhnya. - Uji apa yang dilakukan pelayan, bukan apa yang dinyatakan fail. Minta halaman utama anda sebagai pelayar dan sebagai crawler. 403, 429, halaman bertajuk
Just a moment...atau respons yang jauh lebih kecil daripada respons pelayar ialah tanda sekatan tembok api. - Tanya pembantu AI. Dengan carian dihidupkan, tanyakan ChatGPT atau Perplexity soalan yang ditanya pembeli anda dan lihat laman mana yang dirujuknya. Jika akses baik tetapi anda masih tiada, masalahnya ialah kandungan, bukan akses.
Setakat mana boleh dipercayai angka ini?
Anggaplah ia corak, bukan banci. Sampelnya bukan rawak: syarikat-syarikat ini ditemui melalui pustaka iklan, papan pekerjaan dan senarai peta. Kami menguji mengikut user agent dari satu alamat, sedangkan crawler sebenar datang dari alamat yang diterbitkan oleh vendornya, jadi sesetengah tembok api akan melayan crawler sebenar dengan cara berbeza. Dan sekatan tidak selalunya satu kesilapan.
Langkah seterusnya
- Penguji dan penyemak robots.txt untuk perangkak AI
- Lihat contoh laporan penuh
- Pemantauan perangkak AI
- Pelan dan harga
Perangkak dalam artikel ini
Soalan lazim
Berapa peratus laman web yang menyekat crawler AI?
Dalam audit kami terhadap 165 laman web perniagaan yang boleh diuji, 38% menolak sekurang-kurangnya satu crawler AI di pelayan, kebanyakannya bot latihan dan pengikis. Kira-kira 10% turut menolak crawler carian AI.
Adakah menyekat GPTBot menghalang laman saya daripada carian ChatGPT?
Tidak. OpenAI menyatakan setiap tetapan robots.txt untuk crawlernya adalah bebas: GPTBot berkaitan latihan, OAI-SearchBot berkaitan carian ChatGPT. Menyekat satu tidak menyekat yang lain.
Bagaimana sesebuah laman boleh menyekat crawler tanpa robots.txt?
Tembok api, CDN atau peraturan perlindungan bot boleh menjawab crawler dengan 403, 429 atau halaman cabaran. robots.txt tidak pernah menunjukkan ini, jadi ia mesti diuji dengan meminta halaman sebagai crawler.
Adakah menolak crawler sentiasa satu kesilapan?
Tidak. Ramai pemilik mahu mengelakkan crawler latihan dan pengikis. Kesilapannya ialah menyekat crawler carian secara tidak sengaja, kerana merekalah yang boleh merujuk halaman anda.
Sumber
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)