Empat dari sepuluh situs bisnis menolak crawler AI
Dalam audit kami terhadap 165 situs bisnis di AS, Inggris, dan Prancis, 38% menolak setidaknya satu crawler AI di sisi server, hampir selalu bot pelatihan atau scraper. Sekitar satu dari sepuluh situs juga menolak crawler pencarian AI seperti PerplexityBot atau OAI-SearchBot, yaitu crawler yang bisa menghasilkan sitasi. Periksa situs Anda dengan satu permintaan per crawler.
Anda bertanya kepada ChatGPT tentang produk Anda sendiri, lalu ia menyebut pesaing, situs ulasan, dan satu utas forum. Kadang itu soal konten. Sering kali penyebabnya firewall yang menjawab crawler AI dengan penolakan, dan tidak ada orang di tim Anda yang melihatnya karena situs tetap berfungsi di browser.
Di halaman ini
Apa yang kami uji?
Kami meminta sebuah halaman beberapa kali dari alamat yang sama: sekali sebagai browser biasa, lalu sekali untuk setiap dari 14 crawler AI dan mesin pencari, termasuk GPTBot, OAI-SearchBot, dan ChatGPT-User dari OpenAI, ClaudeBot dan Claude-SearchBot dari Anthropic, serta PerplexityBot dari Perplexity. Jika browser mendapat halaman, sedangkan crawler mendapat 401, 403, 406, 429, 451, 503, atau halaman tantangan, berarti situs tersebut menolak crawler itu.
Sampelnya adalah 218 situs bisnis di AS, Inggris, dan Prancis, diaudit pada 18 sampai 21 November 2026. Kami bisa menjalankan pengujian penuh pada 165 situs. Sisanya, 53 situs, menolak permintaan browser biasa kami atau tidak merespons, jadi kami tidak menyertakannya daripada menebak.
Apa temuan kami?
- 38% situs yang dapat diuji (63 dari 165) menolak setidaknya satu crawler AI.
- Setiap situs tersebut menolak setidaknya satu crawler pelatihan atau scraper.
Bytespiderditolak oleh 35% dari seluruh situs,ClaudeBotoleh 13%, danGPTBotoleh 11%. - 10% situs (16) juga menolak setidaknya satu crawler pencarian AI, dan 5% (8) menolak crawler yang membuka halaman secara langsung saat seseorang menanyakannya kepada asisten.
- Crawler pencarian yang paling berdampak adalah
PerplexityBot(11 situs) danOAI-SearchBot(5 situs). - Cloudflare berada di balik 32 dari 66 situs yang menolak crawler mana pun yang kami uji. Untuk 30 situs lainnya, kami tidak dapat mengetahui firewall mana yang menjawab.
Mengapa ini terjadi, dan kapan ini merupakan pilihan?
Sebagian besar kemungkinan disengaja. Banyak pemilik tidak ingin konten mereka dipakai untuk melatih model, dan pengaturan perlindungan bot yang memblokir scraper mudah diaktifkan. Itu pilihan yang wajar.
Masalahnya, perusahaan AI menjalankan crawler terpisah untuk pelatihan dan untuk pencarian. Memblokir crawler pelatihan tidak mengharuskan memblokir crawler pencarian, dan crawler pencarianlah yang bisa membuat halaman Anda dikutip dalam jawaban.
Apakah situs terbesar lebih baik?
Tidak juga. Dalam laporan robots.txt kami atas 1.000 domain terpopuler, 29,9% situs yang memiliki robots.txt memblokir setidaknya satu crawler pelatihan AI, dan 63,2% dari mereka juga memblokir setidaknya satu crawler pencarian atau pengguna AI. Hanya 11,0% yang memblokir pelatihan sambil mengizinkan semua crawler pencarian AI, yaitu pengaturan yang kemungkinan besar diinginkan kebanyakan dari mereka.
Bagaimana memeriksa situs saya dalam sepuluh menit?
- Buka
yoursite.com/robots.txt. Untuk setiap crawler AI yang penting bagi Anda, lihat apakah ada grup yang menyebutnya dan apa isi grup tersebut. Grup yang menyebut sebuah crawler menggantikan grup umum*sepenuhnya. - Uji apa yang dilakukan server, bukan apa yang tertulis di file. Minta halaman utama Anda sebagai browser dan sebagai crawler. Respons 403, 429, halaman berjudul
Just a moment..., atau respons yang jauh lebih kecil daripada milik browser adalah tanda blokir firewall. - Tanyakan kepada asisten. Dengan pencarian aktif, ajukan kepada ChatGPT atau Perplexity pertanyaan yang diajukan pembeli Anda dan lihat situs mana yang dikutip. Jika akses sudah baik tetapi Anda tetap tidak muncul, masalahnya ada pada konten, bukan akses.
Seberapa andal angka-angka ini?
Anggaplah ini sebagai pola, bukan sensus. Sampelnya tidak acak: perusahaan-perusahaan ini ditemukan lewat pustaka iklan, papan lowongan kerja, dan daftar peta. Kami menguji berdasarkan user agent dari satu alamat, sedangkan crawler asli datang dari alamat yang dipublikasikan vendornya, sehingga sebagian firewall akan memperlakukan crawler asli secara berbeda. Dan blokir tidak selalu merupakan kesalahan.
Langkah berikutnya
- robots.txt tester dan pemeriksa untuk crawler AI
- Lihat contoh laporan lengkap
- Pemantauan crawler AI
- Paket dan harga
Crawler dalam artikel ini
Pertanyaan yang sering diajukan
Berapa persen situs web yang memblokir crawler AI?
Dalam audit kami terhadap 165 situs bisnis yang dapat diuji, 38% menolak setidaknya satu crawler AI di sisi server, sebagian besar bot pelatihan dan scraper. Sekitar 10% juga menolak crawler pencarian AI.
Apakah memblokir GPTBot membuat situs saya tidak muncul di pencarian ChatGPT?
Tidak. OpenAI menyatakan setiap pengaturan robots.txt untuk crawler-nya berdiri sendiri: GPTBot terkait pelatihan, OAI-SearchBot terkait pencarian ChatGPT. Memblokir yang satu tidak memblokir yang lain.
Bagaimana situs bisa memblokir crawler tanpa robots.txt?
Aturan firewall, CDN, atau perlindungan bot dapat menjawab crawler dengan 403, 429, atau halaman tantangan. robots.txt tidak pernah menunjukkan hal ini, sehingga harus diuji dengan meminta halaman sebagai crawler.
Apakah menolak crawler selalu merupakan kesalahan?
Tidak. Banyak pemilik ingin menjauhkan crawler pelatihan dan scraper. Kesalahannya adalah memblokir crawler pencarian secara tidak sengaja, karena merekalah yang bisa mengutip halaman Anda.
Sumber
- AISeeWhy: Laporan Akses Crawler AI, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Ikhtisar crawler OpenAI
- Perplexity: Crawler Perplexity
- Cloudflare: Mengelola crawler AI (AI Crawl Control)