Cara memeriksa apakah situs memblokir crawler AI
Tempel alamat apa pun dan lihat apakah situs itu memblokir GPTBot, ClaudeBot, PerplexityBot, dan crawler AI lainnya: di robots.txt, di firewall, atau di keduanya.
Gratis · Tanpa perlu mendaftar · Hasil dalam 30 detik
Crawler mana yang diblokir
Crawler pelatihan, pencarian, dan pengguna ditampilkan terpisah, karena memblokir GPTBot tidak memblokir OAI-SearchBot, dan memblokir ClaudeBot tidak memblokir Claude-SearchBot.
Baris yang menentukan
Untuk setiap crawler, robots.txt dibaca menurut aturan RFC 9309: grup yang menyebut namanya, atau User-agent: * sebagai cadangan, dan aturan yang berlaku.
Penolakan oleh firewall
Halaman diminta sebagai 14 crawler dan sebagai browser biasa. Pemblokiran dan halaman tantangan ditandai, dan firewall yang menjawab disebutkan namanya.
Solusi untuk setiap temuan
Setiap temuan disertai perubahan yang perlu dilakukan. Pemeriksaan gratis menampilkan skor dan temuan pertama; laporan lengkap $29, sekali bayar.
Situs bisa memblokir crawler AI di dua tempat: robots.txt, yang meminta crawler menjauh, dan server atau firewall, yang benar-benar menolaknya. Baca robots.txt untuk token setiap crawler, dengan grup User-agent: * sebagai cadangan, lalu ambil halaman sebagai crawler tersebut dan bandingkan dengan browser. Ekstensi browser mengerjakan bagian robots.txt untuk 16 crawler AI dalam sekali klik.
Periksa manual dalam 3 langkah
- Pilih crawlernya
Setiap perusahaan AI menjalankan crawler yang berbeda. Pelatihan:
GPTBot,ClaudeBot. Pencarian:OAI-SearchBot,Claude-SearchBot,PerplexityBot. Atas permintaan pengguna:ChatGPT-User,Claude-User,Perplexity-User. - Baca robots.txt untuk crawler itu
Buka
https://example.com/robots.txtdan cari grup yang menyebut nama crawler tersebut. Jika tidak ada, grupUser-agent: *berlaku; jika keduanya tidak ada, semuanya diizinkan. - Ambil halaman sebagai crawler
Minta halaman dengan user agent crawler, lalu bandingkan status dan ukurannya dengan yang diterima browser. 403, halaman tantangan, atau 200 yang jauh lebih kecil berarti firewall menolaknya.
Pertanyaan yang sering diajukan
Apakah situs tanpa robots.txt terbuka bagi crawler AI?
Ya, sejauh menyangkut robots.txt. robots.txt yang mengembalikan 404 berarti tidak ada aturan, jadi setiap crawler boleh mengambil setiap halaman. Firewall tetap bisa memblokir crawler.
Apakah ekstensi menampilkan blokir oleh firewall?
Tidak. Ekstensi membaca robots.txt dari browser Anda, yang menunjukkan apa yang diminta situs dari crawler. Blokir oleh firewall dan perlindungan bot memerlukan permintaan yang dikirim sebagai crawler, dan itu dilakukan oleh pemeriksaan lengkap di aiseewhy.com.
Bisakah saya memeriksa situs yang bukan milik saya?
Bisa. robots.txt bersifat publik, dan ekstensi hanya membaca file robots.txt dan llms.txt yang dipublikasikan situs, file yang sama yang dibaca setiap crawler.
Baca panduan lengkapnya
Entah Anda memeriksa situs sendiri setelah ada perubahan atau melihat situs orang lain sebelum mengandalkannya, pertanyaan "apakah situs ini memblokir crawler AI?" punya jawaban yang pasti. Jawabannya bergantung pada crawler mana yang Anda maksud, karena perusahaan AI menjalankan crawler terpisah untuk pelatihan, pencarian, dan kunjungan langsung, dan situs bisa memperlakukan masing-masing secara berbeda. Panduan ini menunjukkan tiga pemeriksaan, dari yang tercepat hingga yang paling lengkap.
Di mana situs bisa memblokir crawler AI?
Ada tiga lapisan, dan crawler harus melewati semuanya untuk memakai sebuah halaman.
- robots.txt: file aturan publik yang dibaca crawler yang patuh sebelum mengambil apa pun. Ini permintaan, bukan kunci.
- Server, CDN, atau firewall: menentukan apa yang benar-benar dikirim kembali. Aturan perlindungan bot bisa menjawab crawler dengan 403, 429, atau halaman tantangan meskipun robots.txt mengizinkannya.
- Halaman itu sendiri: jika teks utama baru muncul setelah JavaScript berjalan, crawler yang membaca HTML awal mendapat halaman yang hampir kosong, padahal tidak ada yang memblokirnya.
Sebagian besar pemeriksaan cepat hanya melihat lapisan pertama. Itu awal yang baik, asalkan Anda ingat dua lapisan lainnya.
Bagaimana membaca robots.txt untuk satu crawler AI?
Buka https://example.com/robots.txt di browser dan cari grup yang berlaku untuk crawler tersebut. Grup diawali satu atau beberapa baris User-agent. Crawler memakai grup yang menyebut tokennya, misalnya GPTBot; pencocokan tidak membedakan huruf besar-kecil. Jika tidak ada grup yang menyebutnya, crawler memakai grup User-agent: *. Jika keduanya tidak ada, semuanya diizinkan.
Di dalam grup, aturan dengan path cocok terpanjang yang menang, dan jika Allow dan Disallow sama panjang, Allow yang menang. Jadi file di bawah ini memblokir GPTBot dari seluruh situs tetapi mengizinkan semua crawler lain masuk:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Perhatikan juga cara file itu merespons. Menurut RFC 9309, 404 berarti tidak ada aturan, jadi semuanya diizinkan. Error server (5xx) atau tidak ada jawaban sama sekali berarti crawler harus menganggap seluruh situs dilarang. Alamat robots.txt yang mengembalikan halaman HTML adalah kesalahan umum: crawler tidak menemukan aturan yang valid di dalamnya.
Bagaimana memeriksa semua crawler AI sekaligus?
Membaca file secara manual jadi lambat begitu Anda peduli pada lebih dari satu crawler. Setiap perusahaan AI menjalankan beberapa crawler dengan tugas berbeda:
- Crawler pelatihan mengumpulkan konten untuk melatih model:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, serta tokenGoogle-ExtendeddanApplebot-Extended, yang hanya muncul di robots.txt. - Crawler pencarian mengindeks halaman agar jawaban AI bisa mengutipnya:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Crawler pengguna mengambil halaman ketika seseorang memintanya kepada asisten AI:
ChatGPT-User,Claude-User,Perplexity-User.
Ekstensi gratis Pemeriksa crawler AI untuk Chrome melakukan ini dalam sekali klik. Buka halaman mana pun, klik ikonnya, dan ekstensi akan membaca robots.txt situs itu lalu menunjukkan, untuk masing-masing dari 16 crawler, apakah halaman diizinkan dan baris mana yang menentukannya. Ekstensi juga menampilkan preferensi Content-Signal, apakah situs punya llms.txt, dan sitemap yang tercantum di robots.txt. Ekstensi berjalan di browser Anda, tidak perlu akun, dan hanya membaca situs tempat Anda mengkliknya.
Tanpa Chrome, pemeriksa robots.txt gratis di aiseewhy.com memberi jawaban yang sama untuk URL yang Anda tempel.
Bagaimana memeriksa apakah firewall meloloskan mereka?
robots.txt menunjukkan apa yang diminta situs. Untuk melihat apa yang benar-benar diterima crawler, minta halaman dua kali, sekali sebagai browser dan sekali dengan user agent crawler, lalu bandingkan kode status dan ukuran responsnya:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Jika browser mendapat 200 sementara crawler mendapat 403, 429, atau 503, atau halaman yang jauh lebih kecil, firewall atau perlindungan bot memperlakukan crawler secara berbeda. Setiap uji dari luar punya satu batasan: permintaannya datang dari jaringan Anda, bukan dari jaringan perusahaan AI. Firewall yang memercayai crawler berdasarkan alamat IP yang dipublikasikan bisa memperlakukan crawler asli secara berbeda, jadi log server Anda yang menjadi penentu akhir.
Pemeriksaan lengkap di aiseewhy.com mengambil halaman sebagai ke-16 crawler berdampingan dengan browser sungguhan, menyebutkan firewall atau aturan yang memblokir crawler, dan membandingkan teks yang diterima masing-masing.
Hasil apa yang sebaiknya dituju?
Tergantung tujuan Anda. Jika ingin dikutip di pencarian ChatGPT, Claude, dan Perplexity, crawler pencarian dan crawler pengguna harus diizinkan di robots.txt dan harus mendapat halaman asli dari server. Jika tidak ingin konten Anda dipakai untuk pelatihan, blokir token pelatihan saja. Ini pilihan yang terpisah: memblokir GPTBot tidak memblokir OAI-SearchBot, dan memblokir ClaudeBot tidak memblokir Claude-SearchBot.
Banyak situs mencampuradukkannya. Dalam laporan November 2026 kami tentang 1.000 domain terpopuler, 63% situs yang memblokir crawler pelatihan juga memblokir setidaknya satu crawler pencarian atau crawler pengguna AI, sehingga halaman mereka tidak muncul di jawaban AI tersebut.
Langkah berikutnya
- robots.txt tester dan pemeriksa untuk crawler AI
- Pemeriksa dan validator llms.txt
- Lihat contoh laporan lengkap
- Pemantauan crawler AI
- Paket dan harga
Crawler dalam artikel ini
Sumber
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Ikhtisar crawler OpenAI
- Anthropic: Apakah Anthropic merayapi data dari web, dan bagaimana pemilik situs bisa memblokir crawler-nya?
- Perplexity: Crawler Perplexity
- Google: Crawler umum, termasuk Google-Extended
- AISeeWhy: Laporan Akses Crawler AI, 2026-11