Apakah Claude bisa melihat situs saya? Cara memeriksanya
Claude hanya bisa membaca halaman Anda jika robots.txt mengizinkan agen Anthropic dan server Anda mengirimkan HTML yang sama dengan yang diterima browser. Pastikan robots.txt tidak melarang Claude-SearchBot atau Claude-User, firewall tidak membalas mereka dengan 403 atau halaman tantangan, dan teks utama sudah ada di HTML awal. Lalu uji Claude sendiri: tempel URL Anda ke chat dan ajukan pertanyaan calon pembeli Anda dengan pencarian web aktif.
Jika Anda bertanya kepada Claude tentang produk Anda dan ia malah mengutip situs lain, pertanyaan pertama adalah apakah ia bisa menjangkau situs Anda sama sekali. Pertanyaan ini bisa diuji. Anthropic memublikasikan token robots.txt agen-agennya dan alamat IP asal mereka, dan Claude menampilkan sumber yang ia gunakan. Jadi Anda bisa memeriksa setiap langkah secara berurutan: apa kata robots.txt Anda, apa yang dikirim server Anda, apa yang dicatat log Anda, dan apa yang dilakukan Claude dengan halaman yang Anda berikan.
Di halaman ini
- Cek 5 menit, langkah demi langkah
- Bagaimana Claude membaca situs web?
- Bagaimana cara memeriksa lewat robots.txt apakah Claude bisa mengakses situs saya?
- Bagaimana cara menguji apa yang diterima agen Claude dari server saya?
- Bagaimana cara melihat apakah Claude benar-benar mengunjungi situs saya?
- Bagaimana cara menguji Claude langsung dengan halaman saya?
- Bagaimana jika Claude bisa membaca halaman saya tetapi tetap tidak mengutipnya?
- Bagaimana AISeeWhy memeriksa hal ini?
Cek 5 menit, langkah demi langkah
- Buka robots.txt Anda dan pastikan tidak ada grup untuk
Claude-SearchBot,Claude-UseratauUser-agent: *yang melarang halaman itu.ClaudeBothanya berpengaruh untuk pelatihan. - Jalankan pemeriksaan gratis halaman itu di AISeeWhy atau kirim satu permintaan dengan user agent
Claude-User: permintaan itu harus mendapat status 200 dan teks yang sama dengan yang didapat browser. - Cari
Claude-SearchBotdanClaude-Userdi access log Anda dan lihat kode status yang mereka terima. - Tempelkan URL Anda ke Claude dengan pencarian web aktif, minta Claude merangkum halaman itu, lalu ajukan pertanyaan yang diajukan pembeli Anda dan periksa kutipannya.
Jika langkah 1 atau 2 gagal, perbaiki akses dulu; bagian di bawah menunjukkan caranya. Jika Claude membaca halaman tetapi tidak mengutipnya, perbaiki kontennya.
Bagaimana Claude membaca situs web?
Claude menjangkau web dengan dua cara. Dengan pencarian web, ia melakukan pencarian ketika pertanyaan membutuhkan informasi terkini, meninjau beberapa sumber, lalu menjawab dengan kutipan. Pusat bantuan Anthropic menyatakan bahwa setiap jawaban yang memakai pencarian web menyertakan kutipan. Ketika seseorang memberi Claude tautan tertentu, Claude bisa membuka halaman itu secara langsung.
Anthropic mendokumentasikan tiga agen untuk ini, masing-masing dengan token robots.txt sendiri. Claude-SearchBot melakukan crawling untuk meningkatkan hasil pencarian Claude, Claude-User mengambil halaman ketika pertanyaan pengguna membutuhkannya, dan ClaudeBot mengumpulkan konten yang mungkin dipakai untuk pelatihan. Panduan kami tentang tiga crawler Anthropic menjelaskan tugas masing-masing secara rinci. Agar dibaca dan dikutip, dua yang pertamalah yang perlu diperiksa.
Satu batasan yang perlu diakui: Anthropic tidak mendokumentasikan indeks pencarian mana yang dipakai pencarian web Claude atau bagaimana ia memilih sumber. Anthropic menyatakan bahwa memblokir Claude-SearchBot bisa mengurangi visibilitas Anda di hasil pencarian, dan memblokir Claude-User mencegah pengambilan halaman untuk pertanyaan pengguna. Mengizinkan keduanya membuat kutipan menjadi mungkin, tetapi tidak menjaminnya.
Bagaimana cara memeriksa lewat robots.txt apakah Claude bisa mengakses situs saya?
Buka https://yourdomain.com/robots.txt dan cari grup yang menyebut Claude-SearchBot atau Claude-User. Jika keduanya tidak disebut, keduanya mengikuti grup User-agent: *. Menurut RFC 9309, pencocokan token tidak membedakan huruf besar dan kecil, dan Disallow: / di grup yang berlaku menutup seluruh situs bagi agen tersebut.
Periksa juga responsnya sendiri. robots.txt yang mengembalikan error server memberi tahu crawler untuk menganggap semuanya dilarang. 404 berarti tidak ada aturan. Dua perintah ini menampilkan status dan setiap grup di file:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic menyatakan aturan harus ada di robots.txt pada tingkat teratas setiap subdomain, jadi blog.example.com memerlukan file sendiri. Pemblokiran seperti ini tidak jarang. Dalam studi kami atas 1.000 domain terpopuler, 67 dari 518 situs yang menyajikan robots.txt (12,9%) melarang halaman beranda untuk Claude-SearchBot dan 68 (13,1%) untuk Claude-User, sementara 110 (21,2%) melakukannya untuk crawler pelatihan ClaudeBot.
Bagaimana cara menguji apa yang diterima agen Claude dari server saya?
robots.txt adalah permintaan, bukan kontrol akses. Firewall, CDN, atau perlindungan bot bisa membalas agen Anthropic dengan 403, 429, atau halaman tantangan, sementara browser Anda sendiri melihat halaman seperti biasa. Anthropic menyatakan bot-botnya tidak akan mencoba melewati CAPTCHA, jadi halaman tantangan mengakhiri kunjungan.
Minta URL yang sama dengan user agent browser dan dengan setiap token Anthropic, lalu bandingkan status dan ukurannya:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Halaman bantuan Anthropic menyebut token-tokennya tetapi tidak memublikasikan string user agent lengkap, jadi ini adalah string uji, bukan string asli Anthropic. String ini menunjukkan bagaimana aturan yang mencocokkan nama memperlakukan permintaan. 403, 429, atau 503 hanya untuk baris Claude, atau 200 yang jauh lebih kecil daripada milik browser, menunjuk ke firewall Anda.
Pengujian Anda berasal dari alamat IP Anda sendiri. Anthropic menyatakan permintaan dari alamat dalam daftarnya di claude.com/crawling/bots.json berasal dari Anthropic. Jika firewall Anda mengizinkan crawler terverifikasi berdasarkan IP, agen asli bisa lolos sementara pengujian Anda diblokir, dan kebalikannya juga mungkin. Gunakan daftar itu untuk mengizinkan Anthropic, bukan untuk memblokirnya: Anthropic tidak menyarankan pemblokiran IP karena hal itu juga menghentikan bot-botnya membaca robots.txt Anda.
Bagaimana cara melihat apakah Claude benar-benar mengunjungi situs saya?
Log akses Anda menjawab ini secara langsung. Cari ketiga token di sana, lalu pastikan alamat sumbernya berada dalam rentang yang dipublikasikan Anthropic, karena siapa pun bisa menyalin nama user agent:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Perintah pertama mengasumsikan format log combined yang umum, dengan kolom 1 berisi alamat klien dan kolom 9 berisi kode status. Banyak kode 403 atau 429 di samping agen Anthropic memastikan adanya masalah firewall. Tidak adanya kunjungan sama sekali dari Claude-SearchBot hanya berarti ia belum meng-crawl halaman tersebut, atau ada sesuatu yang menghentikannya lebih awal.
Bagaimana cara menguji Claude langsung dengan halaman saya?
Buka chat dan tempel URL salah satu halaman Anda dengan permintaan seperti "Ringkas halaman ini". Pusat bantuan Anthropic menyatakan bahwa dengan pencarian web aktif, Claude bisa membuka tautan yang Anda berikan. Jika pencarian web nonaktif, aktifkan dari menu +; di pengalaman Claude yang lebih baru dari Anthropic tidak ada sakelar, dan Claude melakukan pencarian saat itu membantu. Pada paket Team dan Enterprise, pemilik harus terlebih dulu mengaktifkan pencarian web untuk organisasi. Jika Claude tidak bisa membuka halaman Anda sementara browser bisa, kembali ke uji firewall.
Lalu ajukan pertanyaan yang biasa ditanyakan calon pembeli Anda, tanpa menyebut situs Anda, dan buka sumber yang dikutip. Anthropic menyatakan Claude bisa memakai lokasi yang diperkirakan dari alamat IP Anda untuk hasil yang dilokalkan, jadi jawaban bisa berbeda menurut tempat dan antar-percobaan.
Developer bisa mengulanginya lewat Claude API. Alat pencarian web menerima daftar allowed_domains, jadi permintaan yang dibatasi ke domain Anda menunjukkan apakah pencarian Claude mengembalikan halaman Anda untuk sebuah pertanyaan:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Hasil pencarian kosong berarti pencarian Claude tidak menemukan apa pun di domain itu untuk pertanyaan tersebut. Anthropic mengenakan biaya untuk pencarian web lewat API selain biaya token. Alat web fetch di API juga melaporkan mengapa halaman tidak bisa dibaca: url_not_allowed mencakup pemblokiran seperti robots.txt, dan url_not_accessible berarti error HTTP. Jawaban API bisa berbeda dari yang ditampilkan aplikasi Claude.
Bagaimana jika Claude bisa membaca halaman saya tetapi tetap tidak mengutipnya?
Pertama, pastikan teks yang dibutuhkan ada di HTML yang dikirim server Anda. Dokumentasi API Anthropic menyatakan alat web fetch-nya tidak mendukung situs yang dirender dengan JavaScript, dan Anthropic tidak menyatakan bahwa crawler-nya menjalankan skrip. Ambil halaman Anda dengan curl dan cari satu kalimat dari konten utama Anda di output. Jika tidak ada, server-side rendering atau prerendering memperbaikinya untuk Claude dan sebagian besar crawler AI lainnya.
Setelah itu, halamannya sendiri yang menentukan. Letakkan jawaban atas pertanyaan utama halaman di kalimat-kalimat pertama, gunakan judul bagian yang sesuai dengan pertanyaan orang, sebutkan penerbitnya, dan tampilkan tanggal. Lalu bandingkan halaman Anda dengan halaman yang dikutip Claude untuk pertanyaan yang sama: halaman yang dikutip sering menjawab pertanyaan itu dengan lebih langsung.
Bagaimana AISeeWhy memeriksa hal ini?
Pemeriksaan gratis AISeeWhy mengambil halaman Anda sebagai Claude-SearchBot, Claude-User, ClaudeBot, serta crawler AI dan crawler pencarian lainnya, berdampingan dengan browser sungguhan, menerapkan robots.txt Anda untuk masing-masing, mengenali halaman tantangan, dan menunjukkan seberapa banyak teks yang sampai tanpa JavaScript. Pemeriksaan visibilitas di AI, di uji coba dan paket berbayar, mengajukan pertanyaan Anda lewat Claude dengan pencarian web memakai kunci API Anda sendiri dan menunjukkan apakah brand atau domain Anda disebut atau dikutip.
Langkah berikutnya
- robots.txt tester dan pemeriksa untuk crawler AI
- Pemeriksa IP crawler AI
- Lihat contoh laporan lengkap
- Pemantauan crawler AI
- Paket dan harga
Crawler dalam artikel ini
Pertanyaan yang sering diajukan
Bisakah saya memeriksa secara gratis apakah Claude bisa melihat situs saya?
Bisa. robots.txt Anda, permintaan curl, log server, dan pertanyaan di Claude tidak memakan biaya. Pemeriksaan gratis AISeeWhy menguji agen Anthropic dan 13 crawler lain untuk satu halaman per hari tanpa akun.
Mengapa Claude tidak bisa membuka situs saya saat saya menempelkan tautannya?
Penyebab yang umum adalah firewall atau perlindungan bot yang membalas agen Anthropic dengan 403 atau halaman tantangan, aturan robots.txt yang melarang Claude-User, atau halaman yang teksnya baru muncul setelah JavaScript berjalan. Uji URL dengan curl sebagai browser dan dengan token Claude, lalu periksa log Anda untuk permintaan yang diblokir.
Apakah Anthropic memublikasikan string user agent yang bisa saya pakai untuk menguji?
Halaman bantuan crawler Anthropic mencantumkan token ClaudeBot, Claude-SearchBot, dan Claude-User, tetapi tidak menyertakan string user agent lengkap. Untuk membedakan trafik Anthropic yang asli dari peniru, bandingkan IP sumber dengan daftar di claude.com/crawling/bots.json.
Berapa lama perubahan robots.txt sampai ke Claude?
Anthropic tidak menyebutkan waktunya. RFC 9309 menyatakan crawler sebaiknya tidak memakai robots.txt dari cache lebih dari 24 jam, jadi beri waktu setidaknya satu hari sebelum menilai hasilnya di log atau di jawaban Claude.
Apakah Claude API memberi jawaban yang sama dengan aplikasi Claude?
Belum tentu. Aplikasi bisa memakai perkiraan lokasi Anda dan pengaturannya sendiri, sedangkan permintaan API memakai alat dan parameter yang Anda kirim. Perlakukan hasil API sebagai tes yang bisa diulang, bukan salinan dari apa yang dilihat setiap pengguna.
Bagaimana cara mengetahui apakah Claude menyebut brand saya?
Ajukan kepada Claude, dengan pencarian web aktif, pertanyaan yang biasa ditanyakan calon pembeli Anda, lalu catat apakah ia menyebut atau mengutip situs Anda dan pesaing mana yang muncul sebagai gantinya. Ulangi setiap pertanyaan selama beberapa minggu, karena jawabannya berubah-ubah. Pemeriksaan visibilitas di AI dari AISeeWhy melakukannya setiap minggu lewat Claude API dengan kunci Anda, berdampingan dengan hingga empat pesaing.
Sumber
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: daftar alamat IP crawler (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: Laporan Akses Crawler AI, 2026-11