Bolehkah Claude melihat laman web saya? Cara menyemak
Claude hanya boleh membaca halaman anda jika robots.txt anda membenarkan ejen Anthropic dan pelayan anda menghantar HTML yang sama seperti yang diterima pelayar. Pastikan robots.txt tidak melarang Claude-SearchBot atau Claude-User, firewall anda tidak membalas mereka dengan 403 atau halaman cabaran, dan teks utama ada dalam HTML awal. Kemudian uji Claude sendiri: tampal URL anda dalam sembang dan tanya soalan pembeli anda dengan carian web dihidupkan.
Jika anda bertanya Claude tentang produk anda dan ia memetik laman lain, soalan pertama ialah sama ada ia boleh sampai ke laman anda sama sekali. Soalan itu ada jawapan yang boleh diuji. Anthropic menerbitkan token robots.txt ejennya dan alamat IP asal ejen itu, dan Claude menunjukkan sumber yang digunakannya. Jadi anda boleh menyemak setiap langkah mengikut urutan: apa kata robots.txt anda, apa yang dihantar pelayan anda, apa yang direkodkan log anda, dan apa yang Claude lakukan dengan halaman apabila anda memberikannya.
Dalam halaman ini
- Semakan 5 minit, langkah demi langkah
- Bagaimanakah Claude membaca laman web?
- Bagaimanakah saya menyemak sama ada Claude boleh mengakses laman web saya melalui robots.txt?
- Bagaimanakah saya menguji apa yang diterima ejen Claude daripada pelayan saya?
- Bagaimanakah saya melihat sama ada Claude benar-benar melawat laman saya?
- Bagaimanakah saya menguji Claude sendiri dengan halaman saya?
- Bagaimana jika Claude boleh membaca halaman saya tetapi masih tidak memetiknya?
- Bagaimanakah AISeeWhy menyemak perkara ini?
Semakan 5 minit, langkah demi langkah
- Buka robots.txt anda dan pastikan tiada kumpulan untuk
Claude-SearchBot,Claude-UseratauUser-agent: *yang melarang halaman itu.ClaudeBothanya penting untuk latihan. - Jalankan semakan percuma halaman itu di AISeeWhy atau hantar satu permintaan dengan user agent
Claude-User: ia mesti mendapat status 200 dan teks yang sama seperti yang diterima pelayar. - Cari
Claude-SearchBotdanClaude-Userdalam log akses anda dan lihat kod status yang mereka terima. - Tampal URL anda ke dalam Claude dengan carian web dihidupkan, minta ia meringkaskan halaman itu, kemudian tanya soalan yang ditanya pembeli anda dan semak petikannya.
Jika langkah 1 atau 2 gagal, betulkan akses dahulu; bahagian di bawah menunjukkan caranya. Jika Claude membaca halaman tetapi tidak memetiknya, usahakan kandungannya.
Bagaimanakah Claude membaca laman web?
Claude mencapai web dengan dua cara. Dengan carian web, ia membuat carian apabila soalan memerlukan maklumat terkini, menyemak beberapa sumber dan menjawab dengan petikan. Pusat bantuan Anthropic menyatakan setiap jawapan yang menggunakan carian web disertakan petikan. Apabila seseorang memberi Claude pautan tertentu, ia boleh membuka halaman itu secara terus.
Anthropic mendokumenkan tiga ejen untuk tujuan ini, masing-masing dengan token robots.txt sendiri. Claude-SearchBot merangkak untuk menambah baik hasil carian Claude, Claude-User mengambil halaman apabila soalan pengguna memerlukannya, dan ClaudeBot mengumpul kandungan yang mungkin digunakan untuk latihan. Panduan berasingan kami tentang tiga crawler Anthropic menerangkan fungsi setiap satu dengan terperinci. Untuk dibaca dan dipetik, dua yang pertama itulah yang perlu disemak.
Satu had yang perlu diakui: Anthropic tidak mendokumenkan indeks carian mana yang digunakan carian web Claude atau cara ia memilih sumber. Ia menyatakan menyekat Claude-SearchBot mungkin mengurangkan keterlihatan anda dalam hasil carian dan menyekat Claude-User menghalang pengambilan halaman untuk soalan pengguna. Membenarkan kedua-duanya menjadikan petikan mungkin; ia tidak menjaminnya.
Bagaimanakah saya menyemak sama ada Claude boleh mengakses laman web saya melalui robots.txt?
Buka https://yourdomain.com/robots.txt dan cari kumpulan yang menamakan Claude-SearchBot atau Claude-User. Jika kedua-duanya tidak dinamakan, kedua-duanya mengikut kumpulan User-agent: *. Padanan token tidak peka huruf besar-kecil di bawah RFC 9309, dan Disallow: / dalam kumpulan yang terpakai menutup seluruh laman kepada ejen itu.
Semak juga responsnya. robots.txt yang membalas dengan ralat pelayan memberitahu crawler untuk menganggap semuanya dilarang. 404 bermakna tiada peraturan. Dua arahan menunjukkan status dan setiap kumpulan dalam fail:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic menyatakan peraturan mesti berada dalam robots.txt di aras teratas setiap subdomain, jadi blog.example.com memerlukan failnya sendiri. Sekatan seperti ini tidak jarang berlaku. Dalam kajian kami terhadap 1,000 domain paling popular, 67 daripada 518 laman yang menyediakan robots.txt (12.9%) melarang halaman utama untuk Claude-SearchBot dan 68 (13.1%) untuk Claude-User, manakala 110 (21.2%) berbuat demikian untuk crawler latihan ClaudeBot.
Bagaimanakah saya menguji apa yang diterima ejen Claude daripada pelayan saya?
robots.txt ialah permintaan, bukan kawalan akses. Firewall, CDN atau perlindungan bot boleh membalas ejen Anthropic dengan 403, 429 atau halaman cabaran sedangkan pelayar anda sendiri melihat halaman seperti biasa. Anthropic menyatakan botnya tidak akan cuba memintas CAPTCHA, jadi halaman cabaran menamatkan lawatan itu.
Minta URL yang sama dengan user agent pelayar dan dengan setiap token Anthropic, kemudian bandingkan status dan saiz:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Halaman bantuan Anthropic menamakan token tetapi tidak menerbitkan rentetan user agent penuh, jadi ini rentetan ujian, bukan rentetan sebenar Anthropic. Rentetan ini menunjukkan cara peraturan yang memadankan nama melayan permintaan itu. 403, 429 atau 503 untuk baris Claude sahaja, atau 200 yang jauh lebih kecil daripada pelayar, menunjukkan masalah pada firewall anda.
Ujian anda datang dari alamat IP anda sendiri. Anthropic menyatakan permintaan dari alamat dalam senarainya di claude.com/crawling/bots.json adalah daripada Anthropic. Jika firewall anda membenarkan crawler disahkan mengikut IP, ejen sebenar mungkin dapat masuk sedangkan ujian anda disekat, dan sebaliknya juga mungkin. Gunakan senarai itu untuk membenarkan Anthropic, bukan untuk menyekatnya: Anthropic menasihatkan supaya tidak menyekat mengikut IP kerana ia juga menghalang botnya daripada membaca robots.txt anda.
Bagaimanakah saya melihat sama ada Claude benar-benar melawat laman saya?
Log akses anda menjawab soalan ini secara langsung. Cari tiga token itu di dalamnya, kemudian semak sama ada alamat sumber berada dalam julat yang diterbitkan Anthropic, kerana sesiapa sahaja boleh meniru nama user agent:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Arahan pertama menganggap format log combined yang biasa, dengan medan 1 ialah alamat klien dan medan 9 ialah kod status. Banyak kod 403 atau 429 bersebelahan ejen Anthropic mengesahkan masalah firewall. Tiada lawatan langsung daripada Claude-SearchBot hanya bermakna ia belum merangkak halaman itu, atau sesuatu di peringkat lebih awal menghalangnya.
Bagaimanakah saya menguji Claude sendiri dengan halaman saya?
Buka sembang dan tampal URL salah satu halaman anda dengan permintaan seperti "Ringkaskan halaman ini". Pusat bantuan Anthropic menyatakan bahawa dengan carian web dihidupkan, Claude boleh membuka pautan yang anda berikan. Jika carian web dimatikan, hidupkannya daripada menu +; dalam pengalaman Claude yang lebih baharu daripada Anthropic tiada togol dan Claude membuat carian apabila ia membantu. Pada pelan Team dan Enterprise, pemilik mesti menghidupkan carian web untuk organisasi terlebih dahulu. Jika Claude tidak dapat membuka halaman anda sedangkan pelayar boleh, kembali kepada ujian firewall.
Kemudian tanya soalan yang ditanya pembeli anda, tanpa menamakan laman anda, dan buka sumber yang dipetik. Anthropic menyatakan Claude mungkin menggunakan lokasi yang dianggarkan daripada alamat IP anda untuk hasil setempat, jadi jawapan boleh berbeza mengikut tempat dan antara larian.
Pembangun boleh mengulang ujian ini melalui Claude API. Alat carian web menerima senarai allowed_domains, jadi permintaan yang dihadkan kepada domain anda menunjukkan sama ada carian Claude memulangkan mana-mana halaman anda untuk sesuatu soalan:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Hasil carian kosong bermakna carian Claude tidak menemui apa-apa di domain itu untuk soalan tersebut. Anthropic mengenakan bayaran untuk carian web API sebagai tambahan kepada token. Alat web fetch API juga melaporkan sebab halaman tidak dapat dibaca: url_not_allowed meliputi sekatan seperti robots.txt, dan url_not_accessible bermakna ralat HTTP. Jawapan API boleh berbeza daripada apa yang ditunjukkan aplikasi Claude.
Bagaimana jika Claude boleh membaca halaman saya tetapi masih tidak memetiknya?
Pastikan dahulu teks yang diperlukannya ada dalam HTML yang dihantar pelayan anda. Dokumentasi API Anthropic menyatakan alat web fetchnya tidak menyokong laman web yang dipaparkan dengan JavaScript, dan Anthropic tidak menyatakan crawlernya menjalankan skrip. Ambil halaman anda dengan curl dan cari satu ayat daripada kandungan utama dalam outputnya. Jika tiada, rendering di sisi pelayan atau prerendering membetulkannya untuk Claude dan untuk kebanyakan crawler AI lain.
Selepas itu, halaman itu sendiri yang menentukan. Letakkan jawapan kepada soalan utama halaman dalam ayat-ayat pertamanya, gunakan tajuk yang sepadan dengan soalan yang ditanya orang, namakan penerbit dan tunjukkan tarikh. Kemudian bandingkan halaman anda dengan halaman yang dipetik Claude untuk soalan yang sama: halaman yang dipetik selalunya menjawab soalan itu dengan lebih langsung.
Bagaimanakah AISeeWhy menyemak perkara ini?
Semakan percuma AISeeWhy mengambil halaman anda sebagai Claude-SearchBot, Claude-User, ClaudeBot dan crawler AI serta carian lain bersebelahan pelayar sebenar, menggunakan robots.txt anda bagi setiap satu, mengenali halaman cabaran dan menunjukkan berapa banyak teks yang tiba tanpa JavaScript. Semakan keterlihatan AI, dalam percubaan dan pelan berbayar, bertanya soalan anda melalui Claude dengan carian web menggunakan kunci API anda sendiri dan menunjukkan sama ada jenama atau domain anda disebut atau dipetik.
Langkah seterusnya
- Penguji dan penyemak robots.txt untuk perangkak AI
- Semakan IP perangkak AI
- Lihat contoh laporan penuh
- Pemantauan perangkak AI
- Pelan dan harga
Perangkak dalam artikel ini
Soalan lazim
Bolehkah saya menyemak secara percuma sama ada Claude boleh melihat laman saya?
Boleh. robots.txt anda, permintaan curl, log pelayan dan soalan dalam Claude tidak memerlukan kos. Semakan percuma AISeeWhy menguji ejen Anthropic dan 13 crawler lain untuk satu halaman sehari tanpa akaun.
Mengapa Claude tidak dapat membuka laman web saya apabila saya menampal pautan?
Punca biasa ialah firewall atau perlindungan bot yang membalas ejen Anthropic dengan 403 atau halaman cabaran, peraturan robots.txt yang melarang Claude-User, atau halaman yang teksnya hanya muncul selepas JavaScript berjalan. Uji URL dengan curl sebagai pelayar dan dengan token Claude, dan semak log anda untuk permintaan yang disekat.
Adakah Anthropic menerbitkan rentetan user agent yang boleh saya gunakan untuk menguji?
Halaman bantuan crawler Anthropic menyenaraikan token ClaudeBot, Claude-SearchBot dan Claude-User tetapi tiada rentetan user agent penuh. Untuk membezakan trafik Anthropic sebenar daripada peniru, bandingkan IP sumber dengan senarai di claude.com/crawling/bots.json.
Berapa lama perubahan robots.txt mengambil masa untuk sampai kepada Claude?
Anthropic tidak memberikan tempoh. RFC 9309 menyatakan crawler tidak patut menggunakan robots.txt dalam cache lebih daripada 24 jam, jadi beri sekurang-kurangnya sehari sebelum menilai hasilnya dalam log anda atau dalam jawapan Claude.
Adakah Claude API memberikan jawapan yang sama seperti aplikasi Claude?
Tidak semestinya. Aplikasi mungkin menggunakan anggaran lokasi anda dan tetapannya sendiri, manakala permintaan API menggunakan alat dan parameter yang anda hantar. Anggap hasil API sebagai ujian yang boleh diulang, bukan salinan apa yang dilihat setiap pengguna.
Bagaimanakah saya tahu sama ada Claude menyebut jenama saya?
Tanya Claude, dengan carian web dihidupkan, soalan yang ditanya pembeli anda, dan catat sama ada ia menamakan atau memetik laman anda dan pesaing mana yang muncul sebaliknya. Ulang setiap soalan selama beberapa minggu kerana jawapan berubah-ubah. Semakan keterlihatan AI dalam AISeeWhy melakukannya setiap minggu melalui Claude API dengan kunci anda, bersebelahan dengan sehingga empat pesaing.
Sumber
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: senarai alamat IP crawler (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: Laporan Akses Crawler AI, 2026-11