Claude web sitemi görebiliyor mu? Nasıl kontrol edilir
Claude sayfanızı yalnızca robots.txt dosyanız Anthropic'in ajanlarına izin veriyorsa ve sunucunuz onlara bir tarayıcının aldığı HTML'in aynısını gönderiyorsa okuyabilir. robots.txt'nin Claude-SearchBot'u ya da Claude-User'ı engellemediğini, güvenlik duvarınızın onlara 403 ya da doğrulama sayfasıyla yanıt vermediğini ve ana metnin ilk HTML'de bulunduğunu kontrol edin. Ardından Claude'un kendisini test edin: web aramasını açın, URL'nizi bir sohbete yapıştırın ve alıcılarınızın sorduğu soruları sorun.
Claude'a ürününüzü sorduğunuzda başka siteleri kaynak gösteriyorsa, ilk soru sitenize hiç ulaşıp ulaşamadığıdır. Bunun test edilebilir bir cevabı var. Anthropic ajanlarının robots.txt token'larını ve geldikleri IP adreslerini yayımlıyor, Claude da kullandığı kaynakları gösteriyor. Böylece her adımı sırayla kontrol edebilirsiniz: robots.txt dosyanız ne diyor, sunucunuz ne gönderiyor, günlükleriniz neyi kaydediyor ve Claude'a bir sayfa verdiğinizde onunla ne yapıyor.
Bu sayfada
- Adım adım 5 dakikalık kontrol
- Claude web sitelerini nasıl okur?
- Claude'un siteme erişip erişemediğini robots.txt ile nasıl kontrol ederim?
- Claude'un ajanlarının sunucumdan ne aldığını nasıl test ederim?
- Claude'un sitemi gerçekten ziyaret edip etmediğini nasıl görürüm?
- Claude'un kendisini sayfamla nasıl test ederim?
- Claude sayfamı okuyabiliyor ama yine de kaynak göstermiyorsa?
- AISeeWhy bunu nasıl kontrol eder?
Adım adım 5 dakikalık kontrol
- robots.txt dosyanızı açın ve
Claude-SearchBot,Claude-UserveyaUser-agent: *için hiçbir grubun sayfayı yasaklamadığından emin olun.ClaudeBotyalnızca eğitim için önemlidir. - Sayfayı AISeeWhy'da ücretsiz kontrol edin veya
Claude-Useruser agent'ıyla tek bir istek gönderin: istek 200 durumu ve bir tarayıcının aldığı metnin aynısını almalıdır. - Erişim günlüğünüzde
Claude-SearchBotveClaude-Userarayın ve aldıkları durum kodlarına bakın. - Web araması açıkken URL'nizi Claude'a yapıştırın, sayfayı özetlemesini isteyin, ardından alıcılarınızın sorduğu bir soruyu sorun ve kaynak gösterimlerini kontrol edin.
1. veya 2. adım başarısız olursa önce erişimi düzeltin; aşağıdaki bölümler nasıl yapılacağını gösteriyor. Claude sayfayı okuyor ama kaynak göstermiyorsa içerik üzerinde çalışın.
Claude web sitelerini nasıl okur?
Claude web'e iki yoldan ulaşır. Web aramasıyla, bir soru güncel bilgi gerektirdiğinde arama yapar, birkaç kaynağı inceler ve kaynak göstererek yanıt verir. Anthropic'in yardım merkezi, web aramasını kullanan her yanıtın kaynak içerdiğini söylüyor. Biri Claude'a belirli bir bağlantı verdiğinde ise o sayfayı doğrudan açabilir.
Anthropic bunun için her biri kendi robots.txt token'ına sahip üç ajan belgeliyor. Claude-SearchBot Claude'un arama sonuçlarını iyileştirmek için tarar, Claude-User bir kullanıcının sorusu gerektirdiğinde sayfaları çeker, ClaudeBot ise eğitimde kullanılabilecek içerik toplar. Her birinin ne yaptığını Anthropic'in üç crawler'ı hakkındaki ayrı rehberimiz ayrıntılı anlatıyor. Okunmak ve kaynak gösterilmek için kontrol etmeniz gerekenler ilk ikisi.
Dürüst bir sınır: Anthropic, Claude'un web aramasının hangi arama dizinini kullandığını ya da kaynakları nasıl seçtiğini belgelemiyor. Claude-SearchBot'u engellemenin arama sonuçlarındaki görünürlüğünüzü azaltabileceğini, Claude-User'ı engellemenin ise kullanıcı soruları için sayfa çekmeyi önlediğini söylüyor. İkisine de izin vermek kaynak gösterilmeyi mümkün kılar, ama garanti etmez.
Claude'un siteme erişip erişemediğini robots.txt ile nasıl kontrol ederim?
https://yourdomain.com/robots.txt adresini açın ve Claude-SearchBot ya da Claude-User adını taşıyan grupları arayın. İkisinin de adı geçmiyorsa, ikisi de User-agent: * grubuna uyar. RFC 9309'a göre token eşleştirmesi büyük/küçük harfe duyarsızdır ve geçerli gruptaki bir Disallow: / tüm siteyi o ajana kapatır.
Yanıtın kendisini de kontrol edin. Sunucu hatası döndüren bir robots.txt, crawler'lara her şeyin yasak olduğunu varsaymalarını söyler. 404 ise kural yok demektir. İki komut durumu ve dosyadaki her grubu gösterir:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic, kuralların her alt alan adının en üst düzeyindeki robots.txt dosyasında olması gerektiğini söylüyor; yani blog.example.com kendi dosyasına ihtiyaç duyar. Bu engeller nadir değil. En popüler 1.000 alan adı üzerine yaptığımız çalışmada, robots.txt sunan 518 sitenin 67'si (%12,9) ana sayfayı Claude-SearchBot'a, 68'i (%13,1) Claude-User'a kapatmıştı; eğitim crawler'ı ClaudeBot için bu sayı 110'du (%21,2).
Claude'un ajanlarının sunucumdan ne aldığını nasıl test ederim?
robots.txt bir ricadır, erişim denetimi değil. Bir güvenlik duvarı, CDN ya da bot koruması, sizin tarayıcınız sayfayı normal görürken Anthropic'in ajanlarına 403, 429 ya da doğrulama sayfasıyla yanıt verebilir. Anthropic botlarının CAPTCHA'ları aşmaya çalışmayacağını söylüyor; yani bir doğrulama sayfası ziyareti orada bitirir.
Aynı URL'yi bir tarayıcı user agent'ıyla ve her Anthropic token'ıyla isteyin, ardından durum ve boyutu karşılaştırın:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropic'in yardım sayfası token'ları adlandırıyor ama tam user agent dizelerini yayımlamıyor; bu yüzden bunlar test dizeleri, Anthropic'in gerçek dizeleri değil. Ada göre eşleşen kuralların isteğe nasıl davrandığını gösterirler. Yalnızca Claude satırları için 403, 429 ya da 503 gelmesi veya tarayıcınınkinden çok daha küçük bir 200 gelmesi sorunun güvenlik duvarınızda olduğunu gösterir.
Testiniz kendi IP adresinizden gelir. Anthropic, claude.com/crawling/bots.json listesindeki adreslerden gelen isteklerin Anthropic'ten geldiğini söylüyor. Güvenlik duvarınız doğrulanmış crawler'lara IP'ye göre izin veriyorsa, sizin testiniz engellenirken gerçek ajanlar geçebilir; tersi de mümkün. Listeyi Anthropic'i engellemek için değil, ona izin vermek için kullanın: Anthropic, IP engellemesinin botlarının robots.txt dosyanızı okumasını da durdurduğu için bunu önermiyor.
Claude'un sitemi gerçekten ziyaret edip etmediğini nasıl görürüm?
Erişim günlükleriniz bunu doğrudan yanıtlar. Üç token'ı arayın, ardından kaynak adreslerin Anthropic'in yayımladığı aralıklarda olup olmadığını kontrol edin, çünkü bir user agent adını herkes kopyalayabilir:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' İlk komut, 1. alanın istemci adresi, 9. alanın durum kodu olduğu yaygın combined günlük biçimini varsayar. Anthropic'in ajanlarının yanında çok sayıda 403 ya da 429 kodu bir güvenlik duvarı sorununu doğrular. Claude-SearchBot'tan hiç ziyaret olmaması ise yalnızca o sayfaları henüz taramadığı ya da daha önce bir şeyin onu durdurduğu anlamına gelir.
Claude'un kendisini sayfamla nasıl test ederim?
Bir sohbet açın ve sayfalarınızdan birinin URL'sini "Bu sayfayı özetle" gibi bir istekle yapıştırın. Anthropic'in yardım merkezi, web araması açıkken Claude'un verdiğiniz bağlantıları açabileceğini söylüyor. Web araması kapalıysa + menüsünden açın; Anthropic'in yeni Claude deneyiminde bir anahtar yok ve Claude işe yaradığında arama yapıyor. Team ve Enterprise planlarında önce bir sahibin kuruluş için web aramasını etkinleştirmesi gerekir. Bir tarayıcı sayfanızı açabildiği hâlde Claude açamıyorsa, güvenlik duvarı testine geri dönün.
Ardından sitenizin adını vermeden alıcılarınızın sorduğu soruları sorun ve kaynak gösterilen siteleri açın. Anthropic, Claude'un yerelleştirilmiş sonuçlar için IP adresinizden çıkarılan konumu kullanabileceğini söylüyor; bu yüzden yanıtlar yere ve denemeye göre değişebilir.
Geliştiriciler bunu Claude API üzerinden tekrarlayabilir. Web arama aracı bir allowed_domains listesi alır; dolayısıyla alan adınızla sınırlanmış bir istek, Claude'un aramasının bir soru için sayfalarınızdan herhangi birini döndürüp döndürmediğini gösterir:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Boş arama sonuçları, Claude'un aramasının o soru için o alan adında hiçbir şey bulmadığı anlamına gelir. Anthropic API web aramalarını token'lara ek olarak ücretlendirir. API'nin web fetch aracı bir sayfanın neden okunamadığını da bildirir: url_not_allowed robots.txt gibi engelleri kapsar, url_not_accessible ise bir HTTP hatası demektir. API yanıtları Claude uygulamalarının gösterdiğinden farklı olabilir.
Claude sayfamı okuyabiliyor ama yine de kaynak göstermiyorsa?
Önce ihtiyaç duyduğu metnin sunucunuzun gönderdiği HTML'de olduğundan emin olun. Anthropic'in API belgeleri, web fetch aracının JavaScript ile oluşturulan web sitelerini desteklemediğini söylüyor; Anthropic crawler'larının betik çalıştırdığını da söylemiyor. Sayfanızı curl ile çekin ve çıktıda ana içeriğinizden bir cümle arayın. Yoksa, sunucu tarafı oluşturma ya da önceden oluşturma (prerendering) bunu Claude ve diğer AI crawler'larının çoğu için düzeltir.
Bundan sonra karar sayfanın kendisinde. Sayfanın ana sorusunun yanıtını ilk cümlelere koyun, insanların sorduğu sorularla eşleşen başlıklar kullanın, yayıncıyı adlandırın ve tarihleri gösterin. Sonra sayfanızı Claude'un aynı soru için kaynak gösterdiği sayfayla karşılaştırın: kaynak gösterilen sayfa çoğu zaman o soruyu daha doğrudan yanıtlar.
AISeeWhy bunu nasıl kontrol eder?
Ücretsiz AISeeWhy denetimi sayfanızı gerçek bir tarayıcının yanında Claude-SearchBot, Claude-User, ClaudeBot ve diğer AI ve arama crawler'ları olarak çeker, her birine robots.txt dosyanızı uygular, doğrulama sayfalarını tanır ve JavaScript olmadan ne kadar metin geldiğini gösterir. Deneme ve ücretli planlardaki Yapay zekâ görünürlüğü denetimi, sorularınızı kendi API anahtarınızla web araması açık olarak Claude üzerinden sorar ve markanızın ya da alan adınızın anılıp anılmadığını veya kaynak gösterilip gösterilmediğini gösterir.
Sonraki adımlar
- Yapay zekâ tarayıcıları için robots.txt test aracı ve denetleyici
- Yapay zekâ tarayıcısı IP denetimi
- Tam rapor örneğini görün
- Yapay zekâ tarayıcısı izleme
- Planlar ve fiyatlar
Bu makaledeki tarayıcılar
Sık sorulan sorular
Claude'un sitemi görüp göremediğini ücretsiz kontrol edebilir miyim?
Evet. robots.txt dosyanız, bir curl isteği, sunucu günlüğünüz ve Claude'a bir soru hiçbir ücret gerektirmez. AISeeWhy'ın ücretsiz kontrolü, Anthropic'in ajanlarını ve 13 başka crawler'ı hesap olmadan günde bir sayfa için test eder.
Bağlantıyı yapıştırdığımda Claude sitemi neden açamıyor?
Olağan nedenler şunlardır: Anthropic'in ajanlarına 403 ya da doğrulama sayfasıyla yanıt veren bir güvenlik duvarı ya da bot koruması, Claude-User'ı engelleyen bir robots.txt kuralı ya da metni yalnızca JavaScript çalıştıktan sonra görünen bir sayfa. URL'yi curl ile tarayıcı olarak ve Claude token'larıyla test edin, engellenen istekler için günlüklerinizi kontrol edin.
Anthropic test için kullanabileceğim bir user agent dizesi yayımlıyor mu?
Anthropic'in crawler yardım sayfası ClaudeBot, Claude-SearchBot ve Claude-User token'larını listeliyor ama tam user agent dizelerini vermiyor. Gerçek Anthropic trafiğini taklitlerden ayırmak için kaynak IP'yi claude.com/crawling/bots.json listesiyle karşılaştırın.
Bir robots.txt değişikliğinin Claude'a ulaşması ne kadar sürer?
Anthropic bir süre vermiyor. RFC 9309, crawler'ların önbelleğe alınmış bir robots.txt'yi 24 saatten uzun kullanmaması gerektiğini söylüyor; bu yüzden sonucu günlüklerinizde ya da Claude'un yanıtlarında değerlendirmeden önce en az bir gün bekleyin.
Claude API, Claude uygulamasıyla aynı yanıtları verir mi?
Her zaman değil. Uygulama yaklaşık konumunuzu ve kendi ayarlarını kullanabilir; bir API isteği ise gönderdiğiniz araçları ve parametreleri kullanır. API sonuçlarını her kullanıcının gördüğünün bir kopyası olarak değil, tekrarlanabilir bir test olarak değerlendirin.
Claude'un markamı anıp anmadığını nasıl öğrenirim?
Web araması açıkken Claude'a alıcılarınızın sorduğu soruları sorun ve sitenizi adlandırıp adlandırmadığını ya da kaynak gösterip göstermediğini, bunun yerine hangi rakiplerin çıktığını not edin. Yanıtlar değiştiği için her soruyu birkaç hafta boyunca tekrarlayın. AISeeWhy'ın Yapay zekâ görünürlüğü denetimi bunu her hafta sizin anahtarınızla Claude API üzerinden, en fazla dört rakiple yan yana yapar.
Kaynaklar
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: crawler IP adresi listesi (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: AI Crawler Access Report, 2026-11