Claude saytımı görürmü? Necə yoxlamaq olar
Claude səhifənizi yalnız robots.txt Anthropic agentlərinə icazə verirsə və serveriniz onlara brauzerin aldığı eyni HTML-i göndərirsə oxuya bilər. robots.txt-in Claude-SearchBot və ya Claude-User-i qadağan etmədiyini, firewall-un onlara 403 və ya challenge səhifəsi ilə cavab vermədiyini və əsas mətnin ilkin HTML-də olduğunu yoxlayın. Sonra Claude-un özünü test edin: URL-i söhbətə yapışdırın və veb axtarışı açıq halda alıcılarınızın suallarını verin.
Claude-dan məhsulunuz barədə soruşanda o başqa saytlara istinad edirsə, ilk sual budur: o, ümumiyyətlə saytınıza çata bilirmi? Bu sualın yoxlanıla bilən cavabı var. Anthropic agentlərinin robots.txt tokenlərini və onların gəldiyi IP ünvanlarını dərc edir, Claude isə istifadə etdiyi mənbələri göstərir. Buna görə hər addımı ardıcıllıqla yoxlaya bilərsiniz: robots.txt nə deyir, serveriniz nə göndərir, loglarınız nəyi qeydə alır və Claude ona verdiyiniz səhifə ilə nə edir.
Bu səhifədə
- 5 dəqiqəlik yoxlama, addım-addım
- Claude saytları necə oxuyur?
- Claude-un saytıma girişini robots.txt ilə necə yoxlayım?
- Claude agentlərinin serverimdən nə aldığını necə test edim?
- Claude-un saytıma həqiqətən daxil olub-olmadığını necə görə bilərəm?
- Claude-un özünü səhifəmlə necə test edim?
- Claude səhifəmi oxuya bilirsə, amma yenə istinad etmirsə, nə etməli?
- AISeeWhy bunu necə yoxlayır?
5 dəqiqəlik yoxlama, addım-addım
- robots.txt-nizi açın və
Claude-SearchBot,Claude-Uservə yaUser-agent: *üçün heç bir qrupun səhifəni qadağan etmədiyinə əmin olun.ClaudeBotyalnız təlim üçün önəmlidir. - AISeeWhy-da səhifənin pulsuz yoxlamasını işə salın və ya
Claude-Useruser agent-i ilə bir sorğu göndərin: o, 200 statusu və brauzerin aldığı eyni mətni almalıdır. - Access log-unuzda
Claude-SearchBotvəClaude-Useraxtarın və onların aldığı status kodlarına baxın. - Veb axtarışı açıq halda URL-inizi Claude-a yapışdırın, ondan səhifəni xülasə etməyi xahiş edin, sonra alıcılarınızın verdiyi bir sualı verin və istinadları yoxlayın.
1-ci və ya 2-ci addım uğursuz olarsa, əvvəlcə girişi düzəldin; aşağıdakı bölmələr bunu necə etməyi göstərir. Claude səhifəni oxuyur, amma ona istinad etmirsə, məzmun üzərində işləyin.
Claude saytları necə oxuyur?
Claude vebə iki yolla çıxır. Veb axtarışı ilə sual aktual məlumat tələb edəndə axtarış aparır, bir neçə mənbəni nəzərdən keçirir və istinadlarla cavab verir. Anthropic-in yardım mərkəzi bildirir ki, veb axtarışından istifadə edən hər cavabda istinadlar olur. Kimsə Claude-a konkret keçid verəndə o, həmin səhifəni birbaşa aça bilir.
Anthropic bunun üçün üç agent sənədləşdirir və hər birinin öz robots.txt tokeni var. Claude-SearchBot Claude-un axtarış nəticələrini yaxşılaşdırmaq üçün saytları skan edir, Claude-User istifadəçinin sualı tələb edəndə səhifələri yükləyir, ClaudeBot isə təlim üçün istifadə oluna bilən məzmun toplayır. Anthropic-in üç botu barədə ayrıca bələdçimiz hər birinin nə etdiyini ətraflı izah edir. Oxunmaq və istinad almaq üçün yoxlanmalı olanlar ilk ikisidir.
Bir məhdudiyyəti açıq deyək: Anthropic Claude-un veb axtarışının hansı axtarış indeksindən istifadə etdiyini və mənbələri necə seçdiyini sənədləşdirmir. O bildirir ki, Claude-SearchBot-u bloklamaq axtarış nəticələrində görünürlüyünüzü azalda bilər, Claude-User-i bloklamaq isə istifadəçi sualları üçün səhifənin yüklənməsinin qarşısını alır. Hər ikisinə icazə vermək istinadı mümkün edir, amma ona zəmanət vermir.
Claude-un saytıma girişini robots.txt ilə necə yoxlayım?
https://yourdomain.com/robots.txt ünvanını açın və Claude-SearchBot və ya Claude-User adını çəkən qrupları axtarın. Heç biri adlandırılmayıbsa, hər ikisi User-agent: * qrupuna əməl edir. RFC 9309-a görə tokenlərin uyğunlaşması böyük-kiçik hərfə həssas deyil və tətbiq olunan qrupdakı Disallow: / bütün saytı həmin agent üçün bağlayır.
Cavabın özünü də yoxlayın. Server xətası qaytaran robots.txt botlara hər şeyin qadağan olunduğunu güman etməyi deyir. 404 isə qaydaların olmaması deməkdir. İki əmr status kodunu və fayldakı hər qrupu göstərir:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic bildirir ki, qaydalar hər subdomenin yuxarı səviyyəsindəki robots.txt-də olmalıdır, buna görə blog.example.com-a öz faylı lazımdır. Bu bloklar nadir deyil. 1,000 ən populyar domen üzrə araşdırmamızda robots.txt təqdim edən 518 saytdan 67-si (12.9%) ana səhifəni Claude-SearchBot üçün, 68-i (13.1%) Claude-User üçün qadağan edib, təlim botu ClaudeBot üçün isə 110 sayt (21.2%) bunu edib.
Claude agentlərinin serverimdən nə aldığını necə test edim?
robots.txt girişə nəzarət deyil, xahişdir. Firewall, CDN və ya bot qoruması Anthropic agentlərinə 403, 429 və ya challenge səhifəsi ilə cavab verə bilər, sizin brauzeriniz isə səhifəni normal görür. Anthropic bildirir ki, onun botları CAPTCHA-nı keçməyə cəhd etmir, buna görə challenge səhifəsi ziyarəti bitirir.
Eyni URL-i brauzer user agent-i ilə və hər Anthropic tokeni ilə sorğulayın, sonra status kodunu və ölçünü müqayisə edin:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropic-in yardım səhifəsi tokenləri adlandırır, amma tam user agent sətirlərini dərc etmir, buna görə bunlar Anthropic-in real sətirləri deyil, test sətirləridir. Onlar ada uyğun gələn qaydaların sorğuya necə yanaşdığını göstərir. Yalnız Claude sətirləri üçün 403, 429 və ya 503, yaxud brauzerinkindən xeyli kiçik 200 cavabı firewall-unuza işarə edir.
Testiniz öz IP ünvanınızdan gəlir. Anthropic bildirir ki, claude.com/crawling/bots.json siyahısındakı ünvanlardan gələn sorğular Anthropic-ə aiddir. Firewall-unuz təsdiqlənmiş botlara IP üzrə icazə verirsə, real agentlər keçə, sizin testiniz isə bloklana bilər, əksi də mümkündür. Siyahıdan Anthropic-i bloklamaq üçün deyil, ona icazə vermək üçün istifadə edin: Anthropic IP üzrə bloklamağı tövsiyə etmir, çünki bu, onun botlarının robots.txt-inizi oxumasına da mane olur.
Claude-un saytıma həqiqətən daxil olub-olmadığını necə görə bilərəm?
Giriş loglarınız buna birbaşa cavab verir. Onlarda üç tokeni axtarın, sonra mənbə ünvanlarının Anthropic-in dərc etdiyi diapazonlara düşdüyünü yoxlayın, çünki user agent adını hər kəs kopyalaya bilər:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Birinci əmr geniş yayılmış combined log formatını nəzərdə tutur: burada 1-ci sahə müştərinin ünvanı, 9-cu sahə isə status kodudur. Anthropic agentlərinin yanında çoxlu 403 və ya 429 kodu firewall problemini təsdiqləyir. Claude-SearchBot-dan heç bir ziyarətin olmaması yalnız onu göstərir ki, o, həmin səhifələri hələ skan etməyib və ya daha əvvəlki mərhələdə nəsə onu dayandırır.
Claude-un özünü səhifəmlə necə test edim?
Söhbət açın və səhifələrinizdən birinin URL-ini "Bu səhifəni xülasə et" kimi sorğu ilə yapışdırın. Anthropic-in yardım mərkəzi bildirir ki, veb axtarışı açıq olanda Claude verdiyiniz keçidləri aça bilir. Veb axtarışı sönülüdürsə, onu + menyusundan açın; Anthropic-in yeni Claude təcrübəsində isə açar yoxdur və Claude faydalı olanda özü axtarır. Team və Enterprise planlarında əvvəlcə sahibkar təşkilat üçün veb axtarışını aktivləşdirməlidir. Brauzer səhifənizi açdığı halda Claude aça bilmirsə, firewall testinə qayıdın.
Sonra saytınızın adını çəkmədən alıcılarınızın verdiyi sualları verin və istinad olunan mənbələri açın. Anthropic bildirir ki, Claude lokal nəticələr üçün IP ünvanınızdan təxmin edilən məkandan istifadə edə bilər, buna görə cavablar məkana görə və hər dəfə fərqlənə bilər.
Developerlər bunu Claude API vasitəsilə təkrarlaya bilər. Veb axtarışı aləti allowed_domains siyahısını qəbul edir, buna görə domeninizlə məhdudlaşdırılmış sorğu Claude axtarışının sual üçün səhifələrinizdən hər hansı birini qaytarıb-qaytarmadığını göstərir:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Boş axtarış nəticələri o deməkdir ki, Claude axtarışı sual üçün həmin domendə heç nə tapmayıb. Anthropic API veb axtarışları üçün tokenlərdən əlavə ödəniş alır. API-nin web fetch aləti səhifənin niyə oxunmadığını da bildirir: url_not_allowed robots.txt kimi blokları əhatə edir, url_not_accessible isə HTTP xətası deməkdir. API cavabları Claude tətbiqlərinin göstərdiyindən fərqlənə bilər.
Claude səhifəmi oxuya bilirsə, amma yenə istinad etmirsə, nə etməli?
Əvvəlcə ona lazım olan mətnin serverinizin göndərdiyi HTML-də olduğuna əmin olun. Anthropic-in API sənədləri bildirir ki, web fetch aləti JavaScript ilə render olunan saytları dəstəkləmir, Anthropic isə botlarının skriptləri icra etdiyini demir. Səhifənizi curl ilə yükləyin və nəticədə əsas məzmununuzdan bir cümlə axtarın. O yoxdursa, server-side rendering və ya prerendering bunu Claude və digər AI botlarının əksəriyyəti üçün həll edir.
Bundan sonra qərarı səhifənin özü verir. Səhifənin əsas sualının cavabını ilk cümlələrə yerləşdirin, insanların verdiyi suallara uyğun başlıqlardan istifadə edin, naşiri adlandırın və tarixləri göstərin. Sonra səhifənizi Claude-un eyni sual üçün istinad etdiyi səhifə ilə müqayisə edin: istinad olunan səhifə çox vaxt məhz həmin suala daha birbaşa cavab verir.
AISeeWhy bunu necə yoxlayır?
Pulsuz AISeeWhy yoxlaması səhifənizi real brauzerlə yanaşı Claude-SearchBot, Claude-User, ClaudeBot və digər AI və axtarış botları kimi yükləyir, robots.txt-inizi hər birinə tətbiq edir, challenge səhifələrini tanıyır və JavaScript olmadan nə qədər mətnin gəldiyini göstərir. Sınaq dövründə və ödənişli planlarda olan AI-da görünürlük yoxlaması suallarınızı öz API açarınızla, veb axtarışı açıq halda Claude vasitəsilə verir və brendinizin və ya domeninizin çəkilib-çəkilmədiyini, ona istinad edilib-edilmədiyini göstərir.
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- AI botlarının IP yoxlaması
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
Claude-un saytımı görüb-görmədiyini pulsuz yoxlaya bilərəmmi?
Bəli. robots.txt-niz, curl sorğusu, server logunuz və Claude-da bir sual pulsuzdur. AISeeWhy-ın pulsuz yoxlaması gündə bir səhifə üçün hesabsız Anthropic agentlərini və 13 digər botu yoxlayır.
Keçidi yapışdıranda Claude saytımı niyə aça bilmir?
Adi səbəblər bunlardır: Anthropic agentlərinə 403 və ya challenge səhifəsi ilə cavab verən firewall və ya bot qoruması, Claude-User-i qadağan edən robots.txt qaydası, yaxud mətni yalnız JavaScript işləyəndən sonra görünən səhifə. URL-i curl ilə brauzer kimi və Claude tokenləri ilə test edin, loglarınızda bloklanmış sorğuları yoxlayın.
Anthropic test üçün istifadə edə biləcəyim user agent sətri dərc edirmi?
Anthropic-in botlar üzrə yardım səhifəsi ClaudeBot, Claude-SearchBot və Claude-User tokenlərini sadalayır, amma tam user agent sətirləri yoxdur. Real Anthropic trafikini təqlidçilərdən ayırmaq üçün mənbə IP-ni claude.com/crawling/bots.json siyahısı ilə müqayisə edin.
robots.txt dəyişikliyi Claude-a nə qədər vaxta çatır?
Anthropic müddət göstərmir. RFC 9309-a görə botlar keşlənmiş robots.txt-dən 24 saatdan artıq istifadə etməməlidir, buna görə nəticəni loglarınızda və ya Claude-un cavablarında qiymətləndirməzdən əvvəl ən azı bir gün gözləyin.
Claude API Claude tətbiqi ilə eyni cavabları verirmi?
Mütləq deyil. Tətbiq təxmini məkanınızdan və öz ayarlarından istifadə edə bilər, API sorğusu isə göndərdiyiniz alətlərdən və parametrlərdən istifadə edir. API nəticələrini hər istifadəçinin gördüyünün surəti kimi deyil, təkrarlana bilən test kimi qəbul edin.
Claude-un brendimi çəkib-çəkmədiyini necə bilim?
Veb axtarışı açıq halda Claude-a alıcılarınızın verdiyi sualları verin və onun saytınızı adlandırıb-adlandırmadığını və ya ona istinad edib-etmədiyini, əvəzində hansı rəqiblərin göründüyünü qeyd edin. Cavablar dəyişdiyi üçün hər sualı bir neçə həftə ərzində təkrarlayın. AISeeWhy-ın AI-da görünürlük yoxlaması bunu hər həftə Claude API vasitəsilə sizin açarınızla, dörd rəqibə qədər yanında edir.
Mənbələr
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: botların IP ünvanları siyahısı (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: AI Crawler Access Report, 2026-11