Anthropic botları: ClaudeBot, Claude-SearchBot və Claude-User
Anthropic üç agent işlədir: ClaudeBot modellərini öyrətmək üçün istifadə oluna biləcək məzmunu toplayır, Claude-SearchBot Claude-un axtarış nəticələrini yaxşılaşdırmaq üçün tarayır, Claude-User isə Claude istifadəçisinin sualı tələb edəndə səhifələri yükləyir. Hər birinin öz robots.txt tokeni var və Anthropic hər üçünün robots.txt-ə əməl etdiyini bildirir. Yalnız ClaudeBot-u bloklamaq axtarışı və istifadəçi yükləmələrini dayandırmır.
Anthropic botlarını bir yardım səhifəsində sənədləşdirir və quruluş digər AI şirkətlərinə bənzəyir: bir agent təlim, bir agent axtarış, biri isə istifadəçi adından canlı yükləmələr üçün. Claude-un səhifələrinizi tapıb onlardan sitat gətirə bilməsini istəyirsinizsə, ən vacibi son ikisidir.
Bu səhifədə
ClaudeBot nə edir?
ClaudeBot Anthropic-in generativ AI modellərinin təliminə töhfə verə biləcək veb məzmununu toplayır. Anthropic-ə görə onu qadağan etmək saytınızın gələcək məzmununun təlim məlumat dəstlərindən çıxarılmalı olduğunu bildirir.
Anthropic həmçinin IETF layihəsinə əsaslanan, maşın tərəfindən oxunan "AI təlimi olmasın" siqnalına əməl etdiyini və robots.txt-də ClaudeBot adını çəkən qaydaların bu ümumi parametrdən üstün olduğunu bildirir. Digər təlim botlarında olduğu kimi, onu bloklamaq siyasət seçimidir.
Claude-SearchBot nə edir?
Claude-SearchBot Claude-dakı axtarış nəticələrinin uyğunluğunu və dəqiqliyini yaxşılaşdırmaq üçün vebi tarayır. Anthropic bildirir ki, onu bloklamaq məzmununuzun axtarış üçün indekslənməsinə mane olur və bu, istifadəçilərin axtarış nəticələrində görünmənizi və dəqiqliyi azalda bilər.
Claude-un axtarış funksiyalarının səhifələriniz haqqında hələ heç kim soruşmamışdan əvvəl bilməsini istəyirsinizsə, icazə veriləcək agent budur. O, axtarış botu olduğu üçün istənilən axtarış botu kimi eyni şeylərdən faydalanır: robots.txt-də göstərilən sitemap, səliqəli daxili keçidlər və məzmununu ilk cavabda qaytaran səhifələr.
Claude-User nə edir?
Claude-User Claude istifadəçisi bunu tələb edən sual verəndə, məsələn kimsə URL paylaşanda və ya Claude-dan nəyisə tapmağı xahiş edəndə vebsayta daxil olur. Anthropic bildirir ki, onu bloklamaq istifadəçi sorğularına cavab olaraq məzmunun alınmasına mane olur və bu, istifadəçinin yönləndirdiyi veb axtarışda görünmənizi azalda bilər.
Bəzi digər şirkətlərdən fərqə diqqət edin. Anthropic botlarının robots.txt direktivlərinə əməl etdiyini bildirir və Claude-User-in robots.txt vasitəsilə bloklanmasını təsvir edir. OpenAI və Perplexity isə əksinə, istifadəçinin istədiyi yükləmələri edən agentlərinin robots.txt-ə əməl etməyə bilməyəcəyini bildirir.
Claude üçün robots.txt qaydalarını necə yazmaq olar?
Hər agentin öz tokeni var və RFC 9309-a görə botun adını çəkən qrup həmin bot üçün * qrupunu əvəz edir. Geniş yayılmış seçim axtarışa və istifadəçi yükləmələrinə icazə verib təlimdən imtina etməkdir:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic taramanı bloklamaq əvəzinə yavaşlatmaq istəyirsinizsə, Crawl-delay-i qeyri-standart genişlənmə kimi də dəstəkləyir, məsələn User-agent: ClaudeBot altında Crawl-delay: 1. Qaydalar hər hostun yuxarı səviyyəli qovluğundakı robots.txt-də olmalıdır, buna görə onları əhatə etmək istədiyiniz hər subdomenə əlavə edin.
Anthropic-in quruluşu OpenAI və Perplexity ilə necə müqayisə olunur?
Üç şirkət eyni sxemə fərqli adlarla əməl edir, bu da ümumi robots.txt-i anlamağı asanlaşdırır. Əsas fərq hər birinin istifadəçinin istəyi ilə canlı yükləmələr üçün robots.txt-ə necə yanaşmasıdır.
- Axtarış botu: Anthropic üçün
Claude-SearchBot, OpenAI üçünOAI-SearchBot, Perplexity üçünPerplexityBot. - Təlim botu: Anthropic üçün
ClaudeBot, OpenAI üçünGPTBot. Perplexity bildirir ki,PerplexityBotAI əsas modelləri üçün məzmun taramaqda istifadə olunmur. - İstifadəçi yükləmələri:
Claude-User,ChatGPT-UservəPerplexity-User. Anthropic botlarının robots.txt-ə əməl etdiyini bildirir; OpenAI robots.txt-inChatGPT-User-ə şamil olunmaya biləcəyini deyir; Perplexity isəPerplexity-User-in adətən ona məhəl qoymadığını bildirir.
Hər üçü üçün bir robots.txt yazırsınızsa, axtarış və istifadəçi tokenlərini bir qrupa, təlim tokenlərini isə başqa qrupa qoyun. Bu, siyasəti oxunaqlı saxlayır və hər məqsəd üçün hansı seçimi etdiyinizi aydın göstərir.
Anthropic-i IP ünvanına görə bloklamalıyammı?
Anthropic bunu məsləhət görmür. Onun sənədlərində deyilir ki, IP ünvanlarını bloklamaq düzgün işləməyə və imtinanı davamlı təmin etməyə bilər, çünki bu, botun robots.txt-inizi oxumasına da mane olur. Siyasətinizi bildirmək üçün robots.txt-dən istifadə edin.
Anthropic bot IP ünvanlarını claude.com/crawling/bots.json ünvanında dərc edir. Bu siyahıdan faydalı istifadə bloklamanın əksidir: qoy firewall-unuz özünü Claude-SearchBot və ya Claude-User kimi təqdim edən sorğunun həqiqətən Anthropic-dən gəldiyini təsdiqləsin və onu buraxsın.
Claude niyə yenə də səhifəmi oxuya bilməyə bilər?
robots.txt icazə versə belə, firewall və ya CDN Anthropic agentlərinə 403 və ya challenge səhifəsi ilə cavab verə bilər. Anthropic bildirir ki, onun botları yan keçməyə qarşı texnologiyalara hörmət edir və CAPTCHA-ları keçməyə cəhd etmir, buna görə challenge səhifəsi sadəcə ziyarəti bitirir. Mətni yalnız JavaScript işlədikdən sonra görünən səhifələr də demək olar ki, boş gələ bilər.
AISeeWhy səhifənizi brauzerlə yanaşı ClaudeBot, Claude-SearchBot və Claude-User kimi sorğulayır və hər biri üçün robots.txt qaydalarınızı yoxlayır ki, yazdığınız siyasətin serverinizin tətbiq etdiyi siyasət olub-olmadığını görəsiniz.
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- AI botlarının IP yoxlaması
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
ClaudeBot-u bloklamaq saytımı Claude-un cavablarından çıxarırmı?
Təkbaşına yox. Axtarış indeksləməsi və istifadəçinin istədiyi yükləmələr öz robots.txt tokenləri olan Claude-SearchBot və Claude-User-dən istifadə edir.
Claude-User robots.txt-ə əməl edirmi?
Anthropic botlarının robots.txt-ə əməl etdiyini bildirir və Claude-User-in orada bloklanmasını təsvir edir; nəticədə Claude istifadəçi sualları üçün səhifələrinizi ala bilmir.
Anthropic botları CAPTCHA həll edəcəkmi?
Xeyr. Anthropic bildirir ki, onun botları yan keçməyə qarşı texnologiyalara hörmət edir və CAPTCHA-ları keçməyə cəhd etməyəcək.
ClaudeBot-u bloklamaq əvəzinə yavaşlada bilərəmmi?
Bəli. Anthropic Crawl-delay-i qeyri-standart genişlənmə kimi dəstəkləyir, məsələn robots.txt-inizin ClaudeBot qrupunda Crawl-delay: 1.
Sorğunun həqiqətən Anthropic-dən gəldiyini necə təsdiqləyim?
Mənbə IP-ni Anthropic-in claude.com/crawling/bots.json ünvanında dərc etdiyi siyahı ilə müqayisə edin. Tək user agent-i isə hər kəs kopyalaya bilər.
Mənbələr
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- RFC 9309: Robots Exclusion Protocol