AI botları üçün robots.txt: nəyə icazə verməli, nəyi bloklamalı
Sizin üçün vacib olan hər AI botuna ayrıca User-agent qrupu verin. İstinad olunmaq istəyirsinizsə, OAI-SearchBot, Claude-SearchBot və PerplexityBot kimi axtarış botlarına icazə verin, GPTBot, ClaudeBot, Google-Extended və Applebot-Extended kimi təlim tokenləri barədə isə ayrıca qərar verin. Adlı qrup həmin bot üçün * qrupunu əvəz edir.
robots.txt 1994-cü ilə gedib çıxan və 2022-ci ildə RFC 9309 adlı rəsmi standarta çevrilən adi mətn faylıdır. AI şirkətlərinin əksəriyyəti botlarının ona əməl etdiyini bildirir, bir neçəsi isə axtarış və təlim üçün ayrı tokenlər dərc edir. Bu, robots.txt-i AI siyasətini bildirmək üçün ən sadə yerə çevirir, bir şərtlə ki, qaydalar düşündüyünüz mənanı versin.
Bu səhifədə
- AI botları hansı robots.txt tokenlərindən istifadə edir?
- Yaxşı AI robots.txt-i necə görünür?
- Botlar hansı qaydaların özlərinə aid olduğunu necə seçir?
- Ən çox rast gəlinən robots.txt səhvləri hansılardır?
- İcazə və qadağadan əlavə AI istifadə siyasətini bildirə bilərəmmi?
- Dəyişikliklər nə qədər vaxt aparır və onları necə yoxlayım?
AI botları hansı robots.txt tokenlərindən istifadə edir?
Şirkətlərin sənədləşdirdiyi tokenlər bunlardır. RFC 9309-a görə uyğunlaşdırma böyük-kiçik hərfə həssas deyil.
- OpenAI:
OAI-SearchBot(ChatGPT axtarışı),GPTBot(təlim),ChatGPT-User(istifadəçinin istədiyi ziyarətlər; OpenAI robots.txt-in ona şamil olunmaya biləcəyini bildirir). - Anthropic:
Claude-SearchBot(axtarış),ClaudeBot(təlim),Claude-User(istifadəçinin istədiyi ziyarətlər). - Perplexity:
PerplexityBot(axtarış),Perplexity-User(istifadəçinin istədiyi ziyarətlər; Perplexity onun adətən robots.txt-ə məhəl qoymadığını bildirir). - Google:
Googlebot(AI funksiyaları daxil olmaqla Search) və Gemini təlimində və grounding-də istifadəni idarə edən, öz botu olmayanGoogle-Extendedtokeni. - Apple:
Applebot(Spotlight, Siri, Safari axtarışı) və tarama aparmayan, lakin Apple-ın əsas modellərinin təlimi üçün istifadəni idarə edənApplebot-Extended. - Meta:
meta-externalagent(təlim və məhsul indeksləmə) vəmeta-webindexer(Meta AI axtarışı). - Common Crawl: Common Crawl-un pulsuz açıq veb məlumatları arxivini quran
CCBot.
Yaxşı AI robots.txt-i necə görünür?
Bu nümunə AI axtarışını və istifadəçi yükləmələrini içəri buraxır, əsas təlim tokenlərindən imtina edir və bir şəxsi bölməni hamı üçün bağlı saxlayır:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Ardıcıl bir neçə User-agent sətri bir qrup təşkil edir, buna görə onların altındakı qaydalar həmin botların hər birinə şamil olunur. Məzmununuzun təlim üçün istifadə olunmasını istəyirsinizsə, sadəcə ikinci qrupu yazmayın. Google-Extended-i bloklamaq Google Search-ə təsir etmir: Google bildirir ki, o, Search-ə daxil olmaya təsir etmir və sıralama siqnalı deyil. Eyni şəkildə Apple bildirir ki, Applebot-Extended-i qadağan edən səhifələr yenə də onun axtarış nəticələrində görünə bilər.
Botlar hansı qaydaların özlərinə aid olduğunu necə seçir?
RFC 9309 bunu dəqiq müəyyən edir və detallar sürprizlərin çoxunu izah edir:
- Bot
User-agentdəyəri onun məhsul tokeninə uyğun gələn qrupu böyük-kiçik hərfə baxmadan axtarır. Bir neçə qrup uyğun gəlirsə, onların qaydaları birləşdirilir. - Bot
User-agent: *qrupuna yalnız heç bir qrup uyğun gəlmədikdə əməl edir. Adlı qrup*qrupundan heç nə miras almır. - Qrup daxilində ən uzun uyğun gələn yolu olan qayda qalib gəlir.
/blog/postüçünAllow: /blog/qaydasıDisallow: /qaydasını üstələyir. AllowvəDisallowqaydaları eyni uzunluqla uyğun gəlirsə,Allowtətbiq olunmalıdır.- Yolda
*istənilən simvollara uyğun gəlir,$isə sonu bağlayır, buna görəDisallow: /*.pdf$bütün PDF-ləri əhatə edir.
Ən çox rast gəlinən robots.txt səhvləri hansılardır?
- Adlı qrupun
*-dan miras alacağını gözləmək.OAI-SearchBotüçün yalnızAllow: /olan qrup bütün yolları, o cümlədən*altında qadağan etdikləriniz də açır. - HTML səhifəsi, çox vaxt 200 statusu ilə verilən 404 səhifəsi qaytaran robots.txt ünvanı. Botlar orada heç bir düzgün qayda tapmır.
- Server xətası qaytaran robots.txt. RFC 9309-a görə bu halda bot bütün saytın qadağan olunduğunu qəbul etməlidir. 404 isə fərqlidir: bu, heç bir məhdudiyyət olmaması deməkdir.
- Təlimi bloklamaq istəyərkən axtarış tokenini bloklamaq, məsələn model təlimindən qaçmaq üçün
PerplexityBotvə yaClaude-SearchBot-u qadağan etmək. - İstifadəçinin istədiyi yükləmələri dayandırmaq üçün robots.txt-ə arxalanmaq. Həm OpenAI, həm də Perplexity user agent-lərinin ona əməl etməyə bilməyəcəyini bildirir.
- Subdomenləri unutmaq. Hər hostun öz robots.txt-i var; Anthropic-in sənədləri sayt sahiblərinə hər subdomen üçün qaydalar əlavə etməyi xatırladır.
İcazə və qadağadan əlavə AI istifadə siyasətini bildirə bilərəmmi?
Cloudflare robots.txt üçün üç siqnallı Content-Signal sətrini təklif edib: search (axtarış indeksi qurmaq və keçidlər ilə qısa çıxarışlar göstərmək), ai-input (məzmundan AI cavabları üçün real vaxtda istifadə etmək) və ai-train (modelləri öyrətmək və ya fine-tuning etmək). Cloudflare-in idarə olunan robots.txt-i onu sizin üçün əlavə edə bilər.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txt-dəki hər şey kimi bunlar da texniki nəzarət vasitəsi deyil, üstünlüklərdir. Cloudflare özü qeyd edir ki, robots.txt-ə əməl etmək könüllüdür. Bu sətir istəyə bağlıdır və zərər vermir, lakin yuxarıdakı hər bot üçün qrupları əvəz etmir.
Dəyişikliklər nə qədər vaxt aparır və onları necə yoxlayım?
RFC 9309 deyir ki, botlar keşlənmiş robots.txt-dən 24 saatdan artıq istifadə etməməlidir, OpenAI və Perplexity isə dəyişikliklərin tətbiqinin təxminən bir gün çəkə biləcəyini bildirir. Həmçinin unutmayın ki, robots.txt giriş nəzarəti deyil: qaydalarınızın icazə verdiyi botu firewall yenə də bloklaya bilər.
AISeeWhy yoxladığı hər bot üçün robots.txt-inizi RFC 9309-a uyğun təhlil edir, əlçatmaz olan və ya HTML kimi verilən faylları qeyd edir, qaydalarınızla serverinizin harada uyğun gəlmədiyini göstərir və dəyişiklik üçün hazır diff verir.
Bu problem üçün düzəlişlər
- robots.txt GPTBot botuna icazə verir, lakin server onu bloklayır
- robots.txt OAI-SearchBot botuna qadağa qoyur
- robots.txt HTML səhifədir
- robots.txt-də Content-Signal yoxdur
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
GPTBot və ya ClaudeBot-u bloklamaq AI cavablarında görünməyimə zərər verirmi?
Birbaşa yox. Hər iki şirkət axtarış üçün ayrı axtarış botlarından, OAI-SearchBot və Claude-SearchBot-dan istifadə edir. Təlim botunu bloklamaq siyasət seçimidir.
Google-Extended AI Overviews-u dayandırırmı?
Xeyr. Google bildirir ki, Search-dəki AI funksiyaları Googlebot-dan və nosnippet və noindex kimi adi Search parametrlərindən istifadə edir. Google-Extended Gemini təlimini və digər Google məhsullarında grounding-i əhatə edir və Search-ə təsir etmir.
AI botları Crawl-delay-i dəstəkləyirmi?
O, RFC 9309-un bir hissəsi deyil. Anthropic Crawl-delay-i qeyri-standart genişlənmə kimi dəstəklədiyini bildirir; digər şirkətlər üçün onların sənədlərinə baxın.
robots.txt harada yerləşməlidir?
Hər hostun kökündə, məsələn https://example.com/robots.txt. Alt qovluqdakı fayla məhəl qoyulmur və hər subdomenin öz faylı olmalıdır.
Mənbələr
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Google: Common crawlers, including Google-Extended
- Apple: About Applebot
- Cloudflare: Managed robots.txt and Content Signals