AI botları üçün robots.txt: nəyə icazə verməli, nəyi bloklamalı

Dərc olunub

Qısa cavab

Sizin üçün vacib olan hər AI botuna ayrıca User-agent qrupu verin. İstinad olunmaq istəyirsinizsə, OAI-SearchBot, Claude-SearchBot və PerplexityBot kimi axtarış botlarına icazə verin, GPTBot, ClaudeBot, Google-Extended və Applebot-Extended kimi təlim tokenləri barədə isə ayrıca qərar verin. Adlı qrup həmin bot üçün * qrupunu əvəz edir.

robots.txt 1994-cü ilə gedib çıxan və 2022-ci ildə RFC 9309 adlı rəsmi standarta çevrilən adi mətn faylıdır. AI şirkətlərinin əksəriyyəti botlarının ona əməl etdiyini bildirir, bir neçəsi isə axtarış və təlim üçün ayrı tokenlər dərc edir. Bu, robots.txt-i AI siyasətini bildirmək üçün ən sadə yerə çevirir, bir şərtlə ki, qaydalar düşündüyünüz mənanı versin.

Bu səhifədə
  1. AI botları hansı robots.txt tokenlərindən istifadə edir?
  2. Yaxşı AI robots.txt-i necə görünür?
  3. Botlar hansı qaydaların özlərinə aid olduğunu necə seçir?
  4. Ən çox rast gəlinən robots.txt səhvləri hansılardır?
  5. İcazə və qadağadan əlavə AI istifadə siyasətini bildirə bilərəmmi?
  6. Dəyişikliklər nə qədər vaxt aparır və onları necə yoxlayım?

AI botları hansı robots.txt tokenlərindən istifadə edir?

Şirkətlərin sənədləşdirdiyi tokenlər bunlardır. RFC 9309-a görə uyğunlaşdırma böyük-kiçik hərfə həssas deyil.

Yaxşı AI robots.txt-i necə görünür?

Bu nümunə AI axtarışını və istifadəçi yükləmələrini içəri buraxır, əsas təlim tokenlərindən imtina edir və bir şəxsi bölməni hamı üçün bağlı saxlayır:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Ardıcıl bir neçə User-agent sətri bir qrup təşkil edir, buna görə onların altındakı qaydalar həmin botların hər birinə şamil olunur. Məzmununuzun təlim üçün istifadə olunmasını istəyirsinizsə, sadəcə ikinci qrupu yazmayın. Google-Extended-i bloklamaq Google Search-ə təsir etmir: Google bildirir ki, o, Search-ə daxil olmaya təsir etmir və sıralama siqnalı deyil. Eyni şəkildə Apple bildirir ki, Applebot-Extended-i qadağan edən səhifələr yenə də onun axtarış nəticələrində görünə bilər.

Botlar hansı qaydaların özlərinə aid olduğunu necə seçir?

RFC 9309 bunu dəqiq müəyyən edir və detallar sürprizlərin çoxunu izah edir:

Ən çox rast gəlinən robots.txt səhvləri hansılardır?

İcazə və qadağadan əlavə AI istifadə siyasətini bildirə bilərəmmi?

Cloudflare robots.txt üçün üç siqnallı Content-Signal sətrini təklif edib: search (axtarış indeksi qurmaq və keçidlər ilə qısa çıxarışlar göstərmək), ai-input (məzmundan AI cavabları üçün real vaxtda istifadə etmək) və ai-train (modelləri öyrətmək və ya fine-tuning etmək). Cloudflare-in idarə olunan robots.txt-i onu sizin üçün əlavə edə bilər.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txt-dəki hər şey kimi bunlar da texniki nəzarət vasitəsi deyil, üstünlüklərdir. Cloudflare özü qeyd edir ki, robots.txt-ə əməl etmək könüllüdür. Bu sətir istəyə bağlıdır və zərər vermir, lakin yuxarıdakı hər bot üçün qrupları əvəz etmir.

Dəyişikliklər nə qədər vaxt aparır və onları necə yoxlayım?

RFC 9309 deyir ki, botlar keşlənmiş robots.txt-dən 24 saatdan artıq istifadə etməməlidir, OpenAI və Perplexity isə dəyişikliklərin tətbiqinin təxminən bir gün çəkə biləcəyini bildirir. Həmçinin unutmayın ki, robots.txt giriş nəzarəti deyil: qaydalarınızın icazə verdiyi botu firewall yenə də bloklaya bilər.

AISeeWhy yoxladığı hər bot üçün robots.txt-inizi RFC 9309-a uyğun təhlil edir, əlçatmaz olan və ya HTML kimi verilən faylları qeyd edir, qaydalarınızla serverinizin harada uyğun gəlmədiyini göstərir və dəyişiklik üçün hazır diff verir.

Bu problem üçün düzəlişlər

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Tez-tez verilən suallar

GPTBot və ya ClaudeBot-u bloklamaq AI cavablarında görünməyimə zərər verirmi?

Birbaşa yox. Hər iki şirkət axtarış üçün ayrı axtarış botlarından, OAI-SearchBot və Claude-SearchBot-dan istifadə edir. Təlim botunu bloklamaq siyasət seçimidir.

Google-Extended AI Overviews-u dayandırırmı?

Xeyr. Google bildirir ki, Search-dəki AI funksiyaları Googlebot-dan və nosnippet və noindex kimi adi Search parametrlərindən istifadə edir. Google-Extended Gemini təlimini və digər Google məhsullarında grounding-i əhatə edir və Search-ə təsir etmir.

AI botları Crawl-delay-i dəstəkləyirmi?

O, RFC 9309-un bir hissəsi deyil. Anthropic Crawl-delay-i qeyri-standart genişlənmə kimi dəstəklədiyini bildirir; digər şirkətlər üçün onların sənədlərinə baxın.

robots.txt harada yerləşməlidir?

Hər hostun kökündə, məsələn https://example.com/robots.txt. Alt qovluqdakı fayla məhəl qoyulmur və hər subdomenin öz faylı olmalıdır.

Mənbələr

Digər məqalələr