AI təlimini bloklayıb AI axtarış cavablarında necə qalmaq olar

Dərc olunub

Qısa cavab

AI şirkətlərinin əksəriyyəti model təlimi və axtarış üçün ayrı robots.txt tokenlərindən istifadə edir. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent və CCBot kimi təlim tokenlərini qadağan edin, OAI-SearchBot, Claude-SearchBot və PerplexityBot kimi axtarış və istifadəçi tokenlərinə isə icazə verin. Eyni seçimi sözlə bildirmək üçün Content-Signal sətri əlavə edin.

Bir çox sayt sahibi eyni anda iki şey istəyir: məzmunlarının AI modellərini öyrətmək üçün istifadə olunmasını istəmirlər, AI assistentlərinin isə səhifələrini tapmasını, onlardan sitat gətirməsini və onlara keçid verməsini istəyirlər. Böyük şirkətlər indi bu vəzifələri fərqli botlara və ya tokenlərə böldüyü üçün robots.txt hər iki seçimi ifadə edə bilir. Çətinlik ondadır ki, adlar şirkətdən şirkətə fərqlənir, bəzi şirkətlər bu sxemə uyğun gəlmir və bir səhv sətir sizi təlim məlumatlarından yox, AI cavablarından çıxara bilər.

Bu səhifədə
  1. Təlim botu ilə axtarış botu arasında fərq nədir?
  2. Hansı tokenlər təlimi, hansıları axtarışı idarə edir?
  3. robots.txt necə görünür?
  4. Neçə sayt artıq bunu edir?
  5. Content-Signal nə əlavə edir?
  6. Bölgü harada təmiz işləmir?
  7. Bölgünün işlədiyini necə yoxlayım?

Təlim botu ilə axtarış botu arasında fərq nədir?

Təlim botu AI modellərini qurmaq və ya təkmilləşdirmək üçün istifadə oluna biləcək səhifələri toplayır. Təlimin özü nə sitat, nə də keçid yaradır. Axtarış botu AI assistentinin cavab üçün mənbə tapmaq məqsədilə istifadə etdiyi indeksi qurur və onun istinad edə biləcəyi məhz bu mənbələrdir. İstifadəçinin işə saldığı bot isə kimsə səhifə haqqında soruşduğu üçün onu canlı açır.

Şirkətlər bu rolları ayrıca sənədləşdirir və parametrlərin bir-birindən asılı olmadığını bildirir. Məsələn, OpenAI deyir ki, onun botları üçün hər robots.txt parametri digərlərindən müstəqildir. Deməli, düzgün edilmiş təlimdən imtina axtarışda görünmənizə toxunmur.

Hansı tokenlər təlimi, hansıları axtarışı idarə edir?

Şirkətlərin sənədləşdirdiyi tokenlər bunlardır, idarə etdikləri sahəyə görə qruplaşdırılıb:

robots.txt necə görünür?

RFC 9309-a görə ardıcıl bir neçə User-agent sətri bir qrup təşkil edir və qaydalar onların hər birinə şamil olunur. Bu fayl yuxarıdakı təlim tokenlərindən imtina edir, axtarış və istifadəçi agentlərinə icazə verir və bir şəxsi yolu hamı üçün bağlı saxlayır:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

İki detal vacibdir. Birincisi, adlı qrup * qrupundan heç nə miras almır, buna görə istənilən şəxsi yollar axtarış qrupunda təkrarlanmalıdır. İkincisi, Googlebot və ya Applebot-u təlim qrupuna əlavə etməyin: onlar axtarış botlarıdır və onları bloklamaq sizi Google Search-dən və Apple-ın axtarış funksiyalarından çıxarır. Dəyişikliklər dərhal qüvvəyə minmir: OpenAI axtarış üçün təxminən 24 saat, Perplexity isə 24 saatadək deyir.

Neçə sayt artıq bunu edir?

Gözlədiyinizdən az. 2026-11-12 tarixində Tranco siyahısındakı ən populyar 1 000 domenin robots.txt fayllarını oxuduq. robots.txt verən 518 saytdan 155-i (29,9%) ana səhifəni ən azı bir AI təlim botu üçün qadağan edir. Yalnız 57-si (11,0%) seçici yolu tutur: təlim botlarını bloklayır və yoxladığımız bütün AI axtarış və istifadəçi botlarına icazə verir. Ümumilikdə 101 sayt (19,5%) ən azı bir AI axtarış və ya istifadəçi botunu bloklayır.

Botlar üzrə rəqəmlər də eyni bölgünü göstərir. GPTBot 111 saytda (21,4%), OAI-SearchBot isə 58 saytda (11,2%) bloklanıb. ClaudeBot 110 saytda (21,2%), Claude-SearchBot isə 67 saytda (12,9%) bloklanıb. Google-Extended 94 saytda (18,1%), Googlebot isə 14 saytda (2,7%) bloklanıb. Yalnız 18 sayt (3,5%) Content-Signal-dan istifadə edir.

Araşdırma yalnız ana səhifə üçün robots.txt qaydalarına baxır. O, firewall bloklarını ölçmür və hər saytın nə niyyətdə olduğunu göstərmir.

Content-Signal nə əlavə edir?

Content Signals Cloudflare-in contentsignals.org ünvanında dərc etdiyi robots.txt genişlənməsidir. Content-Signal sətri məzmundan necə istifadə oluna biləcəyini üç siqnalla bildirir: search (axtarış indeksi qurmaq və keçidlər ilə qısa çıxarışlar göstərmək), ai-input (məzmunu real vaxtda AI modellərinə ötürmək, məsələn generativ cavablar üçün grounding və ya axtarış) və ai-train (modelləri öyrətmək və ya fine-tuning etmək).

Nəzərə alın ki, search tərifi AI tərəfindən yaradılan axtarış xülasələrini əhatə etmir. AI cavablarında görünmək istəyirsinizsə, yuxarıdakı nümunədə olduğu kimi ai-input=yes də təyin edin. Cloudflare-in idarə olunan robots.txt-i standart olaraq search=yes, ai-train=no əlavə edir; buraxdığınız siqnal həmin istifadəyə nə icazə verir, nə də onu məhdudlaşdırır.

Bunlar bildirilmiş üstünlüklərdir. Content Signals saytı onların taramanın qarşısını texniki səviyyədə almadığını deyir, Cloudflare isə robots.txt-ə əməl etməyin könüllü olduğunu qeyd edir. Yoxladığımız OpenAI, Anthropic, Google və Perplexity bot səhifələrinin heç biri Content-Signal-ı oxuyub-oxumadıqlarını demir, buna görə onu hər bot üçün qrupları əvəz edən deyil, onlara əlavə kimi qəbul edin.

Bölgü harada təmiz işləmir?

Bir neçə hal diqqət tələb edir:

Bölgünün işlədiyini necə yoxlayım?

robots.txt-inizi hər botun oxuduğu kimi oxuyun: onun adını çəkən qrupu tapın, yalnız belə qrup yoxdursa *-a keçin və ən uzun uyğun gələn qaydanı tətbiq edin. Sonra səhifəni hər axtarış botunun user agent-i ilə sorğulayın və onun 403 və ya challenge səhifəsi yox, tam məzmunla 200 aldığını təsdiqləyin.

AISeeWhy təlim, axtarış və istifadəçi agentləri kimi qruplaşdırılmış 14 bot üçün hər ikisini edir və ən çox rast gəlinən səhvi qeyd edir: təlimi bloklamaq istəyərkən PerplexityBot və ya Claude-SearchBot kimi axtarış tokenini bloklamaq.

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Tez-tez verilən suallar

GPTBot-u bloklamaq saytımı ChatGPT cavablarından çıxaracaqmı?

Xeyr. OpenAI bildirir ki, GPTBot təlim üçündür və hər robots.txt parametri müstəqildir. ChatGPT axtarışı OAI-SearchBot-dan istifadə edir; ona icazə verildiyi və firewall-unuz onu bloklamadığı müddətdə səhifələriniz uyğun olaraq qalır.

Google-Extended-i bloklamaq məni AI Overviews-dan çıxarırmı?

Google-un sənədlərinə görə yox. Google bildirir ki, Google-Extended Google Search-ə daxil olmaya təsir etmir, AI Overviews isə Search indeksinə əsaslanır. Google saytı AI Overviews və AI Mode-dan çıxarmaq üçün ayrıca Search Console parametri təklif edir.

Bütün AI təlimini bloklayan tək bir sətir varmı?

Standart belə sətir yoxdur. Content-Signal: ai-train=no bütün botlar üçün üstünlüyü bildirir, lakin botun ona əməl edib-etməməsi operatordan asılıdır. Sənədləşdirilmiş yol hər təlim tokeni üçün adlı qruplardır.

AI təlimini dayandırmaq üçün Perplexity-ni bloklamalıyammı?

Perplexity bildirir ki, onun agentləri təlim məlumatları toplamaq üçün istifadə olunmur. PerplexityBot-u bloklamaq təlimdən imtina rolunu oynamadan Perplexity-nin axtarış nəticələrində görünmənizi azaldır.

Mənbələr

Digər məqalələr