AI təlimini bloklayıb AI axtarış cavablarında necə qalmaq olar
AI şirkətlərinin əksəriyyəti model təlimi və axtarış üçün ayrı robots.txt tokenlərindən istifadə edir. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent və CCBot kimi təlim tokenlərini qadağan edin, OAI-SearchBot, Claude-SearchBot və PerplexityBot kimi axtarış və istifadəçi tokenlərinə isə icazə verin. Eyni seçimi sözlə bildirmək üçün Content-Signal sətri əlavə edin.
Bir çox sayt sahibi eyni anda iki şey istəyir: məzmunlarının AI modellərini öyrətmək üçün istifadə olunmasını istəmirlər, AI assistentlərinin isə səhifələrini tapmasını, onlardan sitat gətirməsini və onlara keçid verməsini istəyirlər. Böyük şirkətlər indi bu vəzifələri fərqli botlara və ya tokenlərə böldüyü üçün robots.txt hər iki seçimi ifadə edə bilir. Çətinlik ondadır ki, adlar şirkətdən şirkətə fərqlənir, bəzi şirkətlər bu sxemə uyğun gəlmir və bir səhv sətir sizi təlim məlumatlarından yox, AI cavablarından çıxara bilər.
Bu səhifədə
Təlim botu ilə axtarış botu arasında fərq nədir?
Təlim botu AI modellərini qurmaq və ya təkmilləşdirmək üçün istifadə oluna biləcək səhifələri toplayır. Təlimin özü nə sitat, nə də keçid yaradır. Axtarış botu AI assistentinin cavab üçün mənbə tapmaq məqsədilə istifadə etdiyi indeksi qurur və onun istinad edə biləcəyi məhz bu mənbələrdir. İstifadəçinin işə saldığı bot isə kimsə səhifə haqqında soruşduğu üçün onu canlı açır.
Şirkətlər bu rolları ayrıca sənədləşdirir və parametrlərin bir-birindən asılı olmadığını bildirir. Məsələn, OpenAI deyir ki, onun botları üçün hər robots.txt parametri digərlərindən müstəqildir. Deməli, düzgün edilmiş təlimdən imtina axtarışda görünmənizə toxunmur.
Hansı tokenlər təlimi, hansıları axtarışı idarə edir?
Şirkətlərin sənədləşdirdiyi tokenlər bunlardır, idarə etdikləri sahəyə görə qruplaşdırılıb:
- OpenAI:
GPTBotonun əsas modellərini öyrətmək üçün istifadə oluna biləcək məzmunu tarayır.OAI-SearchBotChatGPT axtarışı üçündür,ChatGPT-Userisə istifadəçi əməliyyatlarını icra edir; OpenAI robots.txt-in ona şamil olunmaya biləcəyini bildirir. - Anthropic:
ClaudeBottəlimə töhfə verə biləcək məzmunu toplayır.Claude-SearchBotClaude-un axtarış nəticələrini yaxşılaşdırır,Claude-Userisə istifadəçilər üçün səhifələri yükləyir. Anthropic botlarının robots.txt-ə əməl etdiyini bildirir. - Google:
Google-Extendedöz botu olmayan robots.txt tokenidir. O, gələcək Gemini modellərinin təlimində, həmçinin Gemini Apps və Vertex AI-da grounding üçün istifadəni idarə edir. Google onun Google Search-ə daxil olmaya və sıralamaya təsir etmədiyini bildirir; bunuGooglebotidarə edir. - Apple:
Applebot-Extendedtarama aparmır; o,Applebot-un taradığı məzmunun Apple-ın əsas modellərini öyrətmək üçün istifadə olunub-olunmayacağını idarə edir. Apple bildirir ki, onu qadağan edən səhifələr yenə də onun axtarış nəticələrində görünə bilər. - Meta:
meta-externalagentəsas modellərin təlimi kimi məqsədlər üçün tarayır,meta-webindexerisə Meta AI axtarış nəticələrini yaxşılaşdırır. - Common Crawl:
CCBotCommon Crawl-un açıq veb arxivini qurur. Cloudflare-in idarə olunan robots.txt-i onu qadağan etdiyi AI təlim botları sırasında göstərir. - Perplexity:
PerplexityBotvəPerplexity-Useraxtarış və istifadəçi sorğularına xidmət edir. Perplexity bildirir ki, heç biri təlim məlumatları toplamaq üçün istifadə olunmur, buna görə bloklanacaq Perplexity təlim tokeni yoxdur.
robots.txt necə görünür?
RFC 9309-a görə ardıcıl bir neçə User-agent sətri bir qrup təşkil edir və qaydalar onların hər birinə şamil olunur. Bu fayl yuxarıdakı təlim tokenlərindən imtina edir, axtarış və istifadəçi agentlərinə icazə verir və bir şəxsi yolu hamı üçün bağlı saxlayır:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml İki detal vacibdir. Birincisi, adlı qrup * qrupundan heç nə miras almır, buna görə istənilən şəxsi yollar axtarış qrupunda təkrarlanmalıdır. İkincisi, Googlebot və ya Applebot-u təlim qrupuna əlavə etməyin: onlar axtarış botlarıdır və onları bloklamaq sizi Google Search-dən və Apple-ın axtarış funksiyalarından çıxarır. Dəyişikliklər dərhal qüvvəyə minmir: OpenAI axtarış üçün təxminən 24 saat, Perplexity isə 24 saatadək deyir.
Neçə sayt artıq bunu edir?
Gözlədiyinizdən az. 2026-11-12 tarixində Tranco siyahısındakı ən populyar 1 000 domenin robots.txt fayllarını oxuduq. robots.txt verən 518 saytdan 155-i (29,9%) ana səhifəni ən azı bir AI təlim botu üçün qadağan edir. Yalnız 57-si (11,0%) seçici yolu tutur: təlim botlarını bloklayır və yoxladığımız bütün AI axtarış və istifadəçi botlarına icazə verir. Ümumilikdə 101 sayt (19,5%) ən azı bir AI axtarış və ya istifadəçi botunu bloklayır.
Botlar üzrə rəqəmlər də eyni bölgünü göstərir. GPTBot 111 saytda (21,4%), OAI-SearchBot isə 58 saytda (11,2%) bloklanıb. ClaudeBot 110 saytda (21,2%), Claude-SearchBot isə 67 saytda (12,9%) bloklanıb. Google-Extended 94 saytda (18,1%), Googlebot isə 14 saytda (2,7%) bloklanıb. Yalnız 18 sayt (3,5%) Content-Signal-dan istifadə edir.
Araşdırma yalnız ana səhifə üçün robots.txt qaydalarına baxır. O, firewall bloklarını ölçmür və hər saytın nə niyyətdə olduğunu göstərmir.
Content-Signal nə əlavə edir?
Content Signals Cloudflare-in contentsignals.org ünvanında dərc etdiyi robots.txt genişlənməsidir. Content-Signal sətri məzmundan necə istifadə oluna biləcəyini üç siqnalla bildirir: search (axtarış indeksi qurmaq və keçidlər ilə qısa çıxarışlar göstərmək), ai-input (məzmunu real vaxtda AI modellərinə ötürmək, məsələn generativ cavablar üçün grounding və ya axtarış) və ai-train (modelləri öyrətmək və ya fine-tuning etmək).
Nəzərə alın ki, search tərifi AI tərəfindən yaradılan axtarış xülasələrini əhatə etmir. AI cavablarında görünmək istəyirsinizsə, yuxarıdakı nümunədə olduğu kimi ai-input=yes də təyin edin. Cloudflare-in idarə olunan robots.txt-i standart olaraq search=yes, ai-train=no əlavə edir; buraxdığınız siqnal həmin istifadəyə nə icazə verir, nə də onu məhdudlaşdırır.
Bunlar bildirilmiş üstünlüklərdir. Content Signals saytı onların taramanın qarşısını texniki səviyyədə almadığını deyir, Cloudflare isə robots.txt-ə əməl etməyin könüllü olduğunu qeyd edir. Yoxladığımız OpenAI, Anthropic, Google və Perplexity bot səhifələrinin heç biri Content-Signal-ı oxuyub-oxumadıqlarını demir, buna görə onu hər bot üçün qrupları əvəz edən deyil, onlara əlavə kimi qəbul edin.
Bölgü harada təmiz işləmir?
Bir neçə hal diqqət tələb edir:
- Google AI Overviews və AI Mode
Googlebot-un qurduğu Search indeksinə əsaslanır, buna görəGoogle-Extendedsizi onlardan çıxarmır. Google-un Search Console yardımı əlavə edir ki,Google-ExtendedSearch-ün generativ AI funksiyalarının arxasındakı modellərin təlimini məhdudlaşdırır; bot sənədləri bu əhatəni qeyd etmir. Google indi saytı AI Overviews və AI Mode-dan çıxarmaq üçün ayrıca Search Console parametri təklif edir. - OpenAI bildirir ki, sayt həm
GPTBot-a, həm dəOAI-SearchBot-a icazə verirsə, bir taramanın nəticələrindən hər iki məqsəd üçün istifadə edə bilər. Məzmunun təlim üçün istifadə olunmamasını bildirən məhzGPTBot-u qadağan etməkdir. - İmtinalar gələcəyə aiddir. Məsələn, Anthropic
ClaudeBot-u qadağan etməyi saytınızın gələcək məzmununu təlim məlumat dəstlərindən çıxarmaq kimi təsvir edir. - İstifadəçinin işə saldığı botlar arada qalır. OpenAI və Perplexity bildirir ki, robots.txt
ChatGPT-User-ə şamil olunmaya bilər və adətənPerplexity-User-ə şamil olunmur. - Firewall-lar robots.txt oxumur. Botları geniş bloklayan qayda icazə verdiyiniz axtarış botlarını dayandıra bilər. Təlim blokunu firewall-da tətbiq edirsinizsə, təlim agentlərini adla uyğunlaşdırın və onları dərc olunmuş IP diapazonları ilə təsdiqləyin.
Bölgünün işlədiyini necə yoxlayım?
robots.txt-inizi hər botun oxuduğu kimi oxuyun: onun adını çəkən qrupu tapın, yalnız belə qrup yoxdursa *-a keçin və ən uzun uyğun gələn qaydanı tətbiq edin. Sonra səhifəni hər axtarış botunun user agent-i ilə sorğulayın və onun 403 və ya challenge səhifəsi yox, tam məzmunla 200 aldığını təsdiqləyin.
AISeeWhy təlim, axtarış və istifadəçi agentləri kimi qruplaşdırılmış 14 bot üçün hər ikisini edir və ən çox rast gəlinən səhvi qeyd edir: təlimi bloklamaq istəyərkən PerplexityBot və ya Claude-SearchBot kimi axtarış tokenini bloklamaq.
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- AI botlarının IP yoxlaması
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
GPTBot-u bloklamaq saytımı ChatGPT cavablarından çıxaracaqmı?
Xeyr. OpenAI bildirir ki, GPTBot təlim üçündür və hər robots.txt parametri müstəqildir. ChatGPT axtarışı OAI-SearchBot-dan istifadə edir; ona icazə verildiyi və firewall-unuz onu bloklamadığı müddətdə səhifələriniz uyğun olaraq qalır.
Google-Extended-i bloklamaq məni AI Overviews-dan çıxarırmı?
Google-un sənədlərinə görə yox. Google bildirir ki, Google-Extended Google Search-ə daxil olmaya təsir etmir, AI Overviews isə Search indeksinə əsaslanır. Google saytı AI Overviews və AI Mode-dan çıxarmaq üçün ayrıca Search Console parametri təklif edir.
Bütün AI təlimini bloklayan tək bir sətir varmı?
Standart belə sətir yoxdur. Content-Signal: ai-train=no bütün botlar üçün üstünlüyü bildirir, lakin botun ona əməl edib-etməməsi operatordan asılıdır. Sənədləşdirilmiş yol hər təlim tokeni üçün adlı qruplardır.
AI təlimini dayandırmaq üçün Perplexity-ni bloklamalıyammı?
Perplexity bildirir ki, onun agentləri təlim məlumatları toplamaq üçün istifadə olunmur. PerplexityBot-u bloklamaq təlimdən imtina rolunu oynamadan Perplexity-nin axtarış nəticələrində görünmənizi azaldır.
Mənbələr
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Google: Common crawlers, including Google-Extended
- Google Search Console Help: Search generative AI control
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot
- Perplexity: Perplexity crawlers
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt and Content Signals
- AISeeWhy: AI Crawler Access Report, 2026-11