Saytınızı hansı AI botlarının oxuya biləcəyini seçin və yaradılan robots.txt-ni kopyalayın. Geniş yayılmış seçim GPTBot və ClaudeBot kimi AI təlim botlarını bloklamaq, OAI-SearchBot və PerplexityBot kimi AI axtarış botlarına isə icazə verməkdir ki, səhifələriniz AI cavablarında görünməyə və istinad almağa davam etsin.
İstifadəçi sorğusu ilə yükləyən botları bloklamağın təsiri məhduddur: bəzi provayderlər bildirir ki, bu agentlər robots.txt-yə əməl etməyə bilər, çünki səhifəni insan istəyib. Dərc etməzdən əvvəl nəticəni robots.txt yoxlayıcısı ilə yoxlayın. AI botları üçün robots.txt tester və yoxlayıcısı →
Necə istifadə etmək olar
Faylı domeninizin kökünə qoyun (https://example.com/robots.txt). Digər botlar üçün artıq qaydalarınız varsa, onları saxlayın və yalnız AI qruplarını əlavə edin. Dəyişikliklər hər bot faylı növbəti dəfə oxuyanda, adətən bir gün ərzində qüvvəyə minir.
robots.txt generatorundan necə istifadə etmək olar
Bu mətn ingilis dilindən maşın tərcüməsi ilə çevrilib.
Generator nə yazır
Saytınızı oxuya biləcək botları işarələyin, bloklamaq istədiklərinizin işarəsini götürün. Generator hər bloklanmış bot üçün bir qrup olan robots.txt yazır, User-agent: <token> və ardınca Disallow: /, sonra isə qalan hər şeyə icazə verən yekun User-agent: * qrupu. Sitemap ünvanı əlavə etsəniz, Sitemap sətri əlavə edir. Content-Signal seçimlərini işarələsəniz, məzmununuzdan necə istifadə oluna biləcəyini bildirən Content-Signal sətri əlavə edir.
Heç nə brauzerinizdən çıxmır: fayl siz kliklədikcə səhifədə qurulur və onu nəticə sahəsindən kopyalayırsınız.
Hansı şablondan başlamalı
Hamısına icazə ver: hər bot hər səhifəni oxuya bilər. Tapılmaq və istinad edilmək istəyən əksər saytlar üçün uyğundur.
Təlimi blokla, AI axtarışına icazə ver: GPTBot, ClaudeBot, CCBot və Google-Extended kimi təlim botları bloklanır; OAI-SearchBot, Claude-SearchBot, PerplexityBot və ChatGPT-User kimi axtarış və istifadəçi botlarına icazə qalır. Səhifələriniz AI cavablarında yenə də görünə və istinad edilə bilər.
Bütün AI botlarını blokla: siyahıdakı hər AI botu bloklanır. Səhifələriniz həmin botlar tərəfindən AI cavabları üçün yüklənməyəcək, bu da adətən daha az istinad və assistentlərdən daha az trafik deməkdir.
Nümunə: təlimi blokla, AI axtarışına icazə ver
Hər bloklanmış botun öz qrupu var, ona görə onun Disallow: / qaydası yalnız ona aiddir. OAI-SearchBot və Googlebot daxil olmaqla bütün digər botlar User-agent: * qrupuna düşür və hər şeyi oxuya bilər. Content-Signal sətri eyni niyyəti onu oxuyan botlar üçün təkrarlayır: axtarış və real vaxt cavabları bəli, təlim xeyr.
Əvəz etməyin, birləşdirin. Mövcud robots.txt-nizdə admin bölmələri, səbətlər və ya axtarış səhifələri üçün qaydalar varsa, onları yeni faylın User-agent: * qrupuna köçürün, əks halda həmin bölmələri bütün botlara açacaqsınız.
Faylı hər hostun kökünə qoyun: https://example.com/robots.txt. Subdomenə öz faylı lazımdır.
Onu 200 statusu ilə adi mətn kimi təqdim edin. Həmin ünvandakı HTML səhifə və ya xəta robots.txt kimi işləmir.
Nəticəni robots.txt testerinə yapışdırın və sizin üçün vacib botlar üçün bir neçə real yolu yoxlayın.
Unutmayın ki, robots.txt xahişdir. Firewall icazə verdiyiniz botu bloklayırsa, fayl bunu düzəldə bilməz; tam yoxlama bunu göstərir.
Tipik səhvlər
Təlimi dayandırmaq üçün OAI-SearchBot və ya PerplexityBot botunu bloklamaq. Bunlar axtarış botlarıdır; onları bloklamaq sizi cavablardan çıxarır.
Yalnız birini bloklamaq istəyərkən bir Disallow: / üstündə bir neçə User-agent sətri yazmaq: ardıcıl sətirlər bir qrup təşkil edir.
ChatGPT-User kimi istifadəçi sorğusu ilə işləyən yükləyicilərin bloka əməl edəcəyini gözləmək. Bəzi provayderlər bildirir ki, səhifəni insan istəyəndə bu agentlər robots.txt-yə əməl etməyə bilər.
Crawl-delay və ya Noindex sətirləri əlavə etmək. Onlar RFC 9309-un hissəsi deyil və Google hər ikisinə məhəl qoymur.
Xeyr. GPTBot təlim məlumatları toplayır. ChatGPT axtarışı OAI-SearchBot istifadə edir, ChatGPT-User isə insanların istədiyi səhifələri açır. İstinad edilmək istəyirsinizsə, onlara icazə verin.
Content-Signal nədir?
robots.txt-də məzmununuzdan necə istifadə oluna biləcəyini bildirən sətir: search, ai-input (real vaxt cavabları) və ai-train (təlim), hər biri bəli və ya xeyr. Dəstək provayderdən asılıdır; botların əməl etdiyi qayda yenə də bota xas qruplardır.
Google-Extended Google Search-ə təsir edirmi?
Xeyr. Bu, Google-un səhifələrinizdən öz AI modelləri üçün istifadə edə bilib-bilməyəcəyini idarə edən yalnız robots.txt tokenidir; Google Search-də skanı və ya sıralamanı dəyişmir.
Seçimim haraya isə göndərilirmi?
Xeyr. Generator brauzerinizdə işləyir və siz faylı yoxlamağı seçənə qədər serverimizə heç nə göndərilmir.