AI botları üçün robots.txt generatoru

Saytınızı hansı AI botlarının oxuya biləcəyini seçin və yaradılan robots.txt-ni kopyalayın. Geniş yayılmış seçim GPTBot və ClaudeBot kimi AI təlim botlarını bloklamaq, OAI-SearchBot və PerplexityBot kimi AI axtarış botlarına isə icazə verməkdir ki, səhifələriniz AI cavablarında görünməyə və istinad almağa davam etsin.

Başlanğıc
AI təlimi
AI axtarışı
İstifadəçi sorğusu ilə yükləmə
Content-Signal (istəyə bağlı): icazə verdiklərinizi işarələyin

İstifadəçi sorğusu ilə yükləyən botları bloklamağın təsiri məhduddur: bəzi provayderlər bildirir ki, bu agentlər robots.txt-yə əməl etməyə bilər, çünki səhifəni insan istəyib. Dərc etməzdən əvvəl nəticəni robots.txt yoxlayıcısı ilə yoxlayın. AI botları üçün robots.txt tester və yoxlayıcısı →

Necə istifadə etmək olar

Faylı domeninizin kökünə qoyun (https://example.com/robots.txt). Digər botlar üçün artıq qaydalarınız varsa, onları saxlayın və yalnız AI qruplarını əlavə edin. Dəyişikliklər hər bot faylı növbəti dəfə oxuyanda, adətən bir gün ərzində qüvvəyə minir.

Tam yoxlamanı işə sal →

Bələdçi

robots.txt generatorundan necə istifadə etmək olar

Bu mətn ingilis dilindən maşın tərcüməsi ilə çevrilib.

Generator nə yazır

Saytınızı oxuya biləcək botları işarələyin, bloklamaq istədiklərinizin işarəsini götürün. Generator hər bloklanmış bot üçün bir qrup olan robots.txt yazır, User-agent: <token> və ardınca Disallow: /, sonra isə qalan hər şeyə icazə verən yekun User-agent: * qrupu. Sitemap ünvanı əlavə etsəniz, Sitemap sətri əlavə edir. Content-Signal seçimlərini işarələsəniz, məzmununuzdan necə istifadə oluna biləcəyini bildirən Content-Signal sətri əlavə edir.

Heç nə brauzerinizdən çıxmır: fayl siz kliklədikcə səhifədə qurulur və onu nəticə sahəsindən kopyalayırsınız.

Hansı şablondan başlamalı

Nümunə: təlimi blokla, AI axtarışına icazə ver

Hər bloklanmış botun öz qrupu var, ona görə onun Disallow: / qaydası yalnız ona aiddir. OAI-SearchBot və Googlebot daxil olmaqla bütün digər botlar User-agent: * qrupuna düşür və hər şeyi oxuya bilər. Content-Signal sətri eyni niyyəti onu oxuyan botlar üçün təkrarlayır: axtarış və real vaxt cavabları bəli, təlim xeyr.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Dərc etməzdən əvvəl

Tipik səhvlər

Tez-tez verilən suallar

GPTBot-u bloklamaq saytımı ChatGPT-dən çıxaracaqmı?

Xeyr. GPTBot təlim məlumatları toplayır. ChatGPT axtarışı OAI-SearchBot istifadə edir, ChatGPT-User isə insanların istədiyi səhifələri açır. İstinad edilmək istəyirsinizsə, onlara icazə verin.

Content-Signal nədir?

robots.txt-də məzmununuzdan necə istifadə oluna biləcəyini bildirən sətir: search, ai-input (real vaxt cavabları) və ai-train (təlim), hər biri bəli və ya xeyr. Dəstək provayderdən asılıdır; botların əməl etdiyi qayda yenə də bota xas qruplardır.

Google-Extended Google Search-ə təsir edirmi?

Xeyr. Bu, Google-un səhifələrinizdən öz AI modelləri üçün istifadə edə bilib-bilməyəcəyini idarə edən yalnız robots.txt tokenidir; Google Search-də skanı və ya sıralamanı dəyişmir.

Seçimim haraya isə göndərilirmi?

Xeyr. Generator brauzerinizdə işləyir və siz faylı yoxlamağı seçənə qədər serverimizə heç nə göndərilmir.

Əlaqəli alətlər və bələdçilər