AI botları üçün robots.txt tester və yoxlayıcısı

Səhifənin ünvanını daxil edin: saytın robots.txt faylını oxuyuruq və hər AI və axtarış botu üçün onun həmin səhifəni yükləyə bilib-bilmədiyini göstəririk. Və ya robots.txt-ni dərc etməzdən əvvəl yoxlamaq üçün onu yapışdırın.

robots.txt yalnız xahişdir. Firewall və ya bot mühafizəsi robots.txt-nin icazə verdiyi botu yenə də bloklaya bilər; tam yoxlama bunu yoxlayır. Tam yoxlamanı işə sal →

Açıq səhifə üçün eyni yoxlama, bir kliklə: AI bot yoxlayıcısı ↗

AI botları robots.txt-ni necə oxuyur

Hər bot öz tokenini (məsələn, GPTBot və ya PerplexityBot) adlandıran qrupa əməl edir; yalnız belə qrup olmadıqda User-agent: * qrupuna əməl edir. Qrup daxilində ən uzun uyğun gələn qayda qalib gəlir, bərabərlikdə isə Allow qalib gəlir. GPTBot, ClaudeBot və ya Google-Extended kimi təlim botlarını bloklamaq məzmununuzu modellərin təlimindən kənarda saxlayır; OAI-SearchBot, ChatGPT-User və ya PerplexityBot kimi axtarış və istifadəçi botlarını bloklamaq isə səhifələrinizi AI cavablarından kənarda saxlayır.

Bələdçi

robots.txt testerindən necə istifadə etmək olar

Bu mətn ingilis dilindən maşın tərcüməsi ilə çevrilib.

Bu robots.txt tester nəyi yoxlayır

Səhifənin ünvanını daxil edin. Tester həmin ünvanın sxemini və hostunu götürür, bu hostun kökündən /robots.txt faylını oxuyur və onun qaydalarını səhifənizin yolu üçün qiymətləndirir. O, 16 botun hər biri üçün bir suala cavab verir: bu bot həmin səhifəni yükləyə bilərmi?

Botlar gördükləri işə görə qruplaşdırılıb. Təlim botları AI modelləri üçün səhifələr toplayır: GPTBot, ClaudeBot, CCBot, Bytespider və Meta-ExternalAgent, üstəlik yalnız robots.txt-də işlənən Google-Extended və Applebot-Extended tokenləri; bunlar özləri sayta gəlmir, lakin Google və Apple-a artıq yüklədikləri səhifələrdən istifadə edə bilib-bilməyəcəklərini bildirir. Axtarış botları AI cavablarının və axtarış nəticələrinin istinad etdiyi indeksləri qurur: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot və Applebot. İstifadəçi agentləri insan assistentdən səhifəni açmağı xahiş edəndə onu yükləyir: ChatGPT-User, Claude-User və Perplexity-User.

Ünvan əvəzinə robots.txt mətnini də yapışdıra bilərsiniz. Bu halda heç nə yüklənmir: tester yapışdırdığınız mətni qiymətləndirir, beləliklə dəyişikliyi dərc etməzdən əvvəl sınaya bilərsiniz. Yapışdırılan mətn yalnız cavab üçün istifadə olunur və saxlanılmır.

Nəticələri necə oxumaq olar

Cədvəldə hər bot üçün bir sətir var. Yolunuzun sütununda İcazə verilir və ya Bloklanıb yazılır. Son sütun faylın hansı hissəsinin qərar verdiyini göstərir:

Cədvəlin altında faylda göstərilən Sitemap sətirlərini və varsa, Content-Signal sətrini görürsünüz. Ünvan mətn faylı əvəzinə veb səhifə qaytarıbsa və ya heç bir fayl qaytarmayıbsa, tester bunu bildirir: botlar /robots.txt ünvanındakı HTML səhifəni faylın olmaması kimi qəbul edir.

İcazə verilir yazılan sətir yalnız robots.txt-nin həmin botu dayandırmadığını bildirir. Bu, botun sayta gələcəyi demək deyil və firewall-unuz haqqında heç nə demir.

Bot öz qaydalarını necə seçir

robots.txt standartı olan RFC 9309 demək olar ki, hər gözlənilməz nəticəni izah edən üç qayda müəyyən edir. Bot əvvəlcə User-agent sətri onun tokeninə uyğun gələn qrupları axtarır, böyük-kiçik hərf fərqinə baxmadan. Belə qrup taparsa, yalnız həmin qruplara əməl edir və User-agent: * qrupuna tamamilə məhəl qoymur. Seçilmiş qrupda ən uzun uyğun gələn yolu olan qayda qalib gəlir, Allow və Disallow eyni uzunluqla uyğun gələrsə, Allow qalib gəlir.

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

Bu faylla GPTBot bütün səhifələrdən bloklanır, çünki onun öz qrupu var. Digər bütün botlar /private/press/kit.pdf faylını yükləyə bilər, çünki Allow: /private/press/ qaydası Disallow: /private/ qaydasından uzundur, /private/notes/ isə onlar üçün bloklanıb. Hər iki yolu testerdə yoxlayın və qərarın bir qrupdan digərinə keçdiyini görəcəksiniz.

Nümunələrlə tipik səhvlər

Təlim, axtarış və istifadəçi botları: hər birini bloklamaq nə edir

Təlim botunu bloklamaq siyasət seçimidir. Bu, səhifələrinizi gələcək model təlimindən kənarda saxlayır və AI axtarışının bu gün sizə istinad edə bilməsinə təsir etmir. OAI-SearchBot, Claude-SearchBot və ya PerplexityBot kimi axtarış botunu bloklamaq səhifələrinizi həmin assistentin cavablarından kənarda saxlayır. Googlebot və ya Bingbot botunu bloklamaq sizi həmin axtarış sistemlərindən və onların üzərində qurulmuş AI funksiyalarından çıxarır.

ChatGPT-User kimi istifadəçi agentləri səhifənizi istəyən insanın adından işləyir. Bəzi provayderlər bildirir ki, bu agentlər belə sorğularda robots.txt-yə əməl etməyə bilər, ona görə onlar üçün qayda zəmanət deyil, xahişdir. Təlimin söndürülməsini və AI axtarışının açıq qalmasını istəyirsinizsə, təlim tokenlərini bloklayın, axtarış və istifadəçi tokenlərinə toxunmayın.

Dərc etməzdən əvvəl yoxlayın, sonra yenidən yoxlayın

Qaralamanızı testerə yapışdırın, məhsul və ya qiymətlər səhifəsi kimi vacib səhifənin yolunu təyin edin və sizin üçün vacib olan hər botun sətrini oxuyun. Bloklamaq istədiyiniz yolla təkrarlayın. Nəticələr niyyətinizə uyğun gələndə faylı dərc edin və testeri canlı ünvanla yenidən işə salın: bu, serverin redaktə etdiyiniz faylı qaytardığını sübut edir.

Botlar robots.txt-ni keşləyir; məsələn, Google adətən öz nüsxəsini 24 saat ərzində yeniləyir. Dəyişikliyin onların davranışında görünməsi bir gün çəkə bilər, Google Search Console-dakı robots.txt hesabatı isə Google-un sonuncu yüklədiyi nüsxəni göstərir.

robots.txt bota icazə verir, amma o yenə də bloklanır

robots.txt yalnız xahişdir. Firewall, bot mühafizəsi xidməti və ya CDN qaydası insanlar səhifəni alarkən bota yenə də 403 və ya challenge səhifəsi ilə cavab verə bilər. Tester bunu görə bilmir, çünki yalnız bir faylı oxuyur. Tam yoxlama səhifənizi adi brauzerlə yanaşı hər botun user agent-i ilə yükləyir və hansı botun fərqli cavab aldığını HTTP statusu və firewall-un imzası ilə göstərir.

Tez-tez verilən suallar

Bu, Google-un robots.txt Tester aləti ilə eynidirmi?

Xeyr. Google ayrıca robots.txt Tester alətini 2023-cü ildə dayandırdı; indi Search Console-dakı robots.txt hesabatı yalnız Google botları üçün Google-un yüklədiyi faylı və təhlil xətalarını göstərir. Bu tester eyni RFC 9309 qaydalarını eyni anda 16 AI və axtarış botuna tətbiq edir.

İcazə verilir botun səhifəmi oxuyacağı və ya ona istinad edəcəyi deməkdirmi?

Xeyr. Bu, robots.txt-nin bunu qadağan etmədiyi deməkdir. Botun səhifəni alıb-almaması serverinizdən və firewall-unuzdan, assistentin ona istinad edib-etməməsi isə məzmununuzdan və verilən sualdan asılıdır.

Bot niyə «qayda yoxdur» göstərir?

Faylınızda onun tokeni üçün qrup və User-agent: * qrupu yoxdur, ona görə ona heç nə tətbiq olunmur və bütün yollara icazə verilir.

Hələ dərc olunmamış robots.txt-ni yoxlaya bilərəmmi?

Bəli. Mətni ikinci sahəyə yapışdırın və yoxlanılacaq yolu daxil edin. Saytınızdan heç nə yüklənmir və yapışdırılan mətn saxlanılmır.

Tester GPTBot və ya digər botlar adından sorğu göndərirmi?

Xeyr. O, yalnız robots.txt-nizi oxuyur və qaydaları tətbiq edir. Hər botun serverinizdən əslində nə aldığını görmək üçün tam yoxlamanı işə salın.

Ondan nə qədər tez-tez istifadə edə bilərəm?

Pulsuzdur və hesab tələb etmir. Hamı üçün əlçatan qalması üçün hər şəbəkə saatda məhdud sayda test edə bilər.

Əlaqəli alətlər və bələdçilər