robots.txt OAI-SearchBot botuna qadağa qoyur
robots.txt-nizdə bu botun tokeni üçün bu səhifəyə uyğun gələn Disallow qaydası var. Audit RFC 9309-u tətbiq edir: botun öz qrupu varsa o, yoxdursa * qrupu, və ən uzun uyğun qayda üstün gəlir. Botun daxil olmasını istəyirsinizsə, onun üçün Allow əlavə edin və ya qaydanı silin.
Nə deməkdir
robots.txt qaydalarınız OAI-SearchBot botunun / yolunu yükləməsinə mane olur.
AI axtarışı üçün niyə vacibdir
Qaydalara əməl edən AI botları robots.txt-ə tabe olur. OAI-SearchBot, Claude-SearchBot və ya PerplexityBot qadağan edilibsə, səhifə onların axtarış indeksləri üçün yüklənmir, buna görə onların cavablarında ondan sitat gətirilə bilməz. GPTBot, ClaudeBot, Google-Extended və ya Applebot-Extended kimi təlim tokenlərini qadağan etmək yalnız modellərin təlimində istifadəni dayandırır.
Bir çox sayt AI botlarını təsadüfən bloklayır: Googlebot-dan başqa hər şeyi qadağan edən şablon və ya staging-dən qalmış Disallow: / ilə User-agent: * qrupu. Nəzərə alın ki, Applebot öz qrupu olmadıqda Googlebot qrupundan istifadə edir.
Necə düzəltmək olar
- Qaydanı tapıntıda tapın: orada botun tokeni və yol göstərilir. AISeeWhy hesabatı sübutu və yapışdırmağa hazır düzəlişi göstərir; nəticəni təsdiqləmək üçün sonra "Yenidən yoxla" düyməsini basın.
- Botun tokenini səhifəni qadağan edən bütün qruplardan silin, sonra
Allow: /ilə onun öz qrupunu əlavə edin. Xüsusi qrup həmin bot üçün*qrupunu əvəz edir, buna görə*altındakı qaydalar artıq ona aid olmur. - WordPress-də robots.txt-in veb kökündə real fayl olduğunu, yoxsa Yoast və ya Rank Math kimi SEO plagini tərəfindən yaradıldığını yoxlayın və onu orada redaktə edin. Shopify-da
robots.txt.liquidmövzu şablonunu redaktə edin. - Cloudflare-də idarə olunan robots.txt ayarının öz faylınızın üzərinə AI bot qaydaları əlavə edib-etmədiyini yoxlayın.
- Siyasətiniz belədirsə, təlim tokenlərini qadağan edilmiş saxlayın; bu, ayrı tokenlərdən istifadə edən axtarış botlarına təsir etmir.
Nümunə
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Düzəlişi necə təsdiqləmək olar
Dəyişiklikdən sonra hesabatda “Yenidən yoxla” düyməsini basın: o, nəyin düzəldildiyini və balın necə dəyişdiyini göstərir.