robots.txt OAI-SearchBot botuna qadağa qoyur

Qısa cavab

robots.txt-nizdə bu botun tokeni üçün bu səhifəyə uyğun gələn Disallow qaydası var. Audit RFC 9309-u tətbiq edir: botun öz qrupu varsa o, yoxdursa * qrupu, və ən uzun uyğun qayda üstün gəlir. Botun daxil olmasını istəyirsinizsə, onun üçün Allow əlavə edin və ya qaydanı silin.

robots.disallowed · Prioritet: P1–P3, botun növünə görə

Nə deməkdir

robots.txt qaydalarınız OAI-SearchBot botunun / yolunu yükləməsinə mane olur.

AI axtarışı üçün niyə vacibdir

Qaydalara əməl edən AI botları robots.txt-ə tabe olur. OAI-SearchBot, Claude-SearchBot və ya PerplexityBot qadağan edilibsə, səhifə onların axtarış indeksləri üçün yüklənmir, buna görə onların cavablarında ondan sitat gətirilə bilməz. GPTBot, ClaudeBot, Google-Extended və ya Applebot-Extended kimi təlim tokenlərini qadağan etmək yalnız modellərin təlimində istifadəni dayandırır.

Bir çox sayt AI botlarını təsadüfən bloklayır: Googlebot-dan başqa hər şeyi qadağan edən şablon və ya staging-dən qalmış Disallow: / ilə User-agent: * qrupu. Nəzərə alın ki, Applebot öz qrupu olmadıqda Googlebot qrupundan istifadə edir.

Necə düzəltmək olar

  1. Qaydanı tapıntıda tapın: orada botun tokeni və yol göstərilir. AISeeWhy hesabatı sübutu və yapışdırmağa hazır düzəlişi göstərir; nəticəni təsdiqləmək üçün sonra "Yenidən yoxla" düyməsini basın.
  2. Botun tokenini səhifəni qadağan edən bütün qruplardan silin, sonra Allow: / ilə onun öz qrupunu əlavə edin. Xüsusi qrup həmin bot üçün * qrupunu əvəz edir, buna görə * altındakı qaydalar artıq ona aid olmur.
  3. WordPress-də robots.txt-in veb kökündə real fayl olduğunu, yoxsa Yoast və ya Rank Math kimi SEO plagini tərəfindən yaradıldığını yoxlayın və onu orada redaktə edin. Shopify-da robots.txt.liquid mövzu şablonunu redaktə edin.
  4. Cloudflare-də idarə olunan robots.txt ayarının öz faylınızın üzərinə AI bot qaydaları əlavə edib-etmədiyini yoxlayın.
  5. Siyasətiniz belədirsə, təlim tokenlərini qadağan edilmiş saxlayın; bu, ayrı tokenlərdən istifadə edən axtarış botlarına təsir etmir.

Nümunə

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Düzəlişi necə təsdiqləmək olar

Dəyişiklikdən sonra hesabatda “Yenidən yoxla” düyməsini basın: o, nəyin düzəldildiyini və balın necə dəyişdiyini göstərir.

Səhifəmi yoxla →

Əlaqəli bələdçilər

Bütün tapıntılar və balın necə hesablandığı