robots.txt-ը արգելում է OAI-SearchBot ռոբոտին

Կարճ պատասխան

Ձեր robots.txt-ն ունի Disallow կանոն, որը համընկնում է այս էջի հետ այս ռոբոտի նշանի համար։ Աուդիտը կիրառում է RFC 9309-ը. ռոբոտի սեփական խումբը, եթե այն կա, հակառակ դեպքում՝ * խումբը, և հաղթում է ամենաերկար համընկնող կանոնը։ Ավելացրեք Allow ռոբոտի համար կամ հեռացրեք կանոնը, եթե ցանկանում եք թույլատրել այն։

robots.disallowed · Առաջնահերթություն: P1–P3՝ ըստ ռոբոտի տեսակի

Ինչ է դա նշանակում

Ձեր robots.txt-ի կանոնները թույլ չեն տալիս OAI-SearchBot ռոբոտին բեռնել /։

Ինչու է սա կարևոր AI որոնման համար

Կարգապահ AI ռոբոտները հետևում են robots.txt-ին։ Եթե OAI-SearchBot-ը, Claude-SearchBot-ը կամ PerplexityBot-ն արգելված են, էջը չի բեռնվում նրանց որոնման ինդեքսների համար, ուստի հնարավոր չէ այն մեջբերել նրանց պատասխաններում։ Ուսուցման նշանների արգելումը, ինչպիսիք են GPTBot-ը, ClaudeBot-ը, Google-Extended-ը կամ Applebot-Extended-ը, դադարեցնում է միայն մոդելների ուսուցման համար օգտագործումը։

Շատ կայքեր AI ռոբոտներին արգելափակում են պատահաբար. ձևանմուշ, որն արգելում է ամեն ինչ, բացի Googlebot-ից, կամ User-agent: * խումբ Disallow: /-ով, որը մնացել է staging-ից։ Նկատի ունեցեք, որ Applebot-ն օգտագործում է Googlebot-ի խումբը, երբ սեփական խումբ չունի։

Ինչպես ուղղել

  1. Գտեք կանոնը բացահայտման մեջ. այն նշում է ռոբոտի նշանը և ուղին։ AISeeWhy-ի հաշվետվությունը ցույց է տալիս ապացույցները և տեղադրելու պատրաստ ուղղումը. դրանից հետո գործարկեք «Կրկին ստուգել»՝ արդյունքը հաստատելու համար։
  2. Հեռացրեք ռոբոտի նշանը ցանկացած խմբից, որն արգելում է էջը, ապա ավելացրեք նրա սեփական խումբը Allow: /-ով։ Կոնկրետ խումբը փոխարինում է * խմբին այդ ռոբոտի համար, ուստի *-ի տակ գտնվող կանոններն այլևս չեն կիրառվում նրա նկատմամբ։
  3. WordPress-ում ստուգեք, արդյոք robots.txt-ը իրական ֆայլ է վեբ արմատում, թե ստեղծվում է SEO պլագինով, ինչպիսիք են Yoast-ը կամ Rank Math-ը, և խմբագրեք այն այնտեղ։ Shopify-ում խմբագրեք robots.txt.liquid թեմայի ձևանմուշը։
  4. Cloudflare-ում ստուգեք, արդյոք կառավարվող robots.txt-ի կարգավորումը ձեր սեփական ֆայլի վրա AI ռոբոտների կանոններ չի ավելացնում։
  5. Պահեք ուսուցման նշաններն արգելված, եթե դա է ձեր քաղաքականությունը. դա չի ազդում որոնողական ռոբոտների վրա, որոնք օգտագործում են առանձին նշաններ։

Օրինակ

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Ինչպես համոզվել, որ ուղղումն աշխատել է

Փոփոխությունից հետո սեղմեք «Կրկին ստուգել» հաշվետվության վրա. այն ցույց է տալիս, թե ինչ է ուղղվել և ինչպես է փոխվել գնահատականը։

Ստուգել իմ էջը →

Առնչվող ուղեցույցներ

Բոլոր բացահայտումները և ինչպես է հաշվարկվում գնահատականը