robots.txt-ը արգելում է OAI-SearchBot ռոբոտին
Ձեր robots.txt-ն ունի Disallow կանոն, որը համընկնում է այս էջի հետ այս ռոբոտի նշանի համար։ Աուդիտը կիրառում է RFC 9309-ը. ռոբոտի սեփական խումբը, եթե այն կա, հակառակ դեպքում՝ * խումբը, և հաղթում է ամենաերկար համընկնող կանոնը։ Ավելացրեք Allow ռոբոտի համար կամ հեռացրեք կանոնը, եթե ցանկանում եք թույլատրել այն։
Ինչ է դա նշանակում
Ձեր robots.txt-ի կանոնները թույլ չեն տալիս OAI-SearchBot ռոբոտին բեռնել /։
Ինչու է սա կարևոր AI որոնման համար
Կարգապահ AI ռոբոտները հետևում են robots.txt-ին։ Եթե OAI-SearchBot-ը, Claude-SearchBot-ը կամ PerplexityBot-ն արգելված են, էջը չի բեռնվում նրանց որոնման ինդեքսների համար, ուստի հնարավոր չէ այն մեջբերել նրանց պատասխաններում։ Ուսուցման նշանների արգելումը, ինչպիսիք են GPTBot-ը, ClaudeBot-ը, Google-Extended-ը կամ Applebot-Extended-ը, դադարեցնում է միայն մոդելների ուսուցման համար օգտագործումը։
Շատ կայքեր AI ռոբոտներին արգելափակում են պատահաբար. ձևանմուշ, որն արգելում է ամեն ինչ, բացի Googlebot-ից, կամ User-agent: * խումբ Disallow: /-ով, որը մնացել է staging-ից։ Նկատի ունեցեք, որ Applebot-ն օգտագործում է Googlebot-ի խումբը, երբ սեփական խումբ չունի։
Ինչպես ուղղել
- Գտեք կանոնը բացահայտման մեջ. այն նշում է ռոբոտի նշանը և ուղին։ AISeeWhy-ի հաշվետվությունը ցույց է տալիս ապացույցները և տեղադրելու պատրաստ ուղղումը. դրանից հետո գործարկեք «Կրկին ստուգել»՝ արդյունքը հաստատելու համար։
- Հեռացրեք ռոբոտի նշանը ցանկացած խմբից, որն արգելում է էջը, ապա ավելացրեք նրա սեփական խումբը
Allow: /-ով։ Կոնկրետ խումբը փոխարինում է*խմբին այդ ռոբոտի համար, ուստի*-ի տակ գտնվող կանոններն այլևս չեն կիրառվում նրա նկատմամբ։ - WordPress-ում ստուգեք, արդյոք robots.txt-ը իրական ֆայլ է վեբ արմատում, թե ստեղծվում է SEO պլագինով, ինչպիսիք են Yoast-ը կամ Rank Math-ը, և խմբագրեք այն այնտեղ։ Shopify-ում խմբագրեք
robots.txt.liquidթեմայի ձևանմուշը։ - Cloudflare-ում ստուգեք, արդյոք կառավարվող robots.txt-ի կարգավորումը ձեր սեփական ֆայլի վրա AI ռոբոտների կանոններ չի ավելացնում։
- Պահեք ուսուցման նշաններն արգելված, եթե դա է ձեր քաղաքականությունը. դա չի ազդում որոնողական ռոբոտների վրա, որոնք օգտագործում են առանձին նշաններ։
Օրինակ
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Ինչպես համոզվել, որ ուղղումն աշխատել է
Փոփոխությունից հետո սեղմեք «Կրկին ստուգել» հաշվետվության վրա. այն ցույց է տալիս, թե ինչ է ուղղվել և ինչպես է փոխվել գնահատականը։