robots.txt inazuia OAI-SearchBot
robots.txt yako ina sheria ya Disallow inayolingana na ukurasa huu kwa tokeni ya crawler hii. Ukaguzi unatumia RFC 9309: kundi la crawler yenyewe kama lipo, la sivyo kundi la *, na sheria ndefu zaidi inayolingana ndiyo inashinda. Ongeza Allow kwa crawler au ondoa sheria kama unataka iingie.
Maana yake
Sheria za robots.txt yako zinazuia OAI-SearchBot kupakua /.
Kwa nini ni muhimu kwa utafutaji wa AI
Crawler za AI zenye nidhamu hutii robots.txt. OAI-SearchBot, Claude-SearchBot au PerplexityBot zikizuiwa, ukurasa haupakuliwi kwa index zao za utafutaji, kwa hivyo hauwezi kunukuliwa kwenye majibu yao. Kuzuia tokeni za mafunzo kama GPTBot, ClaudeBot, Google-Extended au Applebot-Extended kunasimamisha tu matumizi kwa mafunzo ya modeli.
Tovuti nyingi huzuia crawler za AI bila kukusudia: kiolezo kinachozuia kila kitu isipokuwa Googlebot, au kundi la User-agent: * lenye Disallow: / lililobaki kutoka staging. Kumbuka kwamba Applebot hutumia kundi la Googlebot kama haina kundi lake.
Jinsi ya kurekebisha
- Tafuta sheria kwenye dosari: inataja tokeni ya crawler na njia. Ripoti ya AISeeWhy inaonyesha ushahidi na rekebisho tayari kubandikwa; baadaye endesha "Kagua tena" kuthibitisha matokeo.
- Ondoa tokeni ya crawler kwenye kundi lolote linalozuia ukurasa, kisha ongeza kundi lake lenye
Allow: /. Kundi mahususi huchukua nafasi ya kundi la*kwa crawler hiyo, kwa hivyo sheria zilizo chini ya*hazitumiki tena kwake. - Kwenye WordPress, kagua kama robots.txt ni faili halisi kwenye web root au inatengenezwa na plugin ya SEO kama Yoast au Rank Math, na uihariri hapo. Kwenye Shopify, hariri kiolezo cha theme
robots.txt.liquid. - Kwenye Cloudflare, kagua kama mpangilio wa managed robots.txt unaongeza sheria za crawler za AI juu ya faili yako.
- Acha tokeni za mafunzo zikiwa zimezuiwa kama hiyo ndiyo sera yako; haiathiri crawler za utafutaji zinazotumia tokeni tofauti.
Mfano
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Jinsi ya kuthibitisha rekebisho
Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.