Kikagua na kijaribu cha robots.txt kwa crawler za AI
Weka anwani ya ukurasa: tunasoma robots.txt ya tovuti na kuonyesha, kwa kila crawler ya AI na ya utafutaji, kama inaweza kupakua ukurasa huo. Au bandika robots.txt ili kuijaribu kabla ya kuichapisha.
robots.txt ni ombi tu. Firewall au ulinzi dhidi ya bot bado unaweza kuzuia crawler ambayo robots.txt inairuhusu; ukaguzi kamili unajaribu hilo. Fanya ukaguzi kamili →
Kila crawler hufuata kundi linalotaja tokeni yake (kwa mfano GPTBot au PerplexityBot); ikiwa hakuna, hufuata User-agent: *. Ndani ya kundi, sheria ndefu zaidi inayolingana hushinda, na Allow hushinda pale zinapolingana. Kuzuia crawler za mafunzo kama GPTBot, ClaudeBot au Google-Extended huweka maudhui yako nje ya mafunzo ya miundo; kuzuia crawler za utafutaji na za watumiaji kama OAI-SearchBot, ChatGPT-User au PerplexityBot huweka kurasa zako nje ya majibu ya AI.
Mwongozo
Jinsi ya kutumia kikagua cha robots.txt
Maandishi haya yametafsiriwa kutoka Kiingereza kwa mashine.
Kikagua hiki cha robots.txt kinakagua nini
Weka anwani ya ukurasa. Kikagua kinachukua scheme na host ya anwani hiyo, kinasoma /robots.txt kutoka kwenye mzizi wa host hiyo na kutathmini sheria zake kwa njia ya ukurasa wako. Kinajibu swali moja kwa kila moja ya crawler 16: je, crawler hii inaweza kupakua ukurasa huu?
Crawler zimepangwa kwa makundi kulingana na kazi zao. Crawler za mafunzo hukusanya kurasa kwa ajili ya miundo ya AI: GPTBot, ClaudeBot, CCBot, Bytespider na Meta-ExternalAgent, pamoja na tokeni za robots.txt pekee Google-Extended na Applebot-Extended, ambazo hazitembelei zenyewe kamwe lakini zinaambia Google na Apple kama zinaweza kutumia kurasa ambazo tayari zimepakua. Crawler za utafutaji hujenga faharasa ambazo majibu ya AI na matokeo ya utafutaji hunukuu: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot na Applebot. User agent za watumiaji hupakua ukurasa mtu anapomwomba msaidizi kuufungua: ChatGPT-User, Claude-User na Perplexity-User.
Unaweza pia kubandika robots.txt badala ya anwani. Hapo hakuna kinachopakuliwa: kikagua kinatathmini maandishi uliyobandika, kwa hivyo unaweza kujaribu badiliko kabla ya kulichapisha. Maandishi yaliyobandikwa yanatumika kujibu tu na hayahifadhiwi.
Jinsi ya kusoma matokeo
Jedwali lina safu moja kwa kila crawler. Safu wima ya njia yako inasema Inaruhusiwa au Imezuiwa. Safu wima ya mwisho inasema ni sehemu gani ya faili iliyoamua:
Kundi lake lenyewe: faili ina mstari wa User-agent wenye tokeni ya crawler hii, na sheria za kundi hilo pekee ndizo zinazohesabika kwake.
User-agent: *: hakuna kundi linalotaja crawler, kwa hivyo inafuata kundi la jumla.
Hakuna sheria: hakuna kundi linalohusika kabisa, kwa hivyo ukurasa unaruhusiwa.
Chini ya jedwali unaona mistari ya Sitemap ambayo faili inaorodhesha na mstari wake wa Content-Signal, ikiwa upo. Ikiwa anwani ilirudisha ukurasa wa wavuti badala ya faili ya maandishi, au haikurudisha faili yoyote, kikagua kinasema hivyo: crawler huchukulia ukurasa wa HTML ulio kwenye /robots.txt kama faili isiyokuwepo.
Safu inayosema Inaruhusiwa inamaanisha tu kwamba robots.txt haizuii crawler hiyo. Haimaanishi kwamba crawler itatembelea, na haisemi chochote kuhusu firewall yako.
Jinsi crawler inavyochagua sheria zake
RFC 9309, kiwango cha robots.txt, kinaweka sheria tatu zinazoeleza karibu kila matokeo ya kushangaza. Kwanza crawler hutafuta makundi ambayo User-agent yake inalingana na tokeni yake, bila kujali herufi kubwa au ndogo. Ikipata moja, inafuata makundi hayo pekee na kupuuza User-agent: * kabisa. Ndani ya kundi lililochaguliwa, sheria yenye njia ndefu zaidi inayolingana hushinda, na ikiwa Allow na Disallow zinalingana kwa urefu sawa, Allow hushinda.
Kwa faili hii, GPTBot imezuiwa kwenye kila ukurasa, kwa sababu ina kundi lake lenyewe. Kila crawler nyingine inaweza kupakua /private/press/kit.pdf, kwa sababu Allow: /private/press/ ni ndefu kuliko Disallow: /private/, na imezuiwa kwenye /private/notes/. Jaribu njia zote mbili kwenye kikagua na utaona uamuzi ukihama kutoka kundi moja hadi jingine.
Makosa ya kawaida, pamoja na mifano
Mistari ya User-agent iliyorundikwa inashiriki kundi moja. Faili yenye User-agent: GPTBot, kisha User-agent: OAI-SearchBot, kisha Disallow: / inazuia crawler zote mbili, kwa hivyo tovuti iliyokusudia kusimamisha mafunzo inatoweka pia kwenye utafutaji wa ChatGPT.
Kuzuia tokeni isiyo sahihi ya OpenAI. GPTBot hukusanya data ya mafunzo; OAI-SearchBot huamua kama utafutaji wa ChatGPT unaweza kukuonyesha na kukunukuu. Kuzuia OAI-SearchBot au ChatGPT-User ili kusimamisha mafunzo kunakuondoa kwenye majibu badala yake.
Herufi moja inageuza sheria. Disallow: isiyo na kitu baada yake inaruhusu kila kitu; Disallow: / inazuia kila kitu.
Njia hutofautisha herufi kubwa na ndogo. Disallow: /Blog/ haizuii /blog/.
Wildcard zinahitaji uangalifu. Disallow: /*.pdf inazuia pia /file.pdf?download=1; Disallow: /*.pdf$ inazuia tu anwani zinazoishia kwa .pdf.
Faili iko kwenye host isiyo sahihi. robots.txt inahesabika tu kwa scheme na host inayoitoa, kwa hivyo www.example.com, example.com na shop.example.com kila moja inahitaji faili yake.
Seva inajibu kwa hitilafu. Jibu la 4xx linamaanisha crawler zinaweza kupakua kila kitu. Jibu la 5xx au muda kuisha kunamaanisha lazima zichukulie kwamba kila kitu kimekatazwa hadi faili iweze kusomwa tena, kwa hivyo /robots.txt iliyoharibika inaweza kusimamisha utambazaji wote.
Sheria ambazo crawler hazifuati. Noindex: na Crawl-delay: si sehemu ya RFC 9309, na Google inapuuza zote mbili.
Kutarajia robots.txt iondoe ukurasa kwenye utafutaji. Inasimamisha utambazaji, si uorodheshaji: anwani iliyozuiwa bado inaweza kuorodheshwa bila maandishi yake. Ili kuweka ukurasa nje ya faharasa, ruhusu utambazaji na tumia meta tag au header ya noindex.
Crawler za mafunzo, utafutaji na watumiaji: kuzuia kila moja kunafanya nini
Kuzuia crawler ya mafunzo ni uamuzi wa sera. Kunaweka kurasa zako nje ya mafunzo ya miundo ya baadaye na hakuathiri kama utafutaji wa AI unaweza kukunukuu leo. Kuzuia crawler ya utafutaji kama OAI-SearchBot, Claude-SearchBot au PerplexityBot kunaweka kurasa zako nje ya majibu ya msaidizi huyo. Kuzuia Googlebot au Bingbot kunakuondoa kwenye injini hizo za utafutaji na kwenye vipengele vya AI vilivyojengwa juu yake.
User agent kama ChatGPT-User hufanya kazi kwa niaba ya mtu aliyeomba ukurasa wako. Baadhi ya watoa huduma wanasema huenda mawakala hawa wasifuate robots.txt kwa maombi kama hayo, kwa hivyo sheria kwao ni ombi, si hakikisho. Ikiwa unataka mafunzo yazimwe na utafutaji wa AI uwashwe, zuia tokeni za mafunzo na uache tokeni za utafutaji na za watumiaji bila kuzigusa.
Jaribu kabla ya kuchapisha, kisha jaribu tena
Bandika rasimu yako kwenye kikagua, weka njia ya ukurasa muhimu, kama ukurasa wa bidhaa au wa bei, na usome safu ya kila crawler unayojali. Rudia kwa njia uliyokusudia kuzuia. Matokeo yanapolingana na nia yako, chapisha faili na uendeshe kikagua tena kwa anwani hai, jambo linalothibitisha kwamba seva inarudisha faili uliyohariri.
Crawler huhifadhi robots.txt kwenye cache; Google, kwa mfano, kwa kawaida husasisha nakala yake ndani ya saa 24. Badiliko linaweza kuchukua siku moja kuonekana katika tabia yao, na ripoti ya robots.txt katika Google Search Console inaonyesha nakala ambayo Google ilipakua mara ya mwisho.
robots.txt inaporuhusu crawler na bado imezuiwa
robots.txt ni ombi tu. Firewall, huduma ya ulinzi dhidi ya bot au sheria ya CDN bado inaweza kujibu crawler kwa 403 au ukurasa wa changamoto huku watu wakipata ukurasa. Kikagua hakiwezi kuona hilo, kwa sababu kinasoma faili moja tu. Ukaguzi kamili unapakua ukurasa wako kwa user agent ya kila crawler sambamba na kivinjari cha kawaida na kuonyesha ni crawler ipi inapata jibu tofauti, pamoja na hali ya HTTP na alama ya firewall.
Maswali yanayoulizwa mara kwa mara
Je, hiki ni sawa na robots.txt Tester ya Google?
Hapana. Google iliacha robots.txt Tester yake ya pekee mwaka 2023; sasa ripoti ya robots.txt katika Search Console inaonyesha faili ambayo Google ilipakua na hitilafu zozote za uchanganuzi, kwa crawler za Google pekee. Kikagua hiki kinatumia sheria zile zile za RFC 9309 kwa crawler 16 za AI na za utafutaji kwa wakati mmoja.
Je, Inaruhusiwa inamaanisha crawler itasoma au kunukuu ukurasa wangu?
Hapana. Inamaanisha robots.txt haiikatazi. Kama crawler itapata ukurasa inategemea seva yako na firewall, na kama msaidizi ataunukuu inategemea maudhui yako na swali lililoulizwa.
Kwa nini crawler inaonyesha "hakuna sheria"?
Faili yako haina kundi kwa tokeni yake wala kundi la User-agent: *, kwa hivyo hakuna kinachoihusu na kila njia inaruhusiwa.
Je, naweza kujaribu robots.txt ambayo bado haijachapishwa?
Ndiyo. Bandika maandishi kwenye sehemu ya pili na uweke njia ya kujaribu. Hakuna kinachopakuliwa kutoka tovuti yako, na maandishi yaliyobandikwa hayahifadhiwi.
Je, kikagua kinatuma maombi kama GPTBot au crawler nyingine?
Hapana. Kinasoma robots.txt yako tu na kutumia sheria. Ili kuona kile kila crawler inapokea kweli kutoka seva yako, fanya ukaguzi kamili.
Naweza kukitumia mara ngapi?
Ni bure na hakihitaji akaunti. Ili kibaki kinapatikana kwa kila mtu, kila mtandao unaweza kufanya idadi ndogo ya majaribio kwa saa.