Chagua crawler zipi za AI zinaweza kusoma tovuti yako na unakili robots.txt iliyozalishwa. Chaguo la kawaida ni kuzuia crawler za mafunzo ya AI kama GPTBot na ClaudeBot lakini kuruhusu crawler za utafutaji wa AI kama OAI-SearchBot na PerplexityBot, ili kurasa zako bado ziweze kuonekana na kunukuliwa kwenye majibu ya AI.
Kuzuia wapakuaji wanaoombwa na mtumiaji kuna athari ndogo: baadhi ya watoa huduma wanasema mawakala hawa huenda wasifuate robots.txt, kwa sababu mtu ndiye aliyeomba ukurasa. Jaribu matokeo kwa kikagua robots.txt kabla ya kuyachapisha. Kikagua na kijaribu cha robots.txt kwa crawler za AI →
Jinsi ya kuitumia
Weka faili kwenye mzizi wa kikoa chako (https://example.com/robots.txt). Kama tayari una sheria za crawler nyingine, zibakize na uongeze makundi ya AI tu. Mabadiliko yanaanza kufanya kazi pale kila crawler itakaposoma faili tena, kwa kawaida ndani ya siku moja.
Maandishi haya yametafsiriwa kutoka Kiingereza kwa mashine.
Kizalishaji kinaandika nini
Weka alama kwenye crawler zinazoweza kusoma tovuti yako na uondoe alama kwenye zile unazotaka kuzuia. Kizalishaji kinaandika robots.txt yenye kundi moja kwa kila crawler iliyozuiwa, User-agent: <token> ikifuatiwa na Disallow: /, kisha kundi la mwisho la User-agent: * linaloruhusu kila kitu kingine. Ongeza anwani ya sitemap na kinaongeza mstari wa Sitemap. Weka alama kwenye chaguo za Content-Signal na kinaongeza mstari wa Content-Signal unaoeleza jinsi maudhui yako yanavyoweza kutumika.
Hakuna kinachotoka kwenye kivinjari chako: faili inajengwa kwenye ukurasa unapobofya, na unainakili kutoka kwenye kisanduku cha matokeo.
Uanze na mpangilio upi tayari
Ruhusu zote: kila crawler inaweza kusoma kila ukurasa. Inafaa tovuti nyingi zinazotaka kupatikana na kunukuliwa.
Zuia mafunzo, ruhusu utafutaji wa AI: crawler za mafunzo kama GPTBot, ClaudeBot, CCBot na Google-Extended zinazuiwa; crawler za utafutaji na za watumiaji kama OAI-SearchBot, Claude-SearchBot, PerplexityBot na ChatGPT-User zinabaki kuruhusiwa. Kurasa zako bado zinaweza kuonekana na kunukuliwa katika majibu ya AI.
Zuia crawler zote za AI: kila crawler ya AI kwenye orodha inazuiwa. Kurasa zako hazitapakuliwa kwa ajili ya majibu ya AI na crawler hizo, jambo ambalo kwa kawaida linamaanisha manukuu machache na trafiki ndogo kutoka kwa wasaidizi.
Mfano: zuia mafunzo, ruhusu utafutaji wa AI
Kila crawler iliyozuiwa ina kundi lake lenyewe, kwa hivyo Disallow: / yake inaihusu yenyewe pekee. Crawler nyingine zote, ikiwa ni pamoja na OAI-SearchBot na Googlebot, zinaangukia User-agent: * na zinaweza kusoma kila kitu. Mstari wa Content-Signal unarudia nia ile ile kwa crawler zinazousoma: utafutaji na majibu ya wakati halisi ndiyo, mafunzo hapana.
Unganisha, usibadilishe. Ikiwa robots.txt yako ya sasa ina sheria za maeneo ya admin, vikapu au kurasa za utafutaji, zinakili kwenye kundi la User-agent: * la faili mpya, la sivyo utafungua maeneo hayo kwa crawler zote.
Weka faili kwenye mzizi wa kila host: https://example.com/robots.txt. Subdomain inahitaji faili yake.
Itoe kama maandishi ya kawaida yenye hali 200. Ukurasa wa HTML au hitilafu kwenye anwani hiyo haufanyi kazi kama robots.txt.
Bandika matokeo kwenye kikagua cha robots.txt na ukague njia chache halisi kwa crawler unazojali.
Kumbuka kwamba robots.txt ni ombi. Ikiwa firewall inazuia crawler unayoiruhusu, faili haiwezi kurekebisha hilo; ukaguzi kamili unalionyesha.
Makosa ya kawaida
Kuzuia OAI-SearchBot au PerplexityBot ili kusimamisha mafunzo. Hizo ni crawler za utafutaji; kuzizuia kunakuondoa kwenye majibu.
Kuandika mistari kadhaa ya User-agent juu ya Disallow: / moja wakati ulikusudia kuzuia moja tu kati yake: mistari iliyorundikwa huunda kundi moja.
Kutarajia vipakuzi vinavyoombwa na watumiaji kama ChatGPT-User kutii uzuiaji. Baadhi ya watoa huduma wanasema huenda mawakala hawa wasifuate robots.txt mtu anapoomba ukurasa.
Kuongeza mistari ya Crawl-delay au Noindex. Si sehemu ya RFC 9309 na Google inapuuza zote mbili.
Maswali yanayoulizwa mara kwa mara
Je, kuzuia GPTBot kutaondoa tovuti yangu kwenye ChatGPT?
Hapana. GPTBot hukusanya data ya mafunzo. Utafutaji wa ChatGPT unatumia OAI-SearchBot, na ChatGPT-User hufungua kurasa ambazo watu wanaomba. Ziache zikiruhusiwa ikiwa unataka kunukuliwa.
Content-Signal ni nini?
Mstari katika robots.txt unaoeleza jinsi maudhui yako yanavyoweza kutumika: search, ai-input (majibu ya wakati halisi) na ai-train (mafunzo), kila moja ndiyo au hapana. Uungaji mkono hutofautiana kati ya watoa huduma; makundi mahususi ya crawler ndiyo yanabaki kuwa sheria ambayo crawler hufuata.
Je, Google-Extended inaathiri Google Search?
Hapana. Ni tokeni ya robots.txt pekee inayodhibiti kama Google inaweza kutumia kurasa zako kwa miundo yake ya AI; haibadilishi utambazaji au upangaji katika Google Search.
Je, uchaguzi wangu unatumwa popote?
Hapana. Kizalishaji kinafanya kazi kwenye kivinjari chako na hakuna kinachotumwa kwenye seva yetu hadi uchague kujaribu faili.