Kizalishaji cha robots.txt kwa crawler za AI

Chagua crawler zipi za AI zinaweza kusoma tovuti yako na unakili robots.txt iliyozalishwa. Chaguo la kawaida ni kuzuia crawler za mafunzo ya AI kama GPTBot na ClaudeBot lakini kuruhusu crawler za utafutaji wa AI kama OAI-SearchBot na PerplexityBot, ili kurasa zako bado ziweze kuonekana na kunukuliwa kwenye majibu ya AI.

Anza kutoka
Mafunzo ya AI
Utafutaji wa AI
Upakuaji ulioombwa na mtumiaji
Content-Signal (si lazima): weka alama kwenye unachoruhusu

Kuzuia wapakuaji wanaoombwa na mtumiaji kuna athari ndogo: baadhi ya watoa huduma wanasema mawakala hawa huenda wasifuate robots.txt, kwa sababu mtu ndiye aliyeomba ukurasa. Jaribu matokeo kwa kikagua robots.txt kabla ya kuyachapisha. Kikagua na kijaribu cha robots.txt kwa crawler za AI →

Jinsi ya kuitumia

Weka faili kwenye mzizi wa kikoa chako (https://example.com/robots.txt). Kama tayari una sheria za crawler nyingine, zibakize na uongeze makundi ya AI tu. Mabadiliko yanaanza kufanya kazi pale kila crawler itakaposoma faili tena, kwa kawaida ndani ya siku moja.

Fanya ukaguzi kamili →

Mwongozo

Jinsi ya kutumia kizalishaji cha robots.txt

Maandishi haya yametafsiriwa kutoka Kiingereza kwa mashine.

Kizalishaji kinaandika nini

Weka alama kwenye crawler zinazoweza kusoma tovuti yako na uondoe alama kwenye zile unazotaka kuzuia. Kizalishaji kinaandika robots.txt yenye kundi moja kwa kila crawler iliyozuiwa, User-agent: <token> ikifuatiwa na Disallow: /, kisha kundi la mwisho la User-agent: * linaloruhusu kila kitu kingine. Ongeza anwani ya sitemap na kinaongeza mstari wa Sitemap. Weka alama kwenye chaguo za Content-Signal na kinaongeza mstari wa Content-Signal unaoeleza jinsi maudhui yako yanavyoweza kutumika.

Hakuna kinachotoka kwenye kivinjari chako: faili inajengwa kwenye ukurasa unapobofya, na unainakili kutoka kwenye kisanduku cha matokeo.

Uanze na mpangilio upi tayari

Mfano: zuia mafunzo, ruhusu utafutaji wa AI

Kila crawler iliyozuiwa ina kundi lake lenyewe, kwa hivyo Disallow: / yake inaihusu yenyewe pekee. Crawler nyingine zote, ikiwa ni pamoja na OAI-SearchBot na Googlebot, zinaangukia User-agent: * na zinaweza kusoma kila kitu. Mstari wa Content-Signal unarudia nia ile ile kwa crawler zinazousoma: utafutaji na majibu ya wakati halisi ndiyo, mafunzo hapana.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Kabla ya kuchapisha

Makosa ya kawaida

Maswali yanayoulizwa mara kwa mara

Je, kuzuia GPTBot kutaondoa tovuti yangu kwenye ChatGPT?

Hapana. GPTBot hukusanya data ya mafunzo. Utafutaji wa ChatGPT unatumia OAI-SearchBot, na ChatGPT-User hufungua kurasa ambazo watu wanaomba. Ziache zikiruhusiwa ikiwa unataka kunukuliwa.

Content-Signal ni nini?

Mstari katika robots.txt unaoeleza jinsi maudhui yako yanavyoweza kutumika: search, ai-input (majibu ya wakati halisi) na ai-train (mafunzo), kila moja ndiyo au hapana. Uungaji mkono hutofautiana kati ya watoa huduma; makundi mahususi ya crawler ndiyo yanabaki kuwa sheria ambayo crawler hufuata.

Je, Google-Extended inaathiri Google Search?

Hapana. Ni tokeni ya robots.txt pekee inayodhibiti kama Google inaweza kutumia kurasa zako kwa miundo yake ya AI; haibadilishi utambazaji au upangaji katika Google Search.

Je, uchaguzi wangu unatumwa popote?

Hapana. Kizalishaji kinafanya kazi kwenye kivinjari chako na hakuna kinachotumwa kwenye seva yetu hadi uchague kujaribu faili.

Zana na miongozo inayohusiana