Jinsi ya kuzuia mafunzo ya AI lakini kubaki kwenye majibu ya utafutaji wa AI
Watoa huduma wengi wa AI hutumia tokeni tofauti za robots.txt kwa mafunzo ya miundo na kwa utafutaji. Zuia tokeni za mafunzo, kama GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent na CCBot, na uruhusu tokeni za utafutaji na za watumiaji, kama OAI-SearchBot, Claude-SearchBot na PerplexityBot. Ongeza mstari wa Content-Signal ili kueleza upendeleo huohuo kwa maneno.
Wamiliki wengi wa tovuti wanataka mambo mawili kwa wakati mmoja: hawataki maudhui yao yatumike kufunza miundo ya AI, na wanataka wasaidizi wa AI wapate, wanukuu na waunganishe kurasa zao. Kwa kuwa watoa huduma wakubwa sasa hugawanya kazi hizi kati ya crawler au tokeni tofauti, robots.txt inaweza kueleza chaguo zote mbili. Changamoto ni kwamba majina yanatofautiana kati ya watoa huduma, baadhi ya watoa huduma hawafuati mtindo huu, na mstari mmoja usio sahihi unaweza kukuondoa kwenye majibu ya AI badala ya kwenye data ya mafunzo.
Kwenye ukurasa huu
- Kuna tofauti gani kati ya crawler ya mafunzo na crawler ya utafutaji?
- Tokeni zipi hudhibiti mafunzo na zipi hudhibiti utafutaji?
- robots.txt inaonekanaje?
- Ni tovuti ngapi tayari zinafanya hivi?
- Content-Signal inaongeza nini?
- Mgawanyiko huu haufanyi kazi vizuri wapi?
- Ninakaguaje kwamba mgawanyiko unafanya kazi?
Kuna tofauti gani kati ya crawler ya mafunzo na crawler ya utafutaji?
Crawler ya mafunzo hukusanya kurasa ambazo zinaweza kutumika kujenga au kuboresha miundo ya AI. Mafunzo yenyewe hayaleti unukuzi wala kiungo. Crawler ya utafutaji hujenga faharasa ambayo msaidizi wa AI huitumia kupata vyanzo vya jibu, na vyanzo hivyo ndivyo anavyoweza kunukuu. Mpakuaji anayeanzishwa na mtumiaji hufungua ukurasa moja kwa moja kwa sababu mtu ameuliza kuuhusu.
Watoa huduma huelezea majukumu haya kando na husema mipangilio inajitegemea. OpenAI, kwa mfano, inasema kila mpangilio wa robots.txt kwa crawler zake unajitegemea. Kwa hivyo kujiondoa kwenye mafunzo, kukifanywa ipasavyo, hakugusi kuonekana kwako katika utafutaji.
Tokeni zipi hudhibiti mafunzo na zipi hudhibiti utafutaji?
Hizi ndizo tokeni ambazo watoa huduma wameziandika, zikiwa zimepangwa kwa kile zinachodhibiti:
- OpenAI:
GPTBothupitia maudhui ambayo yanaweza kutumika kufunza miundo yake ya msingi.OAI-SearchBotni kwa ajili ya utafutaji wa ChatGPT, naChatGPT-Userhushughulikia vitendo vya watumiaji; OpenAI inasema huenda robots.txt isiihusu. - Anthropic:
ClaudeBothukusanya maudhui ambayo yanaweza kuchangia mafunzo.Claude-SearchBothuboresha matokeo ya utafutaji ya Claude, naClaude-Userhupakua kurasa kwa ajili ya watumiaji. Anthropic inasema bot zake huheshimu robots.txt. - Google:
Google-Extendedni tokeni ya robots.txt isiyo na crawler yake yenyewe. Inadhibiti matumizi katika kufunza miundo ya baadaye ya Gemini na katika grounding kwa Gemini Apps na Vertex AI. Google inasema haiathiri kujumuishwa wala nafasi katika Google Search, ambavyo hudhibitiwa kupitiaGooglebot. - Apple:
Applebot-Extendedhaipitii kurasa; inadhibiti kama maudhui yaliyopitiwa naApplebotyanatumika kufunza miundo ya msingi ya Apple. Apple inasema kurasa zinazoizuia bado zinaweza kuonekana katika matokeo yake ya utafutaji. - Meta:
meta-externalagenthupitia kurasa kwa matumizi kama kufunza miundo ya msingi, hukumeta-webindexerikiboresha matokeo ya utafutaji ya Meta AI. - Common Crawl:
CCBothujenga hifadhi ya umma ya wavuti ya Common Crawl. robots.txt inayosimamiwa na Cloudflare inaiorodhesha miongoni mwa crawler za mafunzo ya AI inazozizuia. - Perplexity:
PerplexityBotnaPerplexity-Userhushughulikia utafutaji na maombi ya watumiaji. Perplexity inasema hakuna kati yao kinachotumika kukusanya data ya mafunzo, kwa hivyo hakuna tokeni ya mafunzo ya Perplexity ya kuzuia.
robots.txt inaonekanaje?
Mistari kadhaa ya User-agent mfululizo huunda kundi moja kwa mujibu wa RFC 9309, kwa hivyo sheria zinatumika kwa kila moja. Faili hili linajiondoa kwenye tokeni za mafunzo zilizo hapo juu, linaruhusu mawakala wa utafutaji na wa watumiaji, na linaweka njia moja ya faragha imefungwa kwa wote:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Mambo mawili ni muhimu. Kwanza, kundi lenye jina halirithi kutoka *, kwa hivyo njia zozote za faragha zinapaswa kurudiwa katika kundi la utafutaji. Pili, usiongeze Googlebot wala Applebot kwenye kundi la mafunzo: hizo ndizo crawler za utafutaji, na kuzizuia kunakuondoa kwenye Google Search na vipengele vya utafutaji vya Apple. Mabadiliko si ya papo hapo: OpenAI inasema takriban saa 24 kwa utafutaji, na Perplexity inasema hadi saa 24.
Ni tovuti ngapi tayari zinafanya hivi?
Ni chache kuliko unavyoweza kutarajia. Tulisoma faili za robots.txt za vikoa 1,000 maarufu zaidi kwenye orodha ya Tranco tarehe 2026-11-12. Kati ya 518 zilizotoa robots.txt, 155 (29.9%) zinazuia ukurasa wa mwanzo kwa angalau crawler moja ya mafunzo ya AI. Ni 57 tu (11.0%) zinazochagua njia ya kuchagua: zinazuia crawler za mafunzo na kuruhusu kila crawler ya utafutaji wa AI na ya watumiaji tuliyojaribu. Kwa jumla, tovuti 101 (19.5%) zinazuia angalau crawler moja ya utafutaji wa AI au ya watumiaji.
Takwimu za crawler moja moja zinaonyesha mgawanyiko uleule. GPTBot imezuiwa kwenye tovuti 111 (21.4%) na OAI-SearchBot kwenye 58 (11.2%). ClaudeBot imezuiwa kwenye 110 (21.2%) na Claude-SearchBot kwenye 67 (12.9%). Google-Extended imezuiwa kwenye 94 (18.1%), Googlebot kwenye 14 (2.7%). Ni tovuti 18 tu (3.5%) zinazotumia Content-Signal.
Utafiti unaangalia sheria za robots.txt kwa ukurasa wa mwanzo pekee. Haupimi vizuizi vya firewall, na hauonyeshi kile kila tovuti ilikusudia.
Content-Signal inaongeza nini?
Content Signals ni kiendelezi cha robots.txt kilichochapishwa na Cloudflare kwenye contentsignals.org. Mstari wa Content-Signal unaeleza jinsi maudhui yanavyoweza kutumika, kwa ishara tatu: search (kujenga faharasa ya utafutaji na kuonyesha viungo na manukuu mafupi), ai-input (kuingiza maudhui kwenye miundo ya AI kwa wakati halisi, kama grounding au retrieval kwa majibu yanayozalishwa) na ai-train (kufunza au kuboresha miundo kwa fine-tuning).
Kumbuka kwamba ufafanuzi wa search hauhusishi muhtasari wa utafutaji unaozalishwa na AI. Ukitaka kuonekana katika majibu ya AI, weka pia ai-input=yes, kama katika mfano hapo juu. robots.txt inayosimamiwa na Cloudflare huongeza search=yes, ai-train=no kwa chaguo-msingi; ishara unayoiacha haitoi ruhusa wala haizuii matumizi hayo.
Hizi ni mapendeleo yaliyotamkwa. Tovuti ya Content Signals inasema hazizuii upitiaji kiufundi, na Cloudflare inabainisha kwamba kufuata robots.txt ni hiari. Hakuna ukurasa wowote wa crawler wa OpenAI, Anthropic, Google au Perplexity tulioukagua unaosema kama zinasoma Content-Signal, kwa hivyo ichukulie kama nyongeza ya makundi ya kila crawler, si mbadala wake.
Mgawanyiko huu haufanyi kazi vizuri wapi?
Hali chache zinahitaji uangalifu:
- Google AI Overviews na AI Mode hutumia faharasa ya Search ambayo
Googlebothujenga, kwa hivyoGoogle-Extendedhaikuondoi humo. Msaada wa Search Console wa Google unaongeza kwambaGoogle-Extendedinazuia mafunzo ya miundo iliyo nyuma ya vipengele vya AI zalishi vya Search, wigo ambao nyaraka zake za crawler hazitaji. Sasa Google inatoa mpangilio tofauti katika Search Console wa kuondoa tovuti kwenye AI Overviews na AI Mode. - OpenAI inasema kwamba tovuti ikiruhusu
GPTBotnaOAI-SearchBotzote mbili, inaweza kutumia matokeo ya upitiaji mmoja kwa madhumuni yote mawili. KuzuiaGPTBotndiko kunakoashiria kwamba maudhui hayapaswi kutumika kwa mafunzo. - Kujiondoa kunahusu siku zijazo. Anthropic, kwa mfano, inaeleza kuzuia
ClaudeBotkuwa kunaondoa maudhui ya baadaye ya tovuti yako kwenye seti za data za mafunzo. - Wapakuaji wanaoanzishwa na watumiaji wako katikati. OpenAI na Perplexity zinasema huenda robots.txt isihusu
ChatGPT-Userna kwa kawaida haihusuPerplexity-User. - Firewall hazisomi robots.txt. Sheria pana ya kuzuia bot inaweza kusimamisha crawler za utafutaji ulizoziruhusu. Ukitekeleza kizuizi cha mafunzo kwenye firewall, linganisha mawakala wa mafunzo kwa jina na uwathibitishe kwa masafa yao ya IP yaliyochapishwa.
Ninakaguaje kwamba mgawanyiko unafanya kazi?
Soma robots.txt yako kama kila crawler ingeisoma: tafuta kundi linaloitaja, rudi kwenye * tu kama hakuna, na tumia sheria ndefu zaidi inayolingana. Kisha omba ukurasa kwa user agent ya kila crawler ya utafutaji na uthibitishe kwamba inapata 200 yenye maudhui kamili, si 403 wala ukurasa wa changamoto.
AISeeWhy hufanya yote mawili kwa crawler 14, zikiwa zimegawanywa kuwa mawakala wa mafunzo, wa utafutaji na wa watumiaji, na huashiria kosa la kawaida zaidi: kuzuia tokeni ya utafutaji kama PerplexityBot au Claude-SearchBot huku ukikusudia kuzuia mafunzo.
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Ukaguzi wa IP ya crawler za AI
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Maswali yanayoulizwa mara kwa mara
Je, kuzuia GPTBot kutaondoa tovuti yangu kwenye majibu ya ChatGPT?
Hapana. OpenAI inasema GPTBot ni kwa ajili ya mafunzo na kwamba kila mpangilio wa robots.txt unajitegemea. Utafutaji wa ChatGPT hutumia OAI-SearchBot; ilimradi hiyo inaruhusiwa na haizuiwi na firewall yako, kurasa zako zinabaki na sifa ya kuonekana.
Je, kuzuia Google-Extended kunaniondoa kwenye AI Overviews?
Si kwa mujibu wa nyaraka za Google. Google inasema Google-Extended haiathiri kujumuishwa katika Google Search, na AI Overviews hutumia faharasa ya Search. Google inatoa udhibiti tofauti katika Search Console wa kuondoa tovuti kwenye AI Overviews na AI Mode.
Je, kuna mstari mmoja unaozuia mafunzo yote ya AI?
Hakuna mstari wa kawaida unaofanya hivyo. Content-Signal: ai-train=no inaeleza upendeleo kwa crawler zote, lakini kama crawler inauheshimu inategemea mwendeshaji wake. Makundi yenye jina kwa kila tokeni ya mafunzo ndiyo njia iliyoandikwa.
Je, nizuie Perplexity ili kusimamisha mafunzo ya AI?
Perplexity inasema mawakala wake hawatumiki kukusanya data ya mafunzo. Kuzuia PerplexityBot kunapunguza kuonekana kwako katika matokeo ya utafutaji ya Perplexity bila kukuondoa kwenye mafunzo.
Vyanzo
- OpenAI: Muhtasari wa crawler za OpenAI
- Anthropic: Je, Anthropic hupitia data kutoka kwenye wavuti, na wamiliki wa tovuti wanawezaje kuzuia crawler?
- Google: Crawler za kawaida, pamoja na Google-Extended
- Msaada wa Google Search Console: Udhibiti wa AI zalishi katika Search
- Apple: Kuhusu Applebot
- Meta: Crawler za wavuti za Meta
- Common Crawl: CCBot
- Perplexity: Crawler za Perplexity
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: robots.txt inayosimamiwa na Content Signals
- AISeeWhy: Ripoti ya ufikiaji wa crawler za AI, 2026-11