Jinsi ya kuzuia mafunzo ya AI lakini kubaki kwenye majibu ya utafutaji wa AI

Imechapishwa

Jibu fupi

Watoa huduma wengi wa AI hutumia tokeni tofauti za robots.txt kwa mafunzo ya miundo na kwa utafutaji. Zuia tokeni za mafunzo, kama GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent na CCBot, na uruhusu tokeni za utafutaji na za watumiaji, kama OAI-SearchBot, Claude-SearchBot na PerplexityBot. Ongeza mstari wa Content-Signal ili kueleza upendeleo huohuo kwa maneno.

Wamiliki wengi wa tovuti wanataka mambo mawili kwa wakati mmoja: hawataki maudhui yao yatumike kufunza miundo ya AI, na wanataka wasaidizi wa AI wapate, wanukuu na waunganishe kurasa zao. Kwa kuwa watoa huduma wakubwa sasa hugawanya kazi hizi kati ya crawler au tokeni tofauti, robots.txt inaweza kueleza chaguo zote mbili. Changamoto ni kwamba majina yanatofautiana kati ya watoa huduma, baadhi ya watoa huduma hawafuati mtindo huu, na mstari mmoja usio sahihi unaweza kukuondoa kwenye majibu ya AI badala ya kwenye data ya mafunzo.

Kwenye ukurasa huu
  1. Kuna tofauti gani kati ya crawler ya mafunzo na crawler ya utafutaji?
  2. Tokeni zipi hudhibiti mafunzo na zipi hudhibiti utafutaji?
  3. robots.txt inaonekanaje?
  4. Ni tovuti ngapi tayari zinafanya hivi?
  5. Content-Signal inaongeza nini?
  6. Mgawanyiko huu haufanyi kazi vizuri wapi?
  7. Ninakaguaje kwamba mgawanyiko unafanya kazi?

Kuna tofauti gani kati ya crawler ya mafunzo na crawler ya utafutaji?

Crawler ya mafunzo hukusanya kurasa ambazo zinaweza kutumika kujenga au kuboresha miundo ya AI. Mafunzo yenyewe hayaleti unukuzi wala kiungo. Crawler ya utafutaji hujenga faharasa ambayo msaidizi wa AI huitumia kupata vyanzo vya jibu, na vyanzo hivyo ndivyo anavyoweza kunukuu. Mpakuaji anayeanzishwa na mtumiaji hufungua ukurasa moja kwa moja kwa sababu mtu ameuliza kuuhusu.

Watoa huduma huelezea majukumu haya kando na husema mipangilio inajitegemea. OpenAI, kwa mfano, inasema kila mpangilio wa robots.txt kwa crawler zake unajitegemea. Kwa hivyo kujiondoa kwenye mafunzo, kukifanywa ipasavyo, hakugusi kuonekana kwako katika utafutaji.

Tokeni zipi hudhibiti mafunzo na zipi hudhibiti utafutaji?

Hizi ndizo tokeni ambazo watoa huduma wameziandika, zikiwa zimepangwa kwa kile zinachodhibiti:

robots.txt inaonekanaje?

Mistari kadhaa ya User-agent mfululizo huunda kundi moja kwa mujibu wa RFC 9309, kwa hivyo sheria zinatumika kwa kila moja. Faili hili linajiondoa kwenye tokeni za mafunzo zilizo hapo juu, linaruhusu mawakala wa utafutaji na wa watumiaji, na linaweka njia moja ya faragha imefungwa kwa wote:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Mambo mawili ni muhimu. Kwanza, kundi lenye jina halirithi kutoka *, kwa hivyo njia zozote za faragha zinapaswa kurudiwa katika kundi la utafutaji. Pili, usiongeze Googlebot wala Applebot kwenye kundi la mafunzo: hizo ndizo crawler za utafutaji, na kuzizuia kunakuondoa kwenye Google Search na vipengele vya utafutaji vya Apple. Mabadiliko si ya papo hapo: OpenAI inasema takriban saa 24 kwa utafutaji, na Perplexity inasema hadi saa 24.

Ni tovuti ngapi tayari zinafanya hivi?

Ni chache kuliko unavyoweza kutarajia. Tulisoma faili za robots.txt za vikoa 1,000 maarufu zaidi kwenye orodha ya Tranco tarehe 2026-11-12. Kati ya 518 zilizotoa robots.txt, 155 (29.9%) zinazuia ukurasa wa mwanzo kwa angalau crawler moja ya mafunzo ya AI. Ni 57 tu (11.0%) zinazochagua njia ya kuchagua: zinazuia crawler za mafunzo na kuruhusu kila crawler ya utafutaji wa AI na ya watumiaji tuliyojaribu. Kwa jumla, tovuti 101 (19.5%) zinazuia angalau crawler moja ya utafutaji wa AI au ya watumiaji.

Takwimu za crawler moja moja zinaonyesha mgawanyiko uleule. GPTBot imezuiwa kwenye tovuti 111 (21.4%) na OAI-SearchBot kwenye 58 (11.2%). ClaudeBot imezuiwa kwenye 110 (21.2%) na Claude-SearchBot kwenye 67 (12.9%). Google-Extended imezuiwa kwenye 94 (18.1%), Googlebot kwenye 14 (2.7%). Ni tovuti 18 tu (3.5%) zinazotumia Content-Signal.

Utafiti unaangalia sheria za robots.txt kwa ukurasa wa mwanzo pekee. Haupimi vizuizi vya firewall, na hauonyeshi kile kila tovuti ilikusudia.

Content-Signal inaongeza nini?

Content Signals ni kiendelezi cha robots.txt kilichochapishwa na Cloudflare kwenye contentsignals.org. Mstari wa Content-Signal unaeleza jinsi maudhui yanavyoweza kutumika, kwa ishara tatu: search (kujenga faharasa ya utafutaji na kuonyesha viungo na manukuu mafupi), ai-input (kuingiza maudhui kwenye miundo ya AI kwa wakati halisi, kama grounding au retrieval kwa majibu yanayozalishwa) na ai-train (kufunza au kuboresha miundo kwa fine-tuning).

Kumbuka kwamba ufafanuzi wa search hauhusishi muhtasari wa utafutaji unaozalishwa na AI. Ukitaka kuonekana katika majibu ya AI, weka pia ai-input=yes, kama katika mfano hapo juu. robots.txt inayosimamiwa na Cloudflare huongeza search=yes, ai-train=no kwa chaguo-msingi; ishara unayoiacha haitoi ruhusa wala haizuii matumizi hayo.

Hizi ni mapendeleo yaliyotamkwa. Tovuti ya Content Signals inasema hazizuii upitiaji kiufundi, na Cloudflare inabainisha kwamba kufuata robots.txt ni hiari. Hakuna ukurasa wowote wa crawler wa OpenAI, Anthropic, Google au Perplexity tulioukagua unaosema kama zinasoma Content-Signal, kwa hivyo ichukulie kama nyongeza ya makundi ya kila crawler, si mbadala wake.

Mgawanyiko huu haufanyi kazi vizuri wapi?

Hali chache zinahitaji uangalifu:

Ninakaguaje kwamba mgawanyiko unafanya kazi?

Soma robots.txt yako kama kila crawler ingeisoma: tafuta kundi linaloitaja, rudi kwenye * tu kama hakuna, na tumia sheria ndefu zaidi inayolingana. Kisha omba ukurasa kwa user agent ya kila crawler ya utafutaji na uthibitishe kwamba inapata 200 yenye maudhui kamili, si 403 wala ukurasa wa changamoto.

AISeeWhy hufanya yote mawili kwa crawler 14, zikiwa zimegawanywa kuwa mawakala wa mafunzo, wa utafutaji na wa watumiaji, na huashiria kosa la kawaida zaidi: kuzuia tokeni ya utafutaji kama PerplexityBot au Claude-SearchBot huku ukikusudia kuzuia mafunzo.

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Maswali yanayoulizwa mara kwa mara

Je, kuzuia GPTBot kutaondoa tovuti yangu kwenye majibu ya ChatGPT?

Hapana. OpenAI inasema GPTBot ni kwa ajili ya mafunzo na kwamba kila mpangilio wa robots.txt unajitegemea. Utafutaji wa ChatGPT hutumia OAI-SearchBot; ilimradi hiyo inaruhusiwa na haizuiwi na firewall yako, kurasa zako zinabaki na sifa ya kuonekana.

Je, kuzuia Google-Extended kunaniondoa kwenye AI Overviews?

Si kwa mujibu wa nyaraka za Google. Google inasema Google-Extended haiathiri kujumuishwa katika Google Search, na AI Overviews hutumia faharasa ya Search. Google inatoa udhibiti tofauti katika Search Console wa kuondoa tovuti kwenye AI Overviews na AI Mode.

Je, kuna mstari mmoja unaozuia mafunzo yote ya AI?

Hakuna mstari wa kawaida unaofanya hivyo. Content-Signal: ai-train=no inaeleza upendeleo kwa crawler zote, lakini kama crawler inauheshimu inategemea mwendeshaji wake. Makundi yenye jina kwa kila tokeni ya mafunzo ndiyo njia iliyoandikwa.

Je, nizuie Perplexity ili kusimamisha mafunzo ya AI?

Perplexity inasema mawakala wake hawatumiki kukusanya data ya mafunzo. Kuzuia PerplexityBot kunapunguza kuonekana kwako katika matokeo ya utafutaji ya Perplexity bila kukuondoa kwenye mafunzo.

Vyanzo

Makala zaidi