Kā bloķēt MI apmācību, bet palikt MI meklēšanas atbildēs

Publicēts

Īsa atbilde

Lielākā daļa MI piegādātāju izmanto atsevišķus robots.txt marķierus modeļu apmācībai un meklēšanai. Aizliedziet apmācības marķierus, piemēram, GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent un CCBot, un atļaujiet meklēšanas un lietotāju marķierus, piemēram, OAI-SearchBot, Claude-SearchBot un PerplexityBot. Pievienojiet rindu Content-Signal, lai to pašu izvēli paustu vārdos.

Daudzi vietņu īpašnieki vēlas divas lietas vienlaikus: lai viņu saturs netiktu izmantots MI modeļu apmācībai un lai MI asistenti viņu lapas atrastu, citētu un saistītu. Tā kā lielākie piegādātāji tagad šos uzdevumus sadala starp dažādām rāpuļprogrammām vai marķieriem, robots.txt var izteikt abas izvēles. Āķis ir tāds, ka nosaukumi katram piegādātājam atšķiras, daži piegādātāji neiederas šajā shēmā, un viena nepareiza rinda var izslēgt jūs no MI atbildēm, nevis no apmācības datiem.

Šajā lapā
  1. Kāda ir atšķirība starp apmācības un meklēšanas rāpuļprogrammu?
  2. Kuri marķieri kontrolē apmācību un kuri meklēšanu?
  3. Kā izskatās robots.txt?
  4. Cik vietņu to jau dara?
  5. Ko pievieno Content-Signal?
  6. Kur šis dalījums nedarbojas tīri?
  7. Kā pārbaudīt, vai dalījums darbojas?

Kāda ir atšķirība starp apmācības un meklēšanas rāpuļprogrammu?

Apmācības rāpuļprogramma vāc lapas, ko var izmantot MI modeļu veidošanai vai uzlabošanai. Apmācība pati par sevi nedod ne citātu, ne saiti. Meklēšanas rāpuļprogramma veido indeksu, ko MI asistents izmanto, lai atrastu avotus atbildei, un tieši šos avotus tas var citēt. Lietotāja aktivizēts rīks atver lapu tiešsaistē, jo kāds par to jautāja.

Piegādātāji šīs lomas dokumentē atsevišķi un norāda, ka iestatījumi ir neatkarīgi. Piemēram, OpenAI norāda, ka katrs tās rāpuļprogrammu robots.txt iestatījums ir neatkarīgs no pārējiem. Tātad pareizi veikta atteikšanās no apmācības neietekmē jūsu redzamību meklēšanā.

Kuri marķieri kontrolē apmācību un kuri meklēšanu?

Šie ir piegādātāju dokumentētie marķieri, sagrupēti pēc tā, ko tie kontrolē:

Kā izskatās robots.txt?

Vairākas User-agent rindas pēc kārtas saskaņā ar RFC 9309 veido vienu grupu, tāpēc kārtulas attiecas uz katru no tām. Šis fails atsakās no iepriekš minētajiem apmācības marķieriem, atļauj meklēšanas un lietotāju aģentus un tur vienu privāto ceļu slēgtu visiem:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Svarīgas ir divas detaļas. Pirmkārt, nosaukta grupa nemanto no *, tāpēc privātie ceļi jāatkārto meklēšanas grupā. Otrkārt, nepievienojiet Googlebot vai Applebot apmācības grupai: tās ir meklēšanas rāpuļprogrammas, un to bloķēšana izslēdz jūs no Google Search un Apple meklēšanas funkcijām. Izmaiņas nav tūlītējas: OpenAI meklēšanai min aptuveni 24 stundas, Perplexity — līdz 24 stundām.

Cik vietņu to jau dara?

Mazāk, nekā varētu domāt. 2026-11-12 mēs nolasījām 1 000 populārāko Tranco saraksta domēnu robots.txt failus. No 518, kurām bija robots.txt, 155 (29,9%) aizliedz sākumlapu vismaz vienai MI apmācības rāpuļprogrammai. Tikai 57 (11,0%) izvēlas selektīvo ceļu: bloķē apmācības rāpuļprogrammas un atļauj visas pārbaudītās MI meklēšanas un lietotāju rāpuļprogrammas. Kopumā 101 vietne (19,5%) bloķē vismaz vienu MI meklēšanas vai lietotāja rāpuļprogrammu.

Skaitļi pa rāpuļprogrammām rāda to pašu dalījumu. GPTBot ir bloķēta 111 vietnēs (21,4%), OAI-SearchBot — 58 (11,2%). ClaudeBot ir bloķēta 110 (21,2%), Claude-SearchBot — 67 (12,9%). Google-Extended ir bloķēts 94 (18,1%), Googlebot — 14 (2,7%). Tikai 18 vietnes (3,5%) izmanto Content-Signal.

Pētījums aplūko tikai sākumlapas robots.txt kārtulas. Tas nemēra ugunsmūra bloķējumus un neparāda, ko katra vietne bija iecerējusi.

Ko pievieno Content-Signal?

Content Signals ir robots.txt paplašinājums, ko Cloudflare publicējusi vietnē contentsignals.org. Rinda Content-Signal nosaka, kā saturu drīkst izmantot, ar trim signāliem: search (meklēšanas indeksa veidošana un saišu un īsu fragmentu rādīšana), ai-input (satura padošana MI modeļiem reāllaikā, piemēram, pamatojumam vai izguvei ģenerētām atbildēm) un ai-train (modeļu apmācība vai pielāgošana).

Ievērojiet, ka search definīcija izslēdz MI ģenerētus meklēšanas kopsavilkumus. Ja vēlaties parādīties MI atbildēs, iestatiet arī ai-input=yes, kā piemērā iepriekš. Cloudflare pārvaldītais robots.txt pēc noklusējuma pievieno search=yes, ai-train=no; signāls, ko neiekļaujat, šo izmantošanu ne atļauj, ne ierobežo.

Tās ir paustas vēlmes. Content Signals vietnē teikts, ka tās tehniski neaizkavē apstaigāšanu, un Cloudflare atzīmē, ka robots.txt ievērošana ir brīvprātīga. Nevienā no mūsu pārbaudītajām OpenAI, Anthropic, Google vai Perplexity rāpuļprogrammu lapām nav teikts, vai tās lasa Content-Signal, tāpēc uztveriet to kā papildinājumu grupām katrai rāpuļprogrammai, nevis to aizstājēju.

Kur šis dalījums nedarbojas tīri?

Dažos gadījumos jābūt uzmanīgiem:

Kā pārbaudīt, vai dalījums darbojas?

Nolasiet savu robots.txt tā, kā to darītu katra rāpuļprogramma: atrodiet grupu, kas to nosauc, izmantojiet * tikai tad, ja tādas nav, un piemērojiet garāko atbilstošo kārtulu. Pēc tam pieprasiet lapu ar katras meklēšanas rāpuļprogrammas user-agent un pārliecinieties, ka tā saņem 200 ar pilnu saturu, nevis 403 vai pārbaudes lapu.

AISeeWhy dara abus 14 rāpuļprogrammām, kas sagrupētas kā apmācības, meklēšanas un lietotāju aģenti, un atzīmē biežāko kļūdu: meklēšanas marķiera, piemēram, PerplexityBot vai Claude-SearchBot, bloķēšanu, lai gan bija domāts bloķēt apmācību.

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Biežāk uzdotie jautājumi

Vai GPTBot bloķēšana izņems manu vietni no ChatGPT atbildēm?

Nē. OpenAI norāda, ka GPTBot ir paredzēta apmācībai un ka katrs robots.txt iestatījums ir neatkarīgs. ChatGPT meklēšana izmanto OAI-SearchBot; kamēr tā ir atļauta un jūsu ugunsmūris to nebloķē, jūsu lapas var tikt izmantotas.

Vai Google-Extended bloķēšana izņem mani no AI Overviews?

Saskaņā ar Google dokumentāciju — nē. Google norāda, ka Google-Extended neietekmē iekļaušanu Google Search, un AI Overviews izmanto Search indeksu. Google piedāvā atsevišķu Search Console iestatījumu vietnes izslēgšanai no AI Overviews un AI Mode.

Vai ir viena rinda, kas bloķē visu MI apmācību?

Standarta rindas nav. Content-Signal: ai-train=no pauž šo vēlmi visām rāpuļprogrammām, bet tas, vai rāpuļprogramma to ievēro, ir atkarīgs no operatora. Dokumentētais veids ir nosauktas grupas katram apmācības marķierim.

Vai bloķēt Perplexity, lai apturētu MI apmācību?

Perplexity norāda, ka tās aģenti netiek izmantoti apmācības datu vākšanai. PerplexityBot bloķēšana samazina jūsu redzamību Perplexity meklēšanas rezultātos, nedodot atteikšanos no apmācības.

Avoti

Citi raksti