Kā bloķēt MI apmācību, bet palikt MI meklēšanas atbildēs
Lielākā daļa MI piegādātāju izmanto atsevišķus robots.txt marķierus modeļu apmācībai un meklēšanai. Aizliedziet apmācības marķierus, piemēram, GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent un CCBot, un atļaujiet meklēšanas un lietotāju marķierus, piemēram, OAI-SearchBot, Claude-SearchBot un PerplexityBot. Pievienojiet rindu Content-Signal, lai to pašu izvēli paustu vārdos.
Daudzi vietņu īpašnieki vēlas divas lietas vienlaikus: lai viņu saturs netiktu izmantots MI modeļu apmācībai un lai MI asistenti viņu lapas atrastu, citētu un saistītu. Tā kā lielākie piegādātāji tagad šos uzdevumus sadala starp dažādām rāpuļprogrammām vai marķieriem, robots.txt var izteikt abas izvēles. Āķis ir tāds, ka nosaukumi katram piegādātājam atšķiras, daži piegādātāji neiederas šajā shēmā, un viena nepareiza rinda var izslēgt jūs no MI atbildēm, nevis no apmācības datiem.
Šajā lapā
Kāda ir atšķirība starp apmācības un meklēšanas rāpuļprogrammu?
Apmācības rāpuļprogramma vāc lapas, ko var izmantot MI modeļu veidošanai vai uzlabošanai. Apmācība pati par sevi nedod ne citātu, ne saiti. Meklēšanas rāpuļprogramma veido indeksu, ko MI asistents izmanto, lai atrastu avotus atbildei, un tieši šos avotus tas var citēt. Lietotāja aktivizēts rīks atver lapu tiešsaistē, jo kāds par to jautāja.
Piegādātāji šīs lomas dokumentē atsevišķi un norāda, ka iestatījumi ir neatkarīgi. Piemēram, OpenAI norāda, ka katrs tās rāpuļprogrammu robots.txt iestatījums ir neatkarīgs no pārējiem. Tātad pareizi veikta atteikšanās no apmācības neietekmē jūsu redzamību meklēšanā.
Kuri marķieri kontrolē apmācību un kuri meklēšanu?
Šie ir piegādātāju dokumentētie marķieri, sagrupēti pēc tā, ko tie kontrolē:
- OpenAI:
GPTBotvāc saturu, ko var izmantot tās pamatmodeļu apmācībai.OAI-SearchBotir paredzēta ChatGPT meklēšanai, betChatGPT-Userapstrādā lietotāju darbības; OpenAI norāda, ka robots.txt uz to var neattiekties. - Anthropic:
ClaudeBotvāc saturu, kas var tikt izmantots apmācībā.Claude-SearchBotuzlabo Claude meklēšanas rezultātus, unClaude-Userielādē lapas lietotājiem. Anthropic norāda, ka tās roboti ievēro robots.txt. - Google:
Google-Extendedir robots.txt marķieris bez savas rāpuļprogrammas. Tas kontrolē izmantošanu nākamo Gemini modeļu apmācībā un pamatojumā (grounding) Gemini Apps un Vertex AI. Google norāda, ka tas neietekmē iekļaušanu vai ranžēšanu Google Search, ko kontrolē arGooglebot. - Apple:
Applebot-Extendedneapstaigā lapas; tas kontrolē, vaiApplebotsavākto saturu izmanto Apple pamatmodeļu apmācībai. Apple norāda, ka lapas, kas to aizliedz, joprojām var parādīties tās meklēšanas rezultātos. - Meta:
meta-externalagentapstaigā lapas tādiem mērķiem kā pamatmodeļu apmācība, betmeta-webindexeruzlabo Meta AI meklēšanas rezultātus. - Common Crawl:
CCBotveido Common Crawl publisko tīmekļa arhīvu. Cloudflare pārvaldītais robots.txt to iekļauj starp MI apmācības rāpuļprogrammām, ko tas aizliedz. - Perplexity:
PerplexityBotunPerplexity-Userapkalpo meklēšanas un lietotāju pieprasījumus. Perplexity norāda, ka neviena no tām netiek izmantota apmācības datu vākšanai, tāpēc nav Perplexity apmācības marķiera, ko bloķēt.
Kā izskatās robots.txt?
Vairākas User-agent rindas pēc kārtas saskaņā ar RFC 9309 veido vienu grupu, tāpēc kārtulas attiecas uz katru no tām. Šis fails atsakās no iepriekš minētajiem apmācības marķieriem, atļauj meklēšanas un lietotāju aģentus un tur vienu privāto ceļu slēgtu visiem:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Svarīgas ir divas detaļas. Pirmkārt, nosaukta grupa nemanto no *, tāpēc privātie ceļi jāatkārto meklēšanas grupā. Otrkārt, nepievienojiet Googlebot vai Applebot apmācības grupai: tās ir meklēšanas rāpuļprogrammas, un to bloķēšana izslēdz jūs no Google Search un Apple meklēšanas funkcijām. Izmaiņas nav tūlītējas: OpenAI meklēšanai min aptuveni 24 stundas, Perplexity — līdz 24 stundām.
Cik vietņu to jau dara?
Mazāk, nekā varētu domāt. 2026-11-12 mēs nolasījām 1 000 populārāko Tranco saraksta domēnu robots.txt failus. No 518, kurām bija robots.txt, 155 (29,9%) aizliedz sākumlapu vismaz vienai MI apmācības rāpuļprogrammai. Tikai 57 (11,0%) izvēlas selektīvo ceļu: bloķē apmācības rāpuļprogrammas un atļauj visas pārbaudītās MI meklēšanas un lietotāju rāpuļprogrammas. Kopumā 101 vietne (19,5%) bloķē vismaz vienu MI meklēšanas vai lietotāja rāpuļprogrammu.
Skaitļi pa rāpuļprogrammām rāda to pašu dalījumu. GPTBot ir bloķēta 111 vietnēs (21,4%), OAI-SearchBot — 58 (11,2%). ClaudeBot ir bloķēta 110 (21,2%), Claude-SearchBot — 67 (12,9%). Google-Extended ir bloķēts 94 (18,1%), Googlebot — 14 (2,7%). Tikai 18 vietnes (3,5%) izmanto Content-Signal.
Pētījums aplūko tikai sākumlapas robots.txt kārtulas. Tas nemēra ugunsmūra bloķējumus un neparāda, ko katra vietne bija iecerējusi.
Ko pievieno Content-Signal?
Content Signals ir robots.txt paplašinājums, ko Cloudflare publicējusi vietnē contentsignals.org. Rinda Content-Signal nosaka, kā saturu drīkst izmantot, ar trim signāliem: search (meklēšanas indeksa veidošana un saišu un īsu fragmentu rādīšana), ai-input (satura padošana MI modeļiem reāllaikā, piemēram, pamatojumam vai izguvei ģenerētām atbildēm) un ai-train (modeļu apmācība vai pielāgošana).
Ievērojiet, ka search definīcija izslēdz MI ģenerētus meklēšanas kopsavilkumus. Ja vēlaties parādīties MI atbildēs, iestatiet arī ai-input=yes, kā piemērā iepriekš. Cloudflare pārvaldītais robots.txt pēc noklusējuma pievieno search=yes, ai-train=no; signāls, ko neiekļaujat, šo izmantošanu ne atļauj, ne ierobežo.
Tās ir paustas vēlmes. Content Signals vietnē teikts, ka tās tehniski neaizkavē apstaigāšanu, un Cloudflare atzīmē, ka robots.txt ievērošana ir brīvprātīga. Nevienā no mūsu pārbaudītajām OpenAI, Anthropic, Google vai Perplexity rāpuļprogrammu lapām nav teikts, vai tās lasa Content-Signal, tāpēc uztveriet to kā papildinājumu grupām katrai rāpuļprogrammai, nevis to aizstājēju.
Kur šis dalījums nedarbojas tīri?
Dažos gadījumos jābūt uzmanīgiem:
- Google AI Overviews un AI Mode izmanto Search indeksu, ko veido
Googlebot, tāpēcGoogle-Extendedjūs no tiem neizslēdz. Google Search Console palīdzībā piebilsts, kaGoogle-Extendedierobežo to modeļu apmācību, kas ir aiz Search ģeneratīvā MI funkcijām, — tvērums, ko tās rāpuļprogrammu dokumentācija nemin. Google tagad piedāvā atsevišķu Search Console iestatījumu vietnes izslēgšanai no AI Overviews un AI Mode. - OpenAI norāda: ja vietne atļauj gan
GPTBot, ganOAI-SearchBot, tā var izmantot vienas apstaigāšanas rezultātus abiem mērķiem. TiešiGPTBotaizliegšana signalizē, ka saturu nedrīkst izmantot apmācībai. - Atteikšanās darbojas uz priekšu. Piemēram, Anthropic
ClaudeBotaizliegšanu raksturo kā vietnes nākotnes satura izslēgšanu no apmācības datu kopām. - Lietotāja aktivizēti rīki ir pa vidu. OpenAI un Perplexity norāda, ka robots.txt var neattiekties uz
ChatGPT-Userun parasti neattiecas uzPerplexity-User. - Ugunsmūri nelasa robots.txt. Plašs robotu bloķēšanas noteikums var apturēt meklēšanas rāpuļprogrammas, ko atļāvāt. Ja apmācības bloķējumu īstenojat ugunsmūrī, pārbaudiet apmācības aģentus pēc nosaukuma un verificējiet tos pēc publicētajiem IP diapazoniem.
Kā pārbaudīt, vai dalījums darbojas?
Nolasiet savu robots.txt tā, kā to darītu katra rāpuļprogramma: atrodiet grupu, kas to nosauc, izmantojiet * tikai tad, ja tādas nav, un piemērojiet garāko atbilstošo kārtulu. Pēc tam pieprasiet lapu ar katras meklēšanas rāpuļprogrammas user-agent un pārliecinieties, ka tā saņem 200 ar pilnu saturu, nevis 403 vai pārbaudes lapu.
AISeeWhy dara abus 14 rāpuļprogrammām, kas sagrupētas kā apmācības, meklēšanas un lietotāju aģenti, un atzīmē biežāko kļūdu: meklēšanas marķiera, piemēram, PerplexityBot vai Claude-SearchBot, bloķēšanu, lai gan bija domāts bloķēt apmācību.
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- MI rāpuļprogrammu IP pārbaude
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Vai GPTBot bloķēšana izņems manu vietni no ChatGPT atbildēm?
Nē. OpenAI norāda, ka GPTBot ir paredzēta apmācībai un ka katrs robots.txt iestatījums ir neatkarīgs. ChatGPT meklēšana izmanto OAI-SearchBot; kamēr tā ir atļauta un jūsu ugunsmūris to nebloķē, jūsu lapas var tikt izmantotas.
Vai Google-Extended bloķēšana izņem mani no AI Overviews?
Saskaņā ar Google dokumentāciju — nē. Google norāda, ka Google-Extended neietekmē iekļaušanu Google Search, un AI Overviews izmanto Search indeksu. Google piedāvā atsevišķu Search Console iestatījumu vietnes izslēgšanai no AI Overviews un AI Mode.
Vai ir viena rinda, kas bloķē visu MI apmācību?
Standarta rindas nav. Content-Signal: ai-train=no pauž šo vēlmi visām rāpuļprogrammām, bet tas, vai rāpuļprogramma to ievēro, ir atkarīgs no operatora. Dokumentētais veids ir nosauktas grupas katram apmācības marķierim.
Vai bloķēt Perplexity, lai apturētu MI apmācību?
Perplexity norāda, ka tās aģenti netiek izmantoti apmācības datu vākšanai. PerplexityBot bloķēšana samazina jūsu redzamību Perplexity meklēšanas rezultātos, nedodot atteikšanos no apmācības.
Avoti
- OpenAI: OpenAI rāpuļprogrammu pārskats
- Anthropic: Vai Anthropic vāc datus no tīmekļa, un kā vietņu īpašnieki var bloķēt rāpuļprogrammu?
- Google: Vispārējās rāpuļprogrammas, tostarp Google-Extended
- Google Search Console palīdzība: meklēšanas ģeneratīvā MI kontrole
- Apple: Par Applebot
- Meta: Meta tīmekļa rāpuļprogrammas
- Common Crawl: CCBot
- Perplexity: Perplexity rāpuļprogrammas
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Pārvaldītais robots.txt un Content Signals
- AISeeWhy: pārskats par MI rāpuļprogrammu piekļuvi, 2026-11