Slik blokkerer du AI-trening, men blir i AI-søkesvar

Q: Fjerner blokkering av GPTBot nettstedet mitt fra ChatGPT-svar?

Nei. OpenAI sier at GPTBot er for trening og at hver robots.txt-innstilling er uavhengig. ChatGPT-søk bruker OAI-SearchBot; så lenge den er tillatt og ikke blokkert av brannmuren din, kan sidene dine fortsatt komme med.

Q: Fjerner blokkering av Google-Extended meg fra AI-oversikter?

Ikke ifølge Googles dokumentasjon. Google sier at Google-Extended ikke påvirker inkludering i Google Søk, og at AI-oversikter bygger på søkeindeksen. Google tilbyr en egen kontroll i Search Console for å utelukke et nettsted fra AI-oversikter og AI-modus.

Q: Finnes det én linje som blokkerer all AI-trening?

Nei, ingen standardlinje gjør det. Content-Signal: ai-train=no uttrykker preferansen for alle crawlere, men om en crawler følger den, avhenger av operatøren. Navngitte grupper for hvert treningstoken er den dokumenterte måten.

Publisert 2026-11-12

Kort svar

De fleste AI-leverandører bruker egne robots.txt-tokens for modelltrening og for søk. Nekt treningstokenene, som GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent og CCBot, og tillat søke- og brukertokenene, som OAI-SearchBot, Claude-SearchBot og PerplexityBot. Legg til en Content-Signal-linje for å uttrykke samme preferanse i ord.

Mange nettstedeiere vil to ting samtidig: de vil ikke at innholdet deres brukes til å trene AI-modeller, og de vil at AI-assistenter skal finne, sitere og lenke til sidene deres. Fordi de store leverandørene nå fordeler disse oppgavene på ulike crawlere eller tokens, kan robots.txt uttrykke begge valgene. Haken er at navnene varierer mellom leverandørene, at noen få leverandører ikke følger mønsteret, og at én feil linje kan fjerne deg fra AI-svarene i stedet for fra treningsdataene.

På denne siden

Hva er forskjellen på en treningscrawler og en søkecrawler?
Hvilke tokens styrer trening, og hvilke styrer søk?
Hvordan ser robots.txt ut?
Hvor mange nettsteder gjør dette allerede?
Hva tilfører Content-Signal?
Hvor fungerer ikke delingen rent?
Hvordan sjekker jeg at delingen fungerer?

Hva er forskjellen på en treningscrawler og en søkecrawler?

En treningscrawler samler inn sider som kan brukes til å bygge eller forbedre AI-modeller. Trening alene gir ingen sitering eller lenke. En søkecrawler bygger en indeks som en AI-assistent bruker til å finne kilder til et svar, og det er disse kildene den kan sitere. En brukerstyrt henter åpner en side live fordi noen har spurt om den.

Leverandørene dokumenterer disse rollene hver for seg og sier at innstillingene er uavhengige. OpenAI sier for eksempel at hver robots.txt-innstilling for crawlerne deres er uavhengig av de andre. En reservasjon mot trening som er gjort riktig, rører derfor ikke søkesynligheten din.

Hvilke tokens styrer trening, og hvilke styrer søk?

Dette er tokenene leverandørene dokumenterer, gruppert etter hva de styrer:

OpenAI: GPTBot crawler innhold som kan brukes til å trene grunnmodellene deres. OAI-SearchBot er for ChatGPT-søk, og ChatGPT-User håndterer brukerens handlinger; OpenAI sier at robots.txt kanskje ikke gjelder for den.
Anthropic: ClaudeBot samler inn innhold som kan bidra til trening. Claude-SearchBot forbedrer Claudes søkeresultater, og Claude-User henter sider for brukere. Anthropic sier at botene deres følger robots.txt.
Google: Google-Extended er et robots.txt-token uten egen crawler. Det styrer bruk i trening av framtidige Gemini-modeller og i grounding for Gemini-appene og Vertex AI. Google sier at det ikke påvirker inkludering eller rangering i Google Søk, som styres gjennom Googlebot.
Apple: Applebot-Extended crawler ikke; det styrer om innhold som Applebot har crawlet, brukes til å trene Apples grunnmodeller. Apple sier at sider som nekter det, fortsatt kan vises i søkeresultatene deres.
Meta: meta-externalagent crawler for bruksområder som trening av grunnmodeller, mens meta-webindexer forbedrer søkeresultatene i Meta AI.
Common Crawl: CCBot bygger Common Crawls offentlige nettarkiv. Cloudflares administrerte robots.txt lister den blant AI-treningscrawlerne den nekter.
Perplexity: PerplexityBot og Perplexity-User betjener søk og brukerforespørsler. Perplexity sier at ingen av dem brukes til å samle inn treningsdata, så det finnes ikke noe Perplexity-treningstoken å blokkere.

Hvordan ser robots.txt ut?

Flere User-agent-linjer på rad utgjør én gruppe etter RFC 9309, så reglene gjelder for hver av dem. Denne filen velger bort treningstokenene ovenfor, tillater søke- og brukeragentene og holder én privat sti stengt for alle:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

To detaljer er viktige. For det første arver ikke en navngitt gruppe fra *, så alle private stier må gjentas i søkegruppen. For det andre må du ikke legge Googlebot eller Applebot i treningsgruppen: de er søkecrawlerne, og å blokkere dem fjerner deg fra Google Søk og Apples søkefunksjoner. Endringer er ikke umiddelbare: OpenAI oppgir omtrent 24 timer for søk, og Perplexity oppgir opptil 24 timer.

Hvor mange nettsteder gjør dette allerede?

Færre enn du kanskje tror. Vi leste robots.txt-filene til de 1 000 mest populære domenene på Tranco-listen 12.11.2026. Av de 518 som leverte en robots.txt, nekter 155 (29,9 %) hjemmesiden for minst én AI-treningscrawler. Bare 57 (11,0 %) velger den selektive veien: de blokkerer treningscrawlere og tillater alle AI-søke- og brukercrawlere vi testet. Til sammen blokkerer 101 nettsteder (19,5 %) minst én AI-søke- eller brukercrawler.

Tallene for hver enkelt crawler viser den samme todelingen. GPTBot er blokkert på 111 nettsteder (21,4 %) og OAI-SearchBot på 58 (11,2 %). ClaudeBot er blokkert på 110 (21,2 %) og Claude-SearchBot på 67 (12,9 %). Google-Extended er blokkert på 94 (18,1 %), Googlebot på 14 (2,7 %). Bare 18 nettsteder (3,5 %) bruker Content-Signal.

Undersøkelsen ser bare på robots.txt-reglene for hjemmesiden. Den måler ikke brannmurblokkeringer, og den viser ikke hva hvert nettsted hadde til hensikt.

Hva tilfører Content-Signal?

Content Signals er en robots.txt-utvidelse som Cloudflare publiserer på contentsignals.org. En Content-Signal-linje angir hvordan innhold kan brukes, med tre signaler: search (bygge en søkeindeks og vise lenker og korte utdrag), ai-input (legge innhold inn i AI-modeller i sanntid, for eksempel grounding eller retrieval for generative svar) og ai-train (trene eller finjustere modeller).

Merk at definisjonen av search utelukker AI-genererte søkesammendrag. Hvis du vil vises i AI-svar, må du også sette ai-input=yes, som i eksemplet ovenfor. Cloudflares administrerte robots.txt legger som standard til search=yes, ai-train=no; et signal du utelater, verken gir eller begrenser den bruken.

Dette er uttrykte preferanser. Nettstedet til Content Signals sier at de ikke hindrer crawling på teknisk nivå, og Cloudflare påpeker at det er frivillig å følge robots.txt. Ingen av crawlersidene til OpenAI, Anthropic, Google eller Perplexity som vi sjekket, sier om de leser Content-Signal, så se på det som et tillegg til gruppene for hver crawler, ikke en erstatning.

Hvor fungerer ikke delingen rent?

Noen tilfeller krever varsomhet:

Googles AI-oversikter og AI-modus bygger på søkeindeksen som Googlebot bygger, så Google-Extended tar deg ikke ut av dem. Googles hjelp for Search Console tilføyer at Google-Extended begrenser trening av modellene bak Søks generative AI-funksjoner, et omfang som crawlerdokumentasjonen deres ikke nevner. Google tilbyr nå en egen innstilling i Search Console for å utelukke et nettsted fra AI-oversikter og AI-modus.
OpenAI sier at hvis et nettsted tillater både GPTBot og OAI-SearchBot, kan de bruke resultatene fra én crawling til begge formål. Det er når du nekter GPTBot, at du signaliserer at innholdet ikke skal brukes til trening.
Reservasjoner gjelder framover. Anthropic beskriver for eksempel at å nekte ClaudeBot utelukker nettstedets framtidige innhold fra treningsdatasett.
Brukerstyrte hentere ligger midt imellom. OpenAI og Perplexity sier at robots.txt kanskje ikke gjelder for ChatGPT-User og vanligvis ikke gjelder for Perplexity-User.
Brannmurer leser ikke robots.txt. En bred regel som blokkerer boter, kan stoppe søkecrawlerne du har tillatt. Hvis du håndhever treningsblokkeringen i brannmuren, må du matche treningsagentene på navn og verifisere dem med de publiserte IP-områdene.

Hvordan sjekker jeg at delingen fungerer?

Les robots.txt slik hver crawler ville gjort det: finn gruppen som nevner den, gå bare tilbake til * hvis ingen gjør det, og bruk den lengste matchende regelen. Hent deretter en side med user agent-en til hver søkecrawler og bekreft at den får et 200-svar med hele innholdet, ikke en 403 eller en utfordringsside.

AISeeWhy gjør begge deler for 14 crawlere, gruppert som trenings-, søke- og brukeragenter, og flagger den vanligste feilen: å blokkere et søketoken som PerplexityBot eller Claude-SearchBot når man egentlig vil blokkere trening.

Vanlige spørsmål

Fjerner blokkering av GPTBot nettstedet mitt fra ChatGPT-svar?

Nei. OpenAI sier at GPTBot er for trening og at hver robots.txt-innstilling er uavhengig. ChatGPT-søk bruker OAI-SearchBot; så lenge den er tillatt og ikke blokkert av brannmuren din, kan sidene dine fortsatt komme med.

Fjerner blokkering av Google-Extended meg fra AI-oversikter?

Ikke ifølge Googles dokumentasjon. Google sier at Google-Extended ikke påvirker inkludering i Google Søk, og at AI-oversikter bygger på søkeindeksen. Google tilbyr en egen kontroll i Search Console for å utelukke et nettsted fra AI-oversikter og AI-modus.

Finnes det én linje som blokkerer all AI-trening?

Nei, ingen standardlinje gjør det. Content-Signal: ai-train=no uttrykker preferansen for alle crawlere, men om en crawler følger den, avhenger av operatøren. Navngitte grupper for hvert treningstoken er den dokumenterte måten.

Bør jeg blokkere Perplexity for å stoppe AI-trening?

Perplexity sier at agentene deres ikke brukes til å samle inn treningsdata. Å blokkere PerplexityBot reduserer synligheten din i Perplexitys søkeresultater uten å fungere som en reservasjon mot trening.