AISeeWhy
DA
Start gratis prøveperiode

Sådan blokerer du AI-træning, men bliver i AI-søgesvar

Udgivet

Kort svar

De fleste AI-udbydere bruger separate robots.txt-tokens til modeltræning og til søgning. Forbyd træningstokens som GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent og CCBot, og tillad søge- og brugertokens som OAI-SearchBot, Claude-SearchBot og PerplexityBot. Tilføj en Content-Signal-linje for at udtrykke den samme præference i ord.

Mange ejere af websites ønsker to ting på én gang: De vil ikke have, at deres indhold bruges til at træne AI-modeller, men de vil gerne have, at AI-assistenter finder, citerer og linker til deres sider. Fordi de store udbydere nu fordeler de to opgaver på forskellige crawlere eller tokens, kan robots.txt udtrykke begge valg. Haken er, at navnene varierer fra udbyder til udbyder, at nogle få udbydere ikke passer ind i mønstret, og at én forkert linje kan fjerne dig fra AI-svar i stedet for fra træningsdata.

På denne side
  1. Hvad er forskellen på en træningscrawler og en søgecrawler?
  2. Hvilke tokens styrer træning, og hvilke styrer søgning?
  3. Hvordan ser robots.txt ud?
  4. Hvor mange sites gør allerede det her?
  5. Hvad tilføjer Content-Signal?
  6. Hvor fungerer opdelingen ikke helt rent?
  7. Hvordan tjekker jeg, at opdelingen virker?

Hvad er forskellen på en træningscrawler og en søgecrawler?

En træningscrawler indsamler sider, der kan bruges til at bygge eller forbedre AI-modeller. Træning alene giver hverken et citat eller et link. En søgecrawler opbygger et indeks, som en AI-assistent bruger til at finde kilder til et svar, og de kilder kan den citere. En brugerudløst hentning åbner en side live, fordi nogen har spurgt om den.

Udbyderne dokumenterer disse roller hver for sig og siger, at indstillingerne er uafhængige. OpenAI siger for eksempel, at hver robots.txt-indstilling for dets crawlere er uafhængig af de andre. Et korrekt fravalg af træning lader derfor din synlighed i søgning være i fred.

Hvilke tokens styrer træning, og hvilke styrer søgning?

Det er de tokens, udbyderne dokumenterer, grupperet efter hvad de styrer:

Hvordan ser robots.txt ud?

Flere User-agent-linjer i træk udgør én gruppe efter RFC 9309, så reglerne gælder for hver af dem. Denne fil fravælger ovenstående træningstokens, tillader søge- og brugeragenterne og holder én privat sti lukket for alle:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

To detaljer har betydning. For det første arver en navngivet gruppe ikke fra *, så alle private stier skal gentages i søgegruppen. For det andet skal du ikke tilføje Googlebot eller Applebot til træningsgruppen: De er søgecrawlerne, og blokerer du dem, forsvinder du fra Google Søgning og Apples søgefunktioner. Ændringer træder ikke i kraft med det samme: OpenAI nævner omkring 24 timer for søgning, og Perplexity siger op til 24 timer.

Hvor mange sites gør allerede det her?

Færre, end du måske tror. Vi læste robots.txt-filerne for de 1.000 mest populære domæner på Tranco-listen den 2026-11-12. Af de 518, der leverede en robots.txt, forbyder 155 (29,9 %) forsiden for mindst én AI-træningscrawler. Kun 57 (11,0 %) vælger den selektive vej: De blokerer træningscrawlere og tillader alle AI-søge- og brugercrawlere, vi testede. I alt blokerer 101 sites (19,5 %) mindst én AI-søge- eller brugercrawler.

Tallene for de enkelte crawlere viser den samme fordeling. GPTBot er blokeret på 111 sites (21,4 %) og OAI-SearchBot på 58 (11,2 %). ClaudeBot er blokeret på 110 (21,2 %) og Claude-SearchBot på 67 (12,9 %). Google-Extended er blokeret på 94 (18,1 %), Googlebot på 14 (2,7 %). Kun 18 sites (3,5 %) bruger Content-Signal.

Undersøgelsen ser kun på robots.txt-regler for forsiden. Den måler ikke firewallblokeringer, og den viser ikke, hvad hvert site har tilsigtet.

Hvad tilføjer Content-Signal?

Content Signals er en robots.txt-udvidelse, som Cloudflare har offentliggjort på contentsignals.org. En Content-Signal-linje angiver, hvordan indhold må bruges, med tre signaler: search (opbygning af et søgeindeks og visning af links og korte uddrag), ai-input (at lægge indhold ind i AI-modeller i realtid, for eksempel som grounding eller retrieval til genererede svar) og ai-train (træning eller finjustering af modeller).

Bemærk, at definitionen af search udelukker AI-genererede søgeresuméer. Hvis du vil optræde i AI-svar, skal du også sætte ai-input=yes, som i eksemplet ovenfor. Cloudflares administrerede robots.txt tilføjer som standard search=yes, ai-train=no; et signal, du udelader, hverken giver eller begrænser den anvendelse.

Der er tale om udtrykte præferencer. Content Signals-sitet siger, at de ikke forhindrer crawling på teknisk niveau, og Cloudflare bemærker, at overholdelse af robots.txt er frivillig. Ingen af de crawlersider fra OpenAI, Anthropic, Google eller Perplexity, vi har tjekket, siger noget om, hvorvidt de læser Content-Signal, så betragt det som et supplement til grupperne for de enkelte crawlere, ikke en erstatning.

Hvor fungerer opdelingen ikke helt rent?

Nogle få tilfælde kræver omtanke:

Hvordan tjekker jeg, at opdelingen virker?

Læs din robots.txt, som hver crawler ville gøre: Find gruppen, der nævner den, gå kun tilbage til *, hvis ingen gør det, og anvend den længste matchende regel. Hent derefter en side med hver søgecrawlers user agent, og bekræft, at den får 200 med det fulde indhold og ikke en 403 eller en udfordringsside.

AISeeWhy gør begge dele for 14 crawlere, grupperet som trænings-, søge- og brugeragenter, og markerer den mest almindelige fejl: at blokere et søgetoken som PerplexityBot eller Claude-SearchBot, mens man tror, man blokerer træning.

Ofte stillede spørgsmål

Fjerner det mit site fra ChatGPT-svar at blokere GPTBot?

Nej. OpenAI siger, at GPTBot er til træning, og at hver robots.txt-indstilling er uafhængig. ChatGPT-søgning bruger OAI-SearchBot; så længe den er tilladt og ikke blokeret af din firewall, kan dine sider stadig komme i betragtning.

Fjerner det mig fra AI Overviews at blokere Google-Extended?

Ikke ifølge Googles dokumentation. Google siger, at Google-Extended ikke påvirker optagelse i Google Søgning, og at AI Overviews bygger på søgeindekset. Google tilbyder en separat kontrol i Search Console til at udelukke et site fra AI Overviews og AI Mode.

Findes der én linje, der blokerer al AI-træning?

Nej, ingen standardlinje gør det. Content-Signal: ai-train=no angiver præferencen over for alle crawlere, men om en crawler overholder den, afhænger af udbyderen. Navngivne grupper for hvert træningstoken er den dokumenterede metode.

Skal jeg blokere Perplexity for at stoppe AI-træning?

Perplexity siger, at dets agenter ikke bruges til at indsamle træningsdata. At blokere PerplexityBot mindsker din synlighed i Perplexitys søgeresultater uden at fungere som fravalg af træning.

Kilder

Flere artikler