robots.txt for AI-crawlere: hva du bør tillate og blokkere

Publisert 2026-11-12

robots.txt er en ren tekstfil som går tilbake til 1994 og ble en formell standard, RFC 9309, i 2022. De fleste AI-leverandører sier at crawlerne deres følger den, og flere publiserer separate tokens for søk og for trening. Det gjør robots.txt til det enkleste stedet å oppgi en AI-policy, forutsatt at reglene betyr det du tror de betyr.

Hvilke robots.txt-tokens bruker AI-crawlere

Dette er tokenene leverandørene dokumenterer. Matchingen skiller ikke mellom store og små bokstaver ifølge RFC 9309.

• OpenAI: OAI-SearchBot (ChatGPT-søk), GPTBot (trening), ChatGPT-User (brukerstyrte besøk; OpenAI sier at robots.txt kanskje ikke gjelder).
• Anthropic: Claude-SearchBot (søk), ClaudeBot (trening), Claude-User (brukerstyrte besøk).
• Perplexity: PerplexityBot (søk), Perplexity-User (brukerstyrte besøk; Perplexity sier at den vanligvis ignorerer robots.txt).
• Google: Googlebot (Søk, inkludert AI-funksjonene) og Google-Extended, en token uten egen crawler som styrer bruk i Gemini-trening og grounding.
• Apple: Applebot (Spotlight, Siri, Safari-søk) og Applebot-Extended, som ikke henter noe selv, men styrer bruk til trening av Apples grunnmodeller.
• Meta: meta-externalagent (trening og produktindeksering) og meta-webindexer (Meta AI-søk).
• Common Crawl: CCBot, som bygger Common Crawls gratis, offentlige arkiv over nettdata.

Hvordan ser en god AI-robots.txt ut

Dette eksempelet slipper inn AI-søk og brukerhentinger, velger bort de viktigste treningstokenene og holder ett privat område stengt for alle:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Flere User-agent-linjer på rad danner én gruppe, så reglene under gjelder for hver av disse crawlerne. Hvis du vil at innholdet ditt skal brukes til trening, utelater du rett og slett den andre gruppen. Å blokkere Google-Extended påvirker ikke Google Søk: Google sier at det ikke påvirker inkluderingen i Søk og ikke er et rangeringssignal. På samme måte sier Apple at sider som nekter Applebot-Extended, fortsatt kan vises i søkeresultatene.

Hvordan velger crawlere hvilke regler som gjelder dem

RFC 9309 definerer dette presist, og detaljene forklarer de fleste overraskelser:

• En crawler leter etter gruppen der User-agent matcher produkttokenen dens, uten hensyn til store og små bokstaver. Hvis flere grupper matcher, slås reglene deres sammen til én.
• Bare hvis ingen gruppe matcher, følger crawleren gruppen User-agent: *. En navngitt gruppe arver ingenting fra *.
• Innenfor gruppen vinner regelen med den lengste matchende stien. Allow: /blog/ slår Disallow: / for /blog/post.
• Hvis en Allow- og en Disallow-regel matcher med lik lengde, skal Allow brukes.
• * i en sti matcher alle tegn og $ forankrer slutten, så Disallow: /*.pdf$ dekker alle PDF-er.

Hva er de vanligste robots.txt-feilene

• Å forvente at en navngitt gruppe arver fra *. En gruppe for OAI-SearchBot med bare Allow: / åpner alle stier, også de du har nektet under *.
• En robots.txt-adresse som returnerer en HTML-side, ofte en 404-side servert med status 200. Crawlere finner ingen gyldige regler i den.
• En robots.txt som returnerer en serverfeil. RFC 9309 sier at en crawler da må anta at hele nettstedet er forbudt. En 404 er noe annet: den betyr at det ikke finnes begrensninger.
• Å blokkere en søketoken når man mener å blokkere trening, for eksempel ved å nekte PerplexityBot eller Claude-SearchBot for å unngå modelltrening.
• Å stole på at robots.txt stopper brukerstyrte hentinger. OpenAI og Perplexity sier begge at user agents deres kanskje ikke følger den.
• Å glemme underdomener. Hver vert har sin egen robots.txt; Anthropics dokumentasjon minner nettstedeiere om å legge til regler for hvert underdomene.

Kan jeg oppgi en AI-bruksbestemmelse utover allow og disallow

Cloudflare har foreslått en linje Content-Signal for robots.txt med tre signaler: search (bygge en søkeindeks og vise lenker og korte utdrag), ai-input (bruke innhold i sanntid til AI-svar) og ai-train (trene eller finjustere modeller). Cloudflares administrerte robots.txt kan legge den til for deg.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Som alt i robots.txt er dette ønsker, ikke tekniske kontroller. Cloudflare påpeker selv at etterlevelse av robots.txt er frivillig. Linjen er valgfri og gjør ingen skade, men den erstatter ikke gruppene per crawler ovenfor.

Hvor lang tid tar endringer, og hvordan sjekker jeg dem

RFC 9309 sier at crawlere ikke bør bruke en bufret robots.txt i mer enn 24 timer, og OpenAI og Perplexity sier begge at endringer kan ta omtrent ett døgn å tre i kraft. Husk også at robots.txt ikke er tilgangskontroll: en brannmur kan fortsatt blokkere en crawler som reglene dine tillater.

AISeeWhy tolker robots.txt etter RFC 9309 for hver crawler den tester, flagger filer som ikke kan nås eller som serveres som HTML, viser hvor reglene dine og serveren din er uenige, og gir en ferdig diff for endringen.

Vanlige spørsmål

Skader det synligheten min i AI-svar å blokkere GPTBot eller ClaudeBot?

Ikke direkte. Begge leverandørene bruker separate søkecrawlere, OAI-SearchBot og Claude-SearchBot, for søk. Å blokkere treningscrawleren er et policyvalg.

Stopper Google-Extended AI-oversikter?

Nei. Google sier at AI-funksjonene i Søk bruker Googlebot og de vanlige Søk-kontrollene som nosnippet og noindex. Google-Extended gjelder Gemini-trening og grounding i andre Google-produkter og påvirker ikke Søk.

Støtter AI-crawlere Crawl-delay?

Det er ikke en del av RFC 9309. Anthropic sier at de støtter Crawl-delay som en ikke-standard utvidelse; for andre leverandører, se dokumentasjonen deres.

Hvor må robots.txt ligge?

I roten av hver vert, for eksempel https://example.com/robots.txt. En fil i en undermappe blir ignorert, og hvert underdomene trenger sin egen.

Kilder

• RFC 9309: Robots Exclusion Protocol
• OpenAI: Overview of OpenAI crawlers
• Google: Common crawlers, including Google-Extended
• Apple: About Applebot
• Cloudflare: Managed robots.txt and Content Signals

Flere artikler

• Hva er llms.txt, og er det verdt å legge til?
• AEO eller SEO: hva som er likt, og hva som endrer seg for AI-svar
• Anthropics crawlere: ClaudeBot, Claude-SearchBot og Claude-User