robots.txt til AI-crawlere: hvad du skal tillade, og hvad du skal blokere

Udgivet 2026-11-12

robots.txt er en almindelig tekstfil, der går tilbage til 1994 og i 2022 blev en formel standard, RFC 9309. De fleste AI-leverandører siger, at deres crawlere følger den, og flere offentliggør separate tokens til søgning og til træning. Det gør robots.txt til det enkleste sted at fastlægge en AI-politik, forudsat at reglerne betyder det, du tror.

Hvilke robots.txt-tokens bruger AI-crawlere?

Det er de tokens, leverandørerne dokumenterer. Efter RFC 9309 skelnes der ikke mellem store og små bogstaver ved matching.

• OpenAI: OAI-SearchBot (ChatGPT-søgning), GPTBot (træning), ChatGPT-User (besøg bedt om af brugere; OpenAI siger, at robots.txt muligvis ikke gælder).
• Anthropic: Claude-SearchBot (søgning), ClaudeBot (træning), Claude-User (besøg bedt om af brugere).
• Perplexity: PerplexityBot (søgning), Perplexity-User (besøg bedt om af brugere; Perplexity siger, at den generelt ignorerer robots.txt).
• Google: Googlebot (Søgning, herunder AI-funktionerne) og Google-Extended, et token uden egen crawler, som styrer brug til træning og grounding af Gemini.
• Apple: Applebot (Spotlight, Siri, søgning i Safari) og Applebot-Extended, som ikke crawler, men styrer brug til træning af Apples foundation-modeller.
• Meta: meta-externalagent (træning og produktindeksering) og meta-webindexer (Meta AI-søgning).
• Common Crawl: CCBot, som opbygger Common Crawls gratis offentlige arkiv med webdata.

Hvordan ser en god robots.txt til AI ud?

Dette eksempel lader AI-søgning og brugerhentninger komme ind, fravælger de vigtigste træningstokens og holder ét privat område lukket for alle:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Flere User-agent-linjer i træk udgør én gruppe, så reglerne under dem gælder for hver af de crawlere. Hvis du gerne vil have dit indhold brugt til træning, så udelad blot den anden gruppe. At blokere Google-Extended påvirker ikke Google Søgning: Google siger, at det ikke påvirker optagelse i Søgning og ikke er et rangeringssignal. Apple siger tilsvarende, at sider, der forbyder Applebot-Extended, stadig kan vises i dets søgeresultater.

Hvordan vælger crawlere, hvilke regler der gælder for dem?

RFC 9309 definerer det præcist, og detaljerne forklarer de fleste overraskelser:

• En crawler leder efter den gruppe, hvis User-agent matcher dens produkttoken, uden hensyn til store og små bogstaver. Hvis flere grupper matcher, lægges deres regler sammen til én.
• Kun hvis ingen gruppe matcher, følger crawleren gruppen User-agent: *. En navngiven gruppe arver intet fra *.
• Inden for gruppen vinder reglen med den længste matchende sti. Allow: /blog/ slår Disallow: / for /blog/post.
• Hvis en Allow- og en Disallow-regel matcher med samme længde, skal Allow bruges.
• * i en sti matcher vilkårlige tegn, og $ forankrer slutningen, så Disallow: /*.pdf$ dækker alle pdf-filer.

Hvad er de mest almindelige fejl i robots.txt?

• At forvente, at en navngiven gruppe arver fra *. En gruppe for OAI-SearchBot med kun Allow: / åbner alle stier, også dem du har forbudt under *.
• En robots.txt-adresse, der returnerer en HTML-side, ofte en 404-side leveret med status 200. Crawlere finder ingen gyldige regler i den.
• En robots.txt, der returnerer en serverfejl. RFC 9309 siger, at en crawler så skal antage, at hele sitet er forbudt. En 404 er noget andet: Den betyder, at der ingen restriktioner er.
• At blokere et søgetoken, når man mente at blokere træning, for eksempel ved at forbyde PerplexityBot eller Claude-SearchBot for at undgå modeltræning.
• At stole på, at robots.txt stopper hentninger, brugerne har bedt om. OpenAI og Perplexity siger begge, at deres user agents muligvis ikke følger den.
• At glemme subdomæner. Hver host har sin egen robots.txt; Anthropics dokumentation minder ejere af sites om at tilføje regler for hvert subdomæne.

Kan jeg fastlægge en AI-brugspolitik ud over tillad og forbyd?

Cloudflare har foreslået en Content-Signal-linje til robots.txt med tre signaler: search (opbygning af et søgeindeks og visning af links og korte uddrag), ai-input (brug af indhold i realtid til AI-svar) og ai-train (træning eller finjustering af modeller). Cloudflares administrerede robots.txt kan tilføje den for dig.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Som alt andet i robots.txt er det præferencer, ikke tekniske kontroller. Cloudflare bemærker selv, at overholdelse af robots.txt er frivillig. Linjen er valgfri og skader ikke, men erstatter ikke grupperne for hver crawler ovenfor.

Hvor lang tid tager ændringer, og hvordan tjekker jeg dem?

RFC 9309 siger, at crawlere ikke bør bruge en cachet robots.txt i mere end 24 timer, og OpenAI og Perplexity siger begge, at ændringer kan tage omkring et døgn at slå igennem. Husk også, at robots.txt ikke er adgangskontrol: En firewall kan stadig blokere en crawler, som dine regler tillader.

AISeeWhy fortolker din robots.txt efter RFC 9309 for hver crawler, den tester, markerer filer, der er utilgængelige eller leveres som HTML, viser, hvor dine regler og din server er uenige, og giver en færdig diff til ændringen.

Ofte stillede spørgsmål

Skader det min synlighed i AI-svar at blokere GPTBot eller ClaudeBot?

Ikke direkte. Begge leverandører bruger separate søgecrawlere, OAI-SearchBot og Claude-SearchBot, til søgning. At blokere træningscrawleren er et politisk valg.

Stopper Google-Extended AI Overviews?

Nej. Google siger, at AI-funktioner i Søgning bruger Googlebot og de sædvanlige styringsmuligheder for Søgning som nosnippet og noindex. Google-Extended dækker træning og grounding af Gemini i andre Google-produkter og påvirker ikke Søgning.

Understøtter AI-crawlere Crawl-delay?

Det er ikke en del af RFC 9309. Anthropic siger, at det understøtter Crawl-delay som en ikke-standard udvidelse; for andre leverandører bør du tjekke deres dokumentation.

Hvor skal robots.txt ligge?

I roden af hver host, for eksempel https://example.com/robots.txt. En fil i en undermappe ignoreres, og hvert subdomæne skal have sin egen.

Kilder

• RFC 9309: Robots Exclusion Protocol
• OpenAI: oversigt over OpenAI's crawlere
• Google: almindelige crawlere, herunder Google-Extended
• Apple: om Applebot
• Cloudflare: administreret robots.txt og Content Signals

Flere artikler

• Hvad er llms.txt, og er den værd at tilføje?
• AEO og SEO: hvad der er det samme, og hvad der ændrer sig for AI-svar
• Anthropics crawlere: ClaudeBot, Claude-SearchBot og Claude-User