robots.txt för AI-crawlers: vad du ska tillåta och blockera

Q: Stöder AI-crawlers Crawl-delay?

Det ingår inte i RFC 9309. Anthropic säger att de stöder Crawl-delay som en icke-standardiserad utökning; för andra leverantörer, se deras dokumentation.

Q: Var måste robots.txt ligga?

I roten av varje värd, till exempel https://example.com/robots.txt. En fil i en undermapp ignoreras, och varje underdomän behöver en egen.

Publicerad 2026-11-12

Kort svar

Ge varje AI-crawler du bryr dig om en egen User-agent-grupp. Tillåt sökcrawlers som OAI-SearchBot, Claude-SearchBot och PerplexityBot om du vill bli citerad, och besluta separat om träningstoken som GPTBot, ClaudeBot, Google-Extended och Applebot-Extended. En namngiven grupp ersätter gruppen * för den crawlern.

robots.txt är en vanlig textfil som går tillbaka till 1994 och blev en formell standard, RFC 9309, 2022. De flesta AI-leverantörer säger att deras crawlers följer den, och flera publicerar separata token för sök och för träning. Det gör robots.txt till det enklaste stället att ange en AI-policy, förutsatt att reglerna betyder det du tror att de betyder.

På den här sidan

Vilka robots.txt-token använder AI-crawlers
Hur ser en bra AI-robots.txt ut
Hur väljer crawlers vilka regler som gäller dem
Vilka är de vanligaste robots.txt-misstagen
Kan jag ange en AI-användningspolicy utöver allow och disallow
Hur lång tid tar ändringar och hur kontrollerar jag dem

Vilka robots.txt-token använder AI-crawlers

Det här är de token som leverantörerna dokumenterar. Matchningen är skiftlägesokänslig enligt RFC 9309.

OpenAI: OAI-SearchBot (ChatGPT-sök), GPTBot (träning), ChatGPT-User (användarbegärda besök; OpenAI säger att robots.txt kanske inte gäller).
Anthropic: Claude-SearchBot (sök), ClaudeBot (träning), Claude-User (användarbegärda besök).
Perplexity: PerplexityBot (sök), Perplexity-User (användarbegärda besök; Perplexity säger att den i allmänhet ignorerar robots.txt).
Google: Googlebot (Sök, inklusive dess AI-funktioner) och Google-Extended, en token utan egen crawler som styr användning i Gemini-träning och grounding.
Apple: Applebot (Spotlight, Siri, Safari-sök) och Applebot-Extended, som inte genomsöker något men styr användning för träning av Apples grundmodeller.
Meta: meta-externalagent (träning och produktindexering) och meta-webindexer (Meta AI-sök).
Common Crawl: CCBot, som bygger Common Crawls kostnadsfria publika arkiv över webbdata.

Hur ser en bra AI-robots.txt ut

Det här exemplet släpper in AI-sök och användarhämtningar, väljer bort de viktigaste träningstoken och håller ett privat område stängt för alla:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Flera User-agent-rader i följd bildar en grupp, så reglerna under dem gäller för var och en av dessa crawlers. Vill du att ditt innehåll ska användas för träning lämnar du helt enkelt bort den andra gruppen. Att blockera Google-Extended påverkar inte Google Sök: Google säger att det inte påverkar inkluderingen i Sök och inte är en rankingsignal. På samma sätt säger Apple att sidor som nekar Applebot-Extended fortfarande kan visas i dess sökresultat.

Hur väljer crawlers vilka regler som gäller dem

RFC 9309 definierar detta exakt, och detaljerna förklarar de flesta överraskningar:

En crawler letar efter den grupp vars User-agent matchar dess produkttoken, utan hänsyn till skiftläge. Om flera grupper matchar slås deras regler ihop till en.
Först om ingen grupp matchar följer crawlern gruppen User-agent: *. En namngiven grupp ärver ingenting från *.
Inom gruppen vinner regeln med den längsta matchande sökvägen. Allow: /blog/ slår Disallow: / för /blog/post.
Om en Allow- och en Disallow-regel matchar med samma längd ska Allow användas.
* i en sökväg matchar alla tecken och $ förankrar slutet, så Disallow: /*.pdf$ täcker varje PDF.

Vilka är de vanligaste robots.txt-misstagen

Att förvänta sig att en namngiven grupp ärver från *. En grupp för OAI-SearchBot med bara Allow: / öppnar alla sökvägar, även sådana du har nekat under *.
En robots.txt-adress som returnerar en HTML-sida, ofta en 404-sida som serveras med status 200. Crawlers hittar inga giltiga regler i den.
En robots.txt som returnerar ett serverfel. RFC 9309 säger att en crawler då måste anta att hela webbplatsen är förbjuden. Ett 404 är annorlunda: det betyder att det inte finns några begränsningar.
Att blockera en söktoken när man menar att blockera träning, till exempel genom att neka PerplexityBot eller Claude-SearchBot för att undvika modellträning.
Att lita på att robots.txt stoppar användarbegärda hämtningar. OpenAI och Perplexity säger båda att deras user agents kanske inte följer den.
Att glömma underdomäner. Varje värd har sin egen robots.txt; Anthropics dokumentation påminner webbplatsägare om att lägga till regler för varje underdomän.

Kan jag ange en AI-användningspolicy utöver allow och disallow

Cloudflare har föreslagit en rad Content-Signal för robots.txt med tre signaler: search (bygga ett sökindex och visa länkar och korta utdrag), ai-input (använda innehåll i realtid för AI-svar) och ai-train (träna eller finjustera modeller). Cloudflares hanterade robots.txt kan lägga till den åt dig.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Som allt i robots.txt är det här önskemål, inte tekniska kontroller. Cloudflare noterar själva att efterlevnad av robots.txt är frivillig. Raden är valfri och gör ingen skada, men den ersätter inte grupperna per crawler ovan.

Hur lång tid tar ändringar och hur kontrollerar jag dem

RFC 9309 säger att crawlers inte bör använda en cachad robots.txt i mer än 24 timmar, och OpenAI och Perplexity säger båda att ändringar kan ta ungefär ett dygn att slå igenom. Kom också ihåg att robots.txt inte är åtkomstkontroll: en brandvägg kan fortfarande blockera en crawler som dina regler tillåter.

AISeeWhy tolkar din robots.txt enligt RFC 9309 för varje crawler den testar, flaggar filer som är onåbara eller serveras som HTML, visar var dina regler och din server är oense och ger en färdig diff för ändringen.

Vanliga frågor

Skadar det min synlighet i AI-svar att blockera GPTBot eller ClaudeBot?

Inte direkt. Båda leverantörerna använder separata sökcrawlers, OAI-SearchBot och Claude-SearchBot, för sök. Att blockera träningscrawlern är ett policyval.

Stoppar Google-Extended AI-översikter?

Nej. Google säger att AI-funktionerna i Sök använder Googlebot och de vanliga Sök-kontrollerna som nosnippet och noindex. Google-Extended gäller Gemini-träning och grounding i andra Google-produkter och påverkar inte Sök.

Stöder AI-crawlers Crawl-delay?

Det ingår inte i RFC 9309. Anthropic säger att de stöder Crawl-delay som en icke-standardiserad utökning; för andra leverantörer, se deras dokumentation.

Var måste robots.txt ligga?

I roten av varje värd, till exempel https://example.com/robots.txt. En fil i en undermapp ignoreras, och varje underdomän behöver en egen.