robots.txt-generator til AI-crawlere
Vælg, hvilke AI-crawlere der må læse dit site, og kopiér den genererede robots.txt. Et almindeligt valg er at blokere AI-trænings-crawlere som GPTBot og ClaudeBot, men tillade AI-søgecrawlere som OAI-SearchBot og PerplexityBot, så dine sider stadig kan vises og citeres i AI-svar.
At blokere hentning på brugerens anmodning har begrænset effekt: nogle leverandører siger, at disse agenter måske ikke følger robots.txt, fordi et menneske bad om siden. Test resultatet med robots.txt-tjekket, før du offentliggør det. robots.txt-tjek til AI-crawlere →
Sådan bruger du den
Læg filen i roden af dit domæne (https://example.com/robots.txt). Har du allerede regler for andre crawlere, så behold dem og tilføj kun AI-grupperne. Ændringer træder i kraft, næste gang hver crawler læser filen, som regel inden for et døgn.