Generator for robots.txt for AI-crawlere
Velg hvilke AI-crawlere som får lese nettstedet ditt, og kopier den genererte robots.txt-filen. Et vanlig valg er å blokkere crawlere for AI-trening som GPTBot og ClaudeBot, men tillate crawlere for AI-søk som OAI-SearchBot og PerplexityBot, slik at sidene dine fortsatt kan vises og siteres i AI-svar.
Å blokkere agenter som henter sider på brukerens forespørsel, har begrenset effekt: noen leverandører sier at disse agentene kanskje ikke følger robots.txt, fordi en person ba om siden. Test resultatet med robots.txt-sjekkeren før du publiserer det. robots.txt-sjekk for AI-crawlere →
Slik bruker du den
Legg filen i roten av domenet ditt (https://example.com/robots.txt). Hvis du allerede har regler for andre crawlere, beholder du dem og legger bare til AI-gruppene. Endringene trer i kraft neste gang hver crawler leser filen, vanligvis innen et døgn.