robots.txt-sjekk for AI-crawlere

Skriv inn en sideadresse: vi leser nettstedets robots.txt og viser for hver AI- og søkecrawler om den får hente siden. Eller lim inn en robots.txt for å teste den før du publiserer den.

robots.txt er bare en forespørsel. En brannmur eller botbeskyttelse kan likevel blokkere en crawler som robots.txt tillater; den fullstendige sjekken tester det. Kjør den fullstendige sjekken →

Slik leser AI-crawlere robots.txt

Hver crawler følger gruppen som nevner tokenet dens (for eksempel GPTBot eller PerplexityBot); bare hvis ingen gjør det, følger den User-agent: *. Innenfor en gruppe vinner den lengste samsvarende regelen, og ved likhet vinner Allow. Blokkerer du treningscrawlere som GPTBot, ClaudeBot eller Google-Extended, holder du innholdet ditt utenfor modelltrening; blokkerer du søke- og brukercrawlere som OAI-SearchBot, ChatGPT-User eller PerplexityBot, holder du sidene dine utenfor AI-svar.