robots.txt-tjek til AI-crawlere

Indtast en sideadresse: vi læser websitets robots.txt og viser for hver AI- og søgecrawler, om den må hente siden. Eller indsæt en robots.txt for at teste den, før du udgiver den.

robots.txt er kun en anmodning. En firewall eller botbeskyttelse kan stadig blokere en crawler, som robots.txt tillader; det fulde tjek tester det. Kør det fulde tjek →

Sådan læser AI-crawlere robots.txt

Hver crawler følger den gruppe, der nævner dens token (for eksempel GPTBot eller PerplexityBot); kun hvis ingen gør det, følger den User-agent: *. Inden for en gruppe vinder den længste matchende regel, og ved uafgjort vinder Allow. Blokerer du træningscrawlere som GPTBot, ClaudeBot eller Google-Extended, holder du dit indhold ude af modeltræning; blokerer du søge- og brugercrawlere som OAI-SearchBot, ChatGPT-User eller PerplexityBot, holder du dine sider ude af AI-svar.