robots.txt-checker voor AI-crawlers

Voer een paginaadres in: we lezen de robots.txt van de site en tonen voor elke AI- en zoekcrawler of die deze pagina mag ophalen. Of plak een robots.txt om die te testen voordat je hem publiceert.

robots.txt is slechts een verzoek. Een firewall of botbescherming kan een crawler die robots.txt toestaat toch blokkeren; de volledige controle test dat. Voer de volledige controle uit →

Hoe AI-crawlers robots.txt lezen

Elke crawler volgt de groep die zijn token noemt (bijvoorbeeld GPTBot of PerplexityBot); alleen als geen enkele groep dat doet, volgt hij User-agent: *. Binnen een groep wint de langste overeenkomende regel, en bij gelijkspel wint Allow. Door trainingscrawlers zoals GPTBot, ClaudeBot of Google-Extended te blokkeren houd je je content buiten modeltraining; door zoek- en gebruikerscrawlers zoals OAI-SearchBot, ChatGPT-User of PerplexityBot te blokkeren houd je je pagina's buiten AI-antwoorden.