Vérificateur robots.txt pour les robots IA

Saisissez l'adresse d'une page : nous lisons le robots.txt du site et indiquons, pour chaque robot IA et de recherche, s'il peut récupérer cette page. Ou collez un robots.txt pour le tester avant de le publier.

robots.txt n'est qu'une demande. Un pare-feu ou une protection anti-bots peut tout de même bloquer un robot que robots.txt autorise ; la vérification complète le teste. Lancer la vérification complète →

Comment les robots IA lisent robots.txt

Chaque robot suit le groupe qui nomme son jeton (par exemple GPTBot ou PerplexityBot) ; seulement si aucun ne le fait, il suit User-agent: *. Au sein d'un groupe, la règle correspondante la plus longue l'emporte, et Allow l'emporte en cas d'égalité. Bloquer les robots d'entraînement comme GPTBot, ClaudeBot ou Google-Extended tient votre contenu à l'écart de l'entraînement des modèles ; bloquer les robots de recherche et d'utilisateur comme OAI-SearchBot, ChatGPT-User ou PerplexityBot tient vos pages à l'écart des réponses des IA.