Comment tester les règles robots.txt pour une URL et un robot précis ?
Pour tester une URL pour un robot, trouvez le groupe qui nomme le jeton du robot (ou User-agent: * si aucun ne le nomme), relevez toutes les règles Allow et Disallow de ce groupe qui correspondent au chemin de l'URL, et appliquez la plus longue ; en cas d'égalité, Allow l'emporte. Vous pouvez le faire à la main, avec le parseur open source de Google ou avec un outil qui donne un verdict par robot. L'ancien outil de test du fichier robots.txt de Search Console a disparu, et le rapport robots.txt qui l'a remplacé montre ce que Google a récupéré, pas un verdict pour une URL.
Un fichier robots.txt paraît simple jusqu'au moment où il faut une réponse nette : GPTBot peut-il récupérer cette page, et OAI-SearchBot ? La réponse dépend du groupe que choisit le robot et de la règle qui l'emporte dans ce groupe, et les deux étapes sont faciles à rater. Voici comment fonctionne la correspondance selon la RFC 9309, quatre exemples commentés, et trois façons de tester un fichier vous-même.
Sur cette page
- Qu'est devenu l'outil de test du fichier robots.txt de Google Search Console ?
- Comment un robot décide-t-il si une URL est autorisée ?
- Pouvez-vous détailler un exemple de test robots.txt ?
- Comment utiliser le parseur robots.txt open source de Google ?
- Peut-on tester un robots.txt avec urllib.robotparser de Python ?
- Pourquoi un test robots.txt réussit-il alors que le robot reste bloqué ?
- Comment vérifier le robots.txt pour tous les robots d'IA à la fois ?
Qu'est devenu l'outil de test du fichier robots.txt de Google Search Console ?
En novembre 2023, Google a ajouté un rapport robots.txt à Search Console et annoncé l'arrêt de l'outil de test du fichier robots.txt. Le rapport se trouve dans Paramètres et ne concerne que les robots de Google. Il montre :
- Les fichiers robots.txt que Google a trouvés pour les 20 principaux hôtes de votre propriété.
- L'état de récupération de chaque fichier (
Fetched,Not Fetched - Not found (404)ouNot Fetched - Any other reason), la date de la dernière vérification par Google et sa taille en octets. - Les problèmes du fichier. Google indique que les erreurs empêchent l'utilisation d'une règle, contrairement aux avertissements.
- Les versions récupérées par Google au cours des 30 derniers jours, et un bouton pour demander une nouvelle exploration après avoir corrigé le fichier.
Le rapport ne prend pas une URL pour répondre « autorisée » ou « bloquée ». Pour vérifier une URL pour Googlebot, Google renvoie à l'outil d'inspection d'URL et, pour les tests en local, à sa bibliothèque robots.txt open source. Ni l'un ni l'autre ne vous dit quoi que ce soit sur les robots d'IA comme GPTBot ou ClaudeBot.
Comment un robot décide-t-il si une URL est autorisée ?
La RFC 9309, le Robots Exclusion Protocol, définit la correspondance. Google documente le même comportement pour ses robots.
- Choisir le groupe. La correspondance du user agent ne tient pas compte de la casse. Si un ou plusieurs groupes nomment le jeton du robot, leurs règles sont combinées et le groupe
User-agent: *est entièrement ignoré. Seul un robot sans groupe nommé suit*. - Choisir la règle. Parmi les règles
AllowetDisallowdont le chemin correspond à l'URL, celle qui compte le plus de caractères l'emporte. Si unAllowet unDisallowont la même longueur,Allowdevrait l'emporter. - Lire les motifs.
*correspond à n'importe quelle suite de caractères et$marque la fin de l'URL. Les chemins sont sensibles à la casse :/Admin/ne correspond pas à/admin/. - Aucune règle correspondante signifie autorisé.
/robots.txtlui-même est toujours autorisé.
Le code de réponse du robots.txt compte autant que ses règles. Une réponse 4xx signifie que le robot peut tout récupérer ; Google traite chaque 4xx sauf 429 comme si aucun fichier n'existait. Une réponse 5xx signifie que le robot doit considérer tout le site comme interdit. Google arrête l'exploration pendant les 12 premières heures, puis utilise la dernière copie valide pendant 30 jours au plus. La RFC 9309 impose aux robots d'analyser au moins 500 Kio, et Google ignore tout ce qui dépasse 500 Kio.
Pouvez-vous détailler un exemple de test robots.txt ?
Voici un petit robots.txt avec un groupe par défaut et deux robots d'IA nommés :
Googlebotet/search/help/billing: autorisé. Il n'y a pas de groupe Googlebot, donc le groupe*s'applique.Disallow: /searchetAllow: /search/helpcorrespondent tous les deux, et la règleAllowest plus longue.GPTBotet/blog/post: bloqué. GPTBot a son propre groupe, etDisallow: /correspond à tous les chemins.OAI-SearchBotet/admin/settings: autorisé. OAI-SearchBot a son propre groupe, doncDisallow: /admin/du groupe*ne s'applique pas à lui. C'est la surprise la plus fréquente ; répétez les règles communes dans chaque groupe nommé.OAI-SearchBotet/files/report.pdf: bloqué.Allow: /correspond avec un caractère,Disallow: /*.pdf$avec sept, et la règle la plus longue l'emporte.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Les égalités sont plus rares mais suivent la même logique. La documentation de Google donne le cas de allow: /folder et disallow: /folder pour l'URL /folder/page : les deux ont la même longueur, donc l'URL est autorisée.
Comment utiliser le parseur robots.txt open source de Google ?
Google publie la bibliothèque C++ qu'il utilise en production pour appliquer les règles robots.txt, avec un petit programme en ligne de commande qui teste une URL et un user agent sur un fichier local. Avec Bazel installé :
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Le dépôt documente aussi une compilation avec CMake, qui produit un binaire nommé robots avec les mêmes arguments. L'outil ne fait qu'analyser et comparer ; il ne télécharge pas le robots.txt, donc enregistrez d'abord le fichier en ligne. Son README précise aussi que le comportement propre à un robot en dehors de l'analyse et de la correspondance ne fait pas partie de la bibliothèque.
Peut-on tester un robots.txt avec urllib.robotparser de Python ?
La bibliothèque standard de Python contient un parseur qui répond « autorisé » ou « bloqué » pour un user agent et une URL. Ce script teste l'exemple ci-dessus :
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Vérifiez votre version de Python avant de vous fier au résultat. La correspondance conforme à la RFC 9309 a été ajoutée à CPython en 2026 et livrée pour la première fois dans Python 3.13.14 et 3.14.5. Les versions plus anciennes, dont toute la 3.12 et les précédentes, appliquent la première règle correspondante dans l'ordre du fichier, pas la plus longue, et ne comprennent pas * ni $ dans les chemins. Sur ces versions, le script inverse le premier et le quatrième test : Googlebot bloqué sur /search/help/billing et OAI-SearchBot autorisé à récupérer le PDF.
Deux autres différences valent pour toutes les versions. RobotFileParser.read() traite une réponse 401 ou 403 pour le robots.txt comme une interdiction totale, alors que la RFC 9309 dit qu'un 4xx signifie que tout peut être récupéré. Et read() télécharge le fichier avec le user agent par défaut de Python, que certains pare-feu bloquent, si bien qu'un test peut indiquer « bloqué » pour des raisons sans rapport avec vos règles. Récupérer le fichier vous-même et le passer à parse(), comme ci-dessus, évite les deux.
Pourquoi un test robots.txt réussit-il alors que le robot reste bloqué ?
Un testeur répond à une seule question : les règles autorisent-elles cette URL ? Plusieurs choses échappent à cette réponse :
- Le fichier en ligne diffère de celui que vous avez testé, ou le robot utilise encore une copie en cache. La RFC 9309 dit que les robots ne devraient pas utiliser une copie en cache plus de 24 heures, et Google met en cache jusqu'à 24 heures en général.
- L'URL du robots.txt renvoie une page HTML ou une erreur. Une page HTML avec le statut 200 ne contient aucune règle valide, et une réponse 5xx bloque tout le site.
- Le robots.txt est une demande, pas un contrôle d'accès. Un pare-feu, un CDN ou une protection anti-bots peut toujours répondre au robot par un 403 ou une page de vérification.
Comment vérifier le robots.txt pour tous les robots d'IA à la fois ?
Le vérificateur robots.txt gratuit d'AISeeWhy prend l'adresse d'une page ou un robots.txt collé et indique, pour chaque robot d'IA et de recherche, si cette page peut être récupérée. Le générateur de robots.txt gratuit écrit un fichier selon vos choix, et la vérification gratuite récupère la page en tant que 16 robots pour montrer si un pare-feu bloque ce que le robots.txt autorise.
Correctifs pour ce problème
- robots.txt autorise GPTBot, mais le serveur le bloque
- robots.txt interdit OAI-SearchBot
- robots.txt est une page HTML
- robots.txt est inaccessible
Étapes suivantes
- Testeur et vérificateur robots.txt pour les robots IA
- Voir un exemple de rapport complet
- Surveillance des robots IA
- Formules et tarifs
Robots cités dans cet article
Questions fréquentes
Existe-t-il encore un outil de test du robots.txt dans Google Search Console ?
Non. Google l'a remplacé en novembre 2023 par le rapport robots.txt, qui montre les fichiers récupérés par Google, leur état et les éventuelles erreurs. Pour vérifier si Googlebot peut explorer une URL précise, utilisez l'outil d'inspection d'URL.
Allow l'emporte-t-il sur Disallow dans le robots.txt ?
Seulement si la règle Allow est plus longue, ou exactement aussi longue. La règle dont le chemin correspondant est le plus long l'emporte, quel que soit son type, et Allow gagne en cas d'égalité.
Le robots.txt est-il sensible à la casse ?
En partie. La valeur User-agent est comparée sans tenir compte de la casse, donc gptbot et GPTBot désignent le même groupe. Les chemins sont sensibles à la casse, donc Disallow: /Private/ ne bloque pas /private/.
Que vérifie un validateur robots.txt ?
Un validateur vérifie que le fichier est accessible, servi en texte et écrit dans une syntaxe valide. Un testeur va plus loin et donne un verdict pour une URL et un robot précis. Il vous faut généralement les deux, car un fichier valide peut quand même bloquer une page que vous vouliez autoriser.
Si un robot a son propre groupe, suit-il encore User-agent: * ?
Non. Un groupe nommé remplace entièrement le groupe * pour ce robot. Toute règle que vous voulez appliquer à tous doit être répétée dans chaque groupe nommé.
Sources
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py