Comment tester les règles robots.txt pour une URL et un robot précis ?

Publié le

Réponse courte

Pour tester une URL pour un robot, trouvez le groupe qui nomme le jeton du robot (ou User-agent: * si aucun ne le nomme), relevez toutes les règles Allow et Disallow de ce groupe qui correspondent au chemin de l'URL, et appliquez la plus longue ; en cas d'égalité, Allow l'emporte. Vous pouvez le faire à la main, avec le parseur open source de Google ou avec un outil qui donne un verdict par robot. L'ancien outil de test du fichier robots.txt de Search Console a disparu, et le rapport robots.txt qui l'a remplacé montre ce que Google a récupéré, pas un verdict pour une URL.

Un fichier robots.txt paraît simple jusqu'au moment où il faut une réponse nette : GPTBot peut-il récupérer cette page, et OAI-SearchBot ? La réponse dépend du groupe que choisit le robot et de la règle qui l'emporte dans ce groupe, et les deux étapes sont faciles à rater. Voici comment fonctionne la correspondance selon la RFC 9309, quatre exemples commentés, et trois façons de tester un fichier vous-même.

Sur cette page
  1. Qu'est devenu l'outil de test du fichier robots.txt de Google Search Console ?
  2. Comment un robot décide-t-il si une URL est autorisée ?
  3. Pouvez-vous détailler un exemple de test robots.txt ?
  4. Comment utiliser le parseur robots.txt open source de Google ?
  5. Peut-on tester un robots.txt avec urllib.robotparser de Python ?
  6. Pourquoi un test robots.txt réussit-il alors que le robot reste bloqué ?
  7. Comment vérifier le robots.txt pour tous les robots d'IA à la fois ?

Qu'est devenu l'outil de test du fichier robots.txt de Google Search Console ?

En novembre 2023, Google a ajouté un rapport robots.txt à Search Console et annoncé l'arrêt de l'outil de test du fichier robots.txt. Le rapport se trouve dans Paramètres et ne concerne que les robots de Google. Il montre :

Le rapport ne prend pas une URL pour répondre « autorisée » ou « bloquée ». Pour vérifier une URL pour Googlebot, Google renvoie à l'outil d'inspection d'URL et, pour les tests en local, à sa bibliothèque robots.txt open source. Ni l'un ni l'autre ne vous dit quoi que ce soit sur les robots d'IA comme GPTBot ou ClaudeBot.

Comment un robot décide-t-il si une URL est autorisée ?

La RFC 9309, le Robots Exclusion Protocol, définit la correspondance. Google documente le même comportement pour ses robots.

Le code de réponse du robots.txt compte autant que ses règles. Une réponse 4xx signifie que le robot peut tout récupérer ; Google traite chaque 4xx sauf 429 comme si aucun fichier n'existait. Une réponse 5xx signifie que le robot doit considérer tout le site comme interdit. Google arrête l'exploration pendant les 12 premières heures, puis utilise la dernière copie valide pendant 30 jours au plus. La RFC 9309 impose aux robots d'analyser au moins 500 Kio, et Google ignore tout ce qui dépasse 500 Kio.

Pouvez-vous détailler un exemple de test robots.txt ?

Voici un petit robots.txt avec un groupe par défaut et deux robots d'IA nommés :

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Les égalités sont plus rares mais suivent la même logique. La documentation de Google donne le cas de allow: /folder et disallow: /folder pour l'URL /folder/page : les deux ont la même longueur, donc l'URL est autorisée.

Comment utiliser le parseur robots.txt open source de Google ?

Google publie la bibliothèque C++ qu'il utilise en production pour appliquer les règles robots.txt, avec un petit programme en ligne de commande qui teste une URL et un user agent sur un fichier local. Avec Bazel installé :

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Le dépôt documente aussi une compilation avec CMake, qui produit un binaire nommé robots avec les mêmes arguments. L'outil ne fait qu'analyser et comparer ; il ne télécharge pas le robots.txt, donc enregistrez d'abord le fichier en ligne. Son README précise aussi que le comportement propre à un robot en dehors de l'analyse et de la correspondance ne fait pas partie de la bibliothèque.

Peut-on tester un robots.txt avec urllib.robotparser de Python ?

La bibliothèque standard de Python contient un parseur qui répond « autorisé » ou « bloqué » pour un user agent et une URL. Ce script teste l'exemple ci-dessus :

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Vérifiez votre version de Python avant de vous fier au résultat. La correspondance conforme à la RFC 9309 a été ajoutée à CPython en 2026 et livrée pour la première fois dans Python 3.13.14 et 3.14.5. Les versions plus anciennes, dont toute la 3.12 et les précédentes, appliquent la première règle correspondante dans l'ordre du fichier, pas la plus longue, et ne comprennent pas * ni $ dans les chemins. Sur ces versions, le script inverse le premier et le quatrième test : Googlebot bloqué sur /search/help/billing et OAI-SearchBot autorisé à récupérer le PDF.

Deux autres différences valent pour toutes les versions. RobotFileParser.read() traite une réponse 401 ou 403 pour le robots.txt comme une interdiction totale, alors que la RFC 9309 dit qu'un 4xx signifie que tout peut être récupéré. Et read() télécharge le fichier avec le user agent par défaut de Python, que certains pare-feu bloquent, si bien qu'un test peut indiquer « bloqué » pour des raisons sans rapport avec vos règles. Récupérer le fichier vous-même et le passer à parse(), comme ci-dessus, évite les deux.

Pourquoi un test robots.txt réussit-il alors que le robot reste bloqué ?

Un testeur répond à une seule question : les règles autorisent-elles cette URL ? Plusieurs choses échappent à cette réponse :

Comment vérifier le robots.txt pour tous les robots d'IA à la fois ?

Le vérificateur robots.txt gratuit d'AISeeWhy prend l'adresse d'une page ou un robots.txt collé et indique, pour chaque robot d'IA et de recherche, si cette page peut être récupérée. Le générateur de robots.txt gratuit écrit un fichier selon vos choix, et la vérification gratuite récupère la page en tant que 16 robots pour montrer si un pare-feu bloque ce que le robots.txt autorise.

Correctifs pour ce problème

Outils gratuits

Étapes suivantes

Robots cités dans cet article

Questions fréquentes

Existe-t-il encore un outil de test du robots.txt dans Google Search Console ?

Non. Google l'a remplacé en novembre 2023 par le rapport robots.txt, qui montre les fichiers récupérés par Google, leur état et les éventuelles erreurs. Pour vérifier si Googlebot peut explorer une URL précise, utilisez l'outil d'inspection d'URL.

Allow l'emporte-t-il sur Disallow dans le robots.txt ?

Seulement si la règle Allow est plus longue, ou exactement aussi longue. La règle dont le chemin correspondant est le plus long l'emporte, quel que soit son type, et Allow gagne en cas d'égalité.

Le robots.txt est-il sensible à la casse ?

En partie. La valeur User-agent est comparée sans tenir compte de la casse, donc gptbot et GPTBot désignent le même groupe. Les chemins sont sensibles à la casse, donc Disallow: /Private/ ne bloque pas /private/.

Que vérifie un validateur robots.txt ?

Un validateur vérifie que le fichier est accessible, servi en texte et écrit dans une syntaxe valide. Un testeur va plus loin et donne un verdict pour une URL et un robot précis. Il vous faut généralement les deux, car un fichier valide peut quand même bloquer une page que vous vouliez autoriser.

Si un robot a son propre groupe, suit-il encore User-agent: * ?

Non. Un groupe nommé remplace entièrement le groupe * pour ce robot. Toute règle que vous voulez appliquer à tous doit être répétée dans chaque groupe nommé.

Sources

Autres articles