robots.txt interdit GPTBot

Réponse courte

Votre robots.txt contient une règle Disallow qui concerne cette page pour le jeton de ce robot. L'audit applique la RFC 9309 : le groupe propre au robot s'il en a un, sinon le groupe *, et la règle correspondante la plus longue l'emporte. Ajoutez un Allow pour le robot ou supprimez la règle si vous voulez qu'il passe.

robots.disallowed · Priorité: P1–P3, selon le type de robot

Ce que cela signifie

Les règles de votre robots.txt empêchent GPTBot de récupérer /.

Pourquoi c'est important pour la recherche IA

Les robots IA bien élevés respectent robots.txt. Si OAI-SearchBot, Claude-SearchBot ou PerplexityBot sont interdits, la page n'est pas récupérée pour leurs index de recherche et ne peut donc pas être citée dans leurs réponses. Interdire des jetons d'entraînement comme GPTBot, ClaudeBot, Google-Extended ou Applebot-Extended empêche seulement l'usage pour l'entraînement des modèles.

Beaucoup de sites bloquent les robots IA par accident : un gabarit qui interdit tout sauf Googlebot, ou un groupe User-agent: * avec Disallow: / oublié depuis un environnement de test. Notez qu'Applebot utilise le groupe de Googlebot quand il n'a pas de groupe à lui.

Comment corriger

Trouvez la règle dans le constat : elle nomme le jeton du robot et le chemin. Le rapport AISeeWhy montre les preuves et un correctif prêt à coller ; lancez ensuite « Revérifier » pour confirmer le résultat.
Retirez le jeton du robot de tout groupe qui interdit la page, puis ajoutez son propre groupe avec Allow: /. Un groupe spécifique remplace le groupe * pour ce robot : les règles de * ne s'appliquent donc plus à lui.
Sur WordPress, vérifiez si robots.txt est un vrai fichier à la racine web ou s'il est généré par une extension SEO comme Yoast ou Rank Math, et modifiez-le là. Sur Shopify, modifiez le gabarit de thème robots.txt.liquid.
Sur Cloudflare, vérifiez si un réglage de robots.txt géré ajoute des règles pour les robots IA par-dessus votre propre fichier.
Gardez les jetons d'entraînement interdits si c'est votre politique ; cela n'affecte pas les robots de recherche, qui utilisent des jetons distincts.

Exemple

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Comment confirmer le correctif

Après la modification, cliquez sur « Revérifier » dans le rapport : il indique ce qui a été corrigé et comment le score a évolué.

Vérifier ma page →

Guides associés

Tous les constats et le fonctionnement du score