Claude voit-il mon site ? Comment le vérifier

Publié le · Mis à jour le

Réponse courte

Claude ne peut lire votre page que si votre robots.txt autorise les agents d'Anthropic et si votre serveur leur envoie le même HTML qu'à un navigateur. Vérifiez que le robots.txt n'interdit ni Claude-SearchBot ni Claude-User, que votre pare-feu ne leur répond pas par un 403 ou une page de vérification, et que le texte principal figure dans le HTML initial. Testez ensuite Claude lui-même : collez votre URL dans une conversation et posez les questions de vos clients avec la recherche web activée.

Si vous interrogez Claude sur votre produit et qu'il cite d'autres sites, la première question est de savoir s'il peut seulement atteindre le vôtre. Cette question a une réponse vérifiable. Anthropic publie les jetons robots.txt de ses agents et les adresses IP d'où ils viennent, et Claude affiche les sources qu'il a utilisées. Vous pouvez donc vérifier chaque étape dans l'ordre : ce que dit votre robots.txt, ce qu'envoie votre serveur, ce qu'enregistrent vos journaux et ce que Claude fait d'une page quand vous la lui donnez.

Sur cette page
  1. La vérification en 5 minutes, étape par étape
  2. Comment Claude lit-il les sites web ?
  3. Comment vérifier dans robots.txt si Claude peut accéder à mon site ?
  4. Comment tester ce que les agents de Claude reçoivent de mon serveur ?
  5. Comment savoir si Claude visite réellement mon site ?
  6. Comment tester Claude lui-même avec ma page ?
  7. Et si Claude peut lire ma page mais ne la cite toujours pas ?
  8. Comment AISeeWhy vérifie-t-il cela ?

La vérification en 5 minutes, étape par étape

  1. Ouvrez votre robots.txt et vérifiez qu'aucun groupe pour Claude-SearchBot, Claude-User ou User-agent: * n'interdit la page. ClaudeBot ne compte que pour l'entraînement.
  2. Lancez une vérification gratuite de la page sur AISeeWhy ou envoyez une requête avec le user agent Claude-User : elle doit obtenir le statut 200 et le même texte qu'un navigateur.
  3. Cherchez Claude-SearchBot et Claude-User dans votre journal d'accès et regardez les codes de statut qu'ils ont reçus.
  4. Collez votre URL dans Claude avec la recherche web activée, demandez-lui de résumer la page, puis posez une question que posent vos acheteurs et vérifiez les citations.

Si l'étape 1 ou 2 échoue, corrigez d'abord l'accès ; les sections ci-dessous expliquent comment. Si Claude lit la page mais ne la cite pas, travaillez le contenu.

Comment Claude lit-il les sites web ?

Claude accède au web de deux façons. Avec la recherche web, il lance une recherche quand une question demande des informations récentes, examine plusieurs sources et répond avec des citations. Le centre d'aide d'Anthropic indique que chaque réponse qui utilise la recherche web contient des citations. Quand quelqu'un donne à Claude un lien précis, il peut ouvrir cette page directement.

Anthropic documente trois agents pour cela, chacun avec son propre jeton robots.txt. Claude-SearchBot explore le web pour améliorer les résultats de recherche de Claude, Claude-User récupère des pages quand la question d'un utilisateur en a besoin, et ClaudeBot collecte du contenu qui peut servir à l'entraînement. Notre guide sur les trois robots d'Anthropic détaille le rôle de chacun. Pour être lu et cité, ce sont les deux premiers qu'il faut vérifier.

Une limite à dire franchement : Anthropic ne précise pas quel index de recherche utilise la recherche web de Claude ni comment elle choisit ses sources. Elle indique que bloquer Claude-SearchBot peut réduire votre visibilité dans les résultats de recherche et que bloquer Claude-User empêche la récupération pour les questions des utilisateurs. Autoriser les deux rend une citation possible ; cela ne la garantit pas.

Comment vérifier dans robots.txt si Claude peut accéder à mon site ?

Ouvrez https://yourdomain.com/robots.txt et cherchez des groupes qui nomment Claude-SearchBot ou Claude-User. Si aucun des deux n'est nommé, les deux suivent le groupe User-agent: *. Selon la RFC 9309, la correspondance des jetons ne tient pas compte de la casse, et un Disallow: / dans le groupe applicable ferme tout le site à cet agent.

Vérifiez aussi la réponse elle-même. Un robots.txt qui renvoie une erreur serveur indique aux robots de considérer que tout est interdit. Un 404 signifie qu'il n'y a aucune règle. Deux commandes affichent le statut et chaque groupe du fichier :

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic précise que les règles doivent se trouver dans le robots.txt à la racine de chaque sous-domaine : blog.example.com a donc besoin de son propre fichier. Ces blocages ne sont pas rares. Dans notre étude des 1 000 domaines les plus populaires, 67 des 518 sites qui servaient un robots.txt (12,9 %) interdisaient la page d'accueil à Claude-SearchBot et 68 (13,1 %) à Claude-User, contre 110 (21,2 %) pour le robot d'entraînement ClaudeBot.

Comment tester ce que les agents de Claude reçoivent de mon serveur ?

robots.txt est une demande, pas un contrôle d'accès. Un pare-feu, un CDN ou une protection anti-bots peut répondre aux agents d'Anthropic par un 403, un 429 ou une page de vérification alors que votre navigateur voit la page normalement. Anthropic indique que ses robots ne tentent pas de contourner les CAPTCHA : une page de vérification met donc fin à la visite.

Demandez la même URL avec un user agent de navigateur et avec chaque jeton d'Anthropic, puis comparez le statut et la taille :

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

La page d'aide d'Anthropic nomme les jetons mais ne publie pas de chaînes user agent complètes : ce sont donc des chaînes de test, pas celles qu'Anthropic utilise réellement. Elles montrent comment les règles qui se basent sur le nom traitent la requête. Un 403, 429 ou 503 sur les seules lignes Claude, ou un 200 bien plus léger que celui du navigateur, désigne votre pare-feu.

Votre test part de votre propre adresse IP. Anthropic indique que les requêtes provenant des adresses de sa liste claude.com/crawling/bots.json viennent d'Anthropic. Si votre pare-feu autorise les robots vérifiés par IP, les vrais agents peuvent passer alors que votre test est bloqué, et l'inverse est aussi possible. Servez-vous de la liste pour autoriser Anthropic, pas pour la bloquer : Anthropic déconseille le blocage par IP, car il empêche aussi ses robots de lire votre robots.txt.

Comment savoir si Claude visite réellement mon site ?

Vos journaux d'accès répondent directement. Cherchez-y les trois jetons, puis vérifiez que les adresses d'origine se trouvent dans les plages publiées par Anthropic, car n'importe qui peut copier le nom d'un user agent :

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

La première commande suppose le format de journal combiné courant, où le champ 1 est l'adresse du client et le champ 9 le code de statut. De nombreux codes 403 ou 429 à côté des agents d'Anthropic confirment un problème de pare-feu. L'absence totale de visites de Claude-SearchBot signifie seulement qu'il n'a pas encore exploré ces pages, ou que quelque chose l'arrête plus tôt.

Comment tester Claude lui-même avec ma page ?

Ouvrez une conversation et collez l'URL d'une de vos pages avec une demande comme « Résume cette page ». Le centre d'aide d'Anthropic indique qu'avec la recherche web activée, Claude peut ouvrir les liens que vous fournissez. Si la recherche web est désactivée, activez-la depuis le menu + ; dans la nouvelle expérience Claude d'Anthropic, il n'y a pas d'interrupteur et Claude cherche quand c'est utile. Sur les forfaits Team et Enterprise, un propriétaire doit d'abord activer la recherche web pour l'organisation. Si Claude ne peut pas ouvrir votre page alors qu'un navigateur le peut, revenez au test du pare-feu.

Posez ensuite les questions de vos clients, sans nommer votre site, et ouvrez les sources citées. Anthropic indique que Claude peut utiliser une localisation déduite de votre adresse IP pour des résultats localisés : les réponses peuvent donc varier selon le lieu et d'une exécution à l'autre.

Les développeurs peuvent refaire ce test via l'API Claude. L'outil de recherche web accepte une liste allowed_domains : une requête limitée à votre domaine montre si la recherche de Claude renvoie l'une de vos pages pour une question donnée :

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Des résultats de recherche vides signifient que la recherche de Claude n'a rien trouvé sur ce domaine pour cette question. Anthropic facture les recherches web de l'API en plus des jetons. L'outil web fetch de l'API indique aussi pourquoi une page n'a pas pu être lue : url_not_allowed couvre les blocages comme robots.txt, et url_not_accessible signale une erreur HTTP. Les réponses de l'API peuvent différer de ce qu'affichent les applications Claude.

Et si Claude peut lire ma page mais ne la cite toujours pas ?

Assurez-vous d'abord que le texte dont il a besoin figure dans le HTML envoyé par votre serveur. La documentation de l'API d'Anthropic indique que son outil web fetch ne prend pas en charge les sites rendus en JavaScript, et Anthropic ne dit pas que ses robots exécutent les scripts. Récupérez votre page avec curl et cherchez dans le résultat une phrase de votre contenu principal. Si elle manque, le rendu côté serveur ou le prérendu règle le problème pour Claude et pour la plupart des autres robots d'IA.

Ensuite, c'est la page elle-même qui décide. Donnez la réponse à la question principale de la page dans ses premières phrases, utilisez des intertitres qui reprennent les questions que les gens posent, nommez l'éditeur et affichez les dates. Comparez ensuite votre page à celle que Claude cite pour la même question : la page citée répond souvent plus directement à cette question précise.

Comment AISeeWhy vérifie-t-il cela ?

La vérification gratuite d'AISeeWhy récupère votre page en tant que Claude-SearchBot, Claude-User, ClaudeBot et les autres robots d'IA et de recherche, à côté d'un vrai navigateur, applique votre robots.txt à chacun, reconnaît les pages de vérification et montre combien de texte arrive sans JavaScript. La vérification Visibilité dans l'IA, dans les forfaits payants, pose vos questions à Claude avec la recherche web, via votre propre clé API, et indique si votre marque ou votre domaine est mentionné ou cité.

Outils gratuits

Étapes suivantes

Robots cités dans cet article

Questions fréquentes

Puis-je vérifier gratuitement si Claude voit mon site ?

Oui. Votre robots.txt, une requête curl, votre journal serveur et une question à Claude ne coûtent rien. La vérification gratuite d'AISeeWhy teste les agents d'Anthropic et 13 autres robots pour une page par jour, sans compte.

Pourquoi Claude n'arrive-t-il pas à ouvrir mon site quand je colle le lien ?

Les causes habituelles sont un pare-feu ou une protection anti-bots qui répond aux agents d'Anthropic par un 403 ou une page de vérification, une règle robots.txt qui interdit Claude-User, ou une page dont le texte n'apparaît qu'après l'exécution de JavaScript. Testez l'URL avec curl en tant que navigateur et avec les jetons Claude, et cherchez les requêtes bloquées dans vos journaux.

Anthropic publie-t-elle une chaîne user agent pour mes tests ?

La page d'aide d'Anthropic sur ses robots liste les jetons ClaudeBot, Claude-SearchBot et Claude-User, mais aucune chaîne user agent complète. Pour distinguer le vrai trafic d'Anthropic des imitations, comparez l'IP d'origine avec la liste claude.com/crawling/bots.json.

Combien de temps faut-il pour qu'une modification du robots.txt atteigne Claude ?

Anthropic ne donne pas de délai. La RFC 9309 indique que les robots ne doivent pas utiliser un robots.txt en cache plus de 24 heures : attendez donc au moins un jour avant de juger le résultat dans vos journaux ou dans les réponses de Claude.

L'API Claude donne-t-elle les mêmes réponses que l'application Claude ?

Pas forcément. L'application peut utiliser votre localisation approximative et ses propres réglages, alors qu'une requête API utilise les outils et paramètres que vous envoyez. Considérez les résultats de l'API comme un test reproductible, pas comme une copie de ce que voit chaque utilisateur.

Comment savoir si Claude mentionne ma marque ?

Posez à Claude, recherche web activée, les questions de vos clients, et notez s'il nomme ou cite votre site et quels concurrents apparaissent à la place. Répétez chaque question sur plusieurs semaines, car les réponses varient. La vérification Visibilité dans l'IA d'AISeeWhy le fait chaque semaine via l'API Claude avec votre clé, à côté de quatre concurrents au plus.

Sources

Autres articles