Quatre sites d'entreprise sur dix refusent les crawlers IA

Publié le

Réponse courte

Dans nos audits de 165 sites d'entreprise aux États-Unis, au Royaume-Uni et en France, 38 % refusaient au niveau du serveur au moins un crawler IA, presque toujours un bot d'entraînement ou de scraping. Environ un site sur dix refusait aussi un crawler de recherche IA comme PerplexityBot ou OAI-SearchBot, ceux qui peuvent mener à une citation. Vérifiez le vôtre avec une requête par crawler.

Vous interrogez ChatGPT sur votre propre produit et il cite un concurrent, un site d'avis et un fil de forum. Parfois, c'est une question de contenu. Souvent, c'est un pare-feu qui répond non aux crawlers IA, sans que personne dans votre équipe l'ait vu, puisque le site fonctionne dans un navigateur.

Sur cette page
  1. Qu'avons-nous testé ?
  2. Qu'avons-nous constaté ?
  3. Pourquoi cela arrive-t-il, et quand est-ce un choix ?
  4. Les plus grands sites font-ils mieux ?
  5. Comment vérifier mon propre site en dix minutes ?
  6. Ces chiffres sont-ils fiables ?

Qu'avons-nous testé ?

Nous demandons une page plusieurs fois depuis la même adresse : une fois comme un navigateur ordinaire, puis une fois pour chacun de 14 crawlers IA et de recherche, dont GPTBot, OAI-SearchBot et ChatGPT-User d'OpenAI, ClaudeBot et Claude-SearchBot d'Anthropic, et PerplexityBot de Perplexity. Si le navigateur obtient la page et qu'un crawler reçoit un 401, 403, 406, 429, 451, 503 ou une page de défi, le site refuse ce crawler.

L'échantillon compte 218 sites d'entreprise aux États-Unis, au Royaume-Uni et en France, audités du 18 au 21 novembre 2026. Nous avons pu exécuter le test complet sur 165 d'entre eux. Les 53 autres refusaient même notre simple requête de navigateur ou ne répondaient pas ; nous les avons écartés plutôt que de deviner.

Qu'avons-nous constaté ?

Pourquoi cela arrive-t-il, et quand est-ce un choix ?

Une bonne part est probablement volontaire. Beaucoup de propriétaires ne veulent pas que leur contenu serve à entraîner des modèles, et les réglages de protection contre les bots qui bloquent les scrapers sont faciles à activer. C'est un choix légitime.

Le problème est que les entreprises d'IA exploitent des crawlers distincts pour l'entraînement et pour la recherche. Bloquer le crawler d'entraînement n'oblige pas à bloquer celui de recherche, et c'est le crawler de recherche qui peut faire citer votre page dans une réponse.

Les plus grands sites font-ils mieux ?

Pas vraiment. Dans notre rapport robots.txt sur les 1 000 domaines les plus populaires, 29,9 % des sites ayant un robots.txt bloquent au moins un crawler d'entraînement IA, et 63,2 % d'entre eux bloquent aussi au moins un crawler de recherche ou d'utilisateur IA. Seuls 11,0 % bloquent l'entraînement tout en autorisant tous les crawlers de recherche IA, la configuration que la plupart voulaient sans doute.

Comment vérifier mon propre site en dix minutes ?

  1. Ouvrez yoursite.com/robots.txt. Pour chaque crawler IA qui vous intéresse, regardez si un groupe le nomme et ce que dit ce groupe. Un groupe qui nomme un crawler remplace entièrement le groupe général *.
  2. Testez ce que fait le serveur, pas ce que dit le fichier. Demandez votre page clé comme un navigateur, puis comme le crawler. Un 403, un 429, une page intitulée Just a moment... ou une réponse nettement plus légère que celle du navigateur est la signature d'un blocage par pare-feu.
  3. Interrogez l'assistant. Avec la recherche activée, posez à ChatGPT ou à Perplexity les questions que posent vos acheteurs et regardez quels sites il cite. Si l'accès est correct et que vous êtes toujours absent, le problème vient du contenu, pas de l'accès.

Ces chiffres sont-ils fiables ?

Voyez-y un schéma, pas un recensement. L'échantillon n'est pas aléatoire : ce sont des entreprises trouvées via des bibliothèques publicitaires, des sites d'emploi et des fiches de cartes. Nous testons par user agent depuis une seule adresse, alors que les vrais crawlers viennent des adresses que publient leurs éditeurs ; certains pare-feu traiteraient donc les vrais différemment. Et un blocage n'est pas toujours une erreur.

Outils gratuits

Étapes suivantes

Robots cités dans cet article

Questions fréquentes

Quelle part des sites bloque les crawlers IA ?

Dans notre audit de 165 sites d'entreprise testables, 38 % refusaient au moins un crawler IA au niveau du serveur, surtout des bots d'entraînement et de scraping. Environ 10 % refusaient aussi un crawler de recherche IA.

Bloquer GPTBot exclut-il mon site de la recherche ChatGPT ?

Non. OpenAI indique que chaque réglage robots.txt de ses crawlers est indépendant : GPTBot concerne l'entraînement, OAI-SearchBot la recherche ChatGPT. Bloquer l'un ne bloque pas l'autre.

Comment un site peut-il bloquer un crawler sans robots.txt ?

Un pare-feu, un CDN ou une règle de protection contre les bots peut répondre à un crawler par un 403, un 429 ou une page de défi. robots.txt ne le montre jamais : il faut donc le tester en demandant la page comme le crawler.

Refuser un crawler est-il toujours une erreur ?

Non. Beaucoup de propriétaires veulent tenir à distance les crawlers d'entraînement et les scrapers. L'erreur est de bloquer par accident les crawlers de recherche, car ce sont eux qui peuvent citer votre page.

Sources

Autres articles