Nous avons lu le robots.txt des 10 000 sites les plus populaires. Voici ce qu'ils font face aux crawlers IA

Publié le

Réponse courte

Sur les 6 192 domaines du top 10 000 de Tranco qui servent un robots.txt, 23,2 % bloquent au moins un crawler d'entraînement IA et 12,3 % bloquent au moins un crawler de recherche ou d'utilisateur IA. 51,6 % des sites qui bloquent l'entraînement bloquent aussi la recherche IA. Seuls 11,2 % refusent l'entraînement tout en autorisant tous les crawlers de recherche IA.

En novembre, nous avions lu le robots.txt des 1 000 domaines les plus populaires. Cette fois, nous en avons lu 10 000, avec la même méthode, et vérifié comment le tableau évolue quand les sites sont plus petits. Le constat reste le même : bloquer l'entraînement et bloquer la recherche sont traités comme une seule décision, alors qu'il y en a deux.

Sur cette page
  1. Comment l'avons-nous mesuré ?
  2. Qu'avons-nous constaté ?
  3. Quels crawlers sont bloqués le plus souvent ?
  4. Les plus grands sites bloquent-ils davantage ?
  5. Quelque chose a-t-il changé depuis notre rapport du 12 novembre ?
  6. Que cela signifie-t-il pour votre robots.txt ?
  7. Ces chiffres sont-ils fiables ?

Comment l'avons-nous mesuré ?

Nous avons pris les 10 000 premiers domaines de la liste Tranco (identifiant de liste JZWZY) et récupéré une fois, le 21 novembre 2026, la page d'accueil, le robots.txt et le llms.txt de chaque domaine, avec le user agent propre à AISeeWhy. Nous avons évalué chaque robots.txt selon la RFC 9309 pour la page d'accueil (/) et pour 16 crawlers IA et de recherche.

6 192 des 10 000 domaines servaient un robots.txt (une réponse réussie qui n'est pas une page HTML). 1 121 répondaient par un 4xx, ce qui signifie aucune règle et tous les crawlers autorisés, et 2 687 n'en servaient pas (pas de site HTTPS, erreurs, délais dépassés ou page HTML à la place). Tous les pourcentages ci-dessous portent sur les 6 192. La liste inclut des CDN et des API qui ne servent aucun site web.

Qu'avons-nous constaté ?

Quels crawlers sont bloqués le plus souvent ?

Part des 6 192 domaines dont le robots.txt interdit la page d'accueil au crawler :

Les plus grands sites bloquent-ils davantage ?

Oui, et ils confondent plus souvent entraînement et recherche. Nous avons découpé la liste par rang :

La voie sélective est rare quelle que soit la taille : 10,5 %, 10,4 % et 11,5 % des domaines des trois groupes.

Quelque chose a-t-il changé depuis notre rapport du 12 novembre ?

Nous avons relancé les 1 000 premiers domaines avec la même liste. Le résultat est stable à environ un point près : 28,6 % bloquent l'entraînement (29,9 % le 12 novembre), 18,6 % bloquent la recherche IA (19,5 %), et 63,1 % de ceux qui bloquent l'entraînement bloquent aussi la recherche IA (63,2 %). Les dénominateurs diffèrent légèrement (560 domaines avec un robots.txt aujourd'hui, 518 alors), car cette fois nous suivons la redirection d'un domaine vers son hôte principal avant de récupérer le fichier.

Que cela signifie-t-il pour votre robots.txt ?

La plupart des entreprises d'IA documentent des crawlers distincts pour l'entraînement et pour la recherche, et précisent que les réglages sont indépendants. Interdire GPTBot n'affecte pas OAI-SearchBot, et interdire ClaudeBot n'affecte pas Claude-SearchBot. Si vous voulez refuser l'entraînement tout en restant cité, bloquez les jetons d'entraînement et autorisez les jetons de recherche et d'utilisateur, et répétez les chemins privés dans chaque groupe, car un groupe nommé n'hérite pas de *.

Ces chiffres sont-ils fiables ?

Ce sont des règles robots.txt pour la page d'accueil, lues par un seul analyseur, un seul jour. Elles ne mesurent pas les blocages par pare-feu, qui peuvent refuser un crawler que robots.txt autorise. Elles ne disent pas ce que chaque site voulait faire, et la liste Tranco comprend des domaines qui ne servent aucun site web. Une règle qui bloque un crawler de recherche ne prouve pas une erreur, seulement un choix souvent fait sans connaître la différence. Vous pouvez citer ces chiffres avec un lien vers cette page.

Outils gratuits

Étapes suivantes

Robots cités dans cet article

Questions fréquentes

Quelle part des sites populaires bloque les crawlers IA ?

Parmi les 6 192 domaines du top 10 000 de Tranco qui servent un robots.txt, 23,2 % bloquent au moins un crawler d'entraînement IA et 12,3 % bloquent au moins un crawler de recherche ou d'utilisateur IA.

Les sites qui bloquent l'entraînement IA bloquent-ils aussi la recherche IA ?

Souvent. 51,6 % des sites qui bloquent un crawler d'entraînement bloquent aussi au moins un crawler de recherche ou d'utilisateur IA, alors que les éditeurs les documentent comme des crawlers distincts aux réglages indépendants.

Quel crawler IA est bloqué le plus souvent ?

Parmi les crawlers d'entraînement, Bytespider (18,7 %) et CCBot (18,5 %), puis GPTBot (17,4 %). Parmi les crawlers de recherche IA, PerplexityBot est le plus souvent bloqué, sur 10,4 % des domaines.

Pourquoi les chiffres diffèrent-ils de votre rapport sur 1 000 sites ?

Les 1 000 premiers domaines donnent presque les mêmes pourcentages (28,6 % et 18,6 % contre 29,9 % et 19,5 %). Les chiffres sur 10 000 sites sont plus bas parce que les sites plus petits bloquent moins.

Sources

Autres articles