Googlebot

Google · Moteur de recherche

Googlebot est le robot principal de Google pour construire ses index de recherche. Google indique que les règles robots.txt pour Googlebot sont le moyen de contrôler l'exploration d'un site pour la recherche, y compris les fonctions d'IA comme les aperçus IA et le mode IA. Le bloquer retire vos pages de la recherche Google et de ces réponses IA.

Ce qu'il fait

Googlebot sert à trouver des informations pour construire les index de recherche de Google. Les préférences d'exploration adressées au jeton Googlebot affectent la recherche Google et des produits comme Google Images, Vidéos, Google Actualités et Discover. Il fonctionne comme robot pour smartphone et pour ordinateur ; les deux obéissent aux mêmes règles Googlebot, et Google indique que ses robots courants obéissent toujours à robots.txt lors d'une exploration automatique.

La documentation de Google sur les fonctions d'IA décrit les règles de Googlebot comme le moyen de contrôle pour la recherche, y compris les aperçus IA et le mode IA, et renvoie à nosnippet, data-nosnippet, max-snippet et noindex pour limiter ce qui est affiché. L'utilisation pour l'entraînement de Gemini est contrôlée séparément par Google-Extended.

Dans notre étude de 2026-11, 2.7% des sites populaires avec un robots.txt le bloquaient. →

Jeton robots.txt

Googlebot

Chaîne user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Comment l'autoriser

User-agent: Googlebot
Allow: /

Comment le bloquer

User-agent: Googlebot
Disallow: /

Comment vérifier les visites réelles

Google indique que les chaînes user agent peuvent être usurpées et recommande une vérification DNS en deux étapes. Effectuez une recherche DNS inverse sur l'IP à l'origine de la requête : le nom d'hôte doit se terminer par googlebot.com, google.com ou googleusercontent.com. Effectuez ensuite une recherche directe sur ce nom d'hôte et vérifiez qu'elle renvoie la même IP. Google publie aussi au format JSON les plages d'IP de ses robots courants, ce qui permet de comparer les adresses automatiquement.

Vérifiez si votre site le laisse entrer →

AEO et SEO : ce qui est identique et ce qui change pour les réponses d'IA →