Googlebot
Googlebot je hlavní crawler Googlu pro tvorbu jeho vyhledávacích indexů. Google uvádí, že pravidla v robots.txt pro Googlebot určují, jak se web prochází pro Vyhledávání, včetně funkcí AI jako AI Overviews a AI Mode. Jeho zablokováním odstraníte své stránky z Vyhledávání Google i z těchto odpovědí AI.
Co dělá
Googlebot slouží ke zjišťování informací pro tvorbu vyhledávacích indexů Googlu. Nastavení procházení určená tokenu Googlebot ovlivňují Vyhledávání Google a produkty jako Google Obrázky, Videa, Google News a Discover. Běží jako crawler pro smartphony i pro počítače; oba se řídí stejnými pravidly pro Googlebot a Google uvádí, že jeho běžné crawlery při automatickém procházení vždy dodržují robots.txt.
Dokumentace Googlu k funkcím AI popisuje pravidla pro Googlebot jako nástroj kontroly pro Vyhledávání, včetně AI Overviews a AI Mode, a k omezení zobrazovaného obsahu odkazuje na nosnippet, data-nosnippet, max-snippet a noindex. Použití pro trénování Gemini se řídí samostatně pomocí Google-Extended.
V naší studii z období 2026-11 ho zablokovalo 2.7% oblíbených webů s robots.txt. →
Token pro robots.txt
Googlebot
Řetězec user agenta
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Jak ho povolit
User-agent: Googlebot
Allow: /Jak ho zablokovat
User-agent: Googlebot
Disallow: /Jak ověřit skutečné návštěvy
Google upozorňuje, že řetězce user agentů lze padělat, a doporučuje dvoukrokovou kontrolu přes DNS. Proveďte zpětné vyhledání DNS pro IP odesílatele: název hostitele by měl končit na googlebot.com, google.com nebo googleusercontent.com. Poté proveďte přímé vyhledání tohoto názvu hostitele a ověřte, že vrátí stejnou IP. Google také zveřejňuje rozsahy IP svých běžných crawlerů jako JSON, takže adresy můžete porovnávat automaticky.