Googlebot
Googlebot е основният бот на Google за изграждане на индексите му за търсене. Google казва, че правилата в robots.txt за Googlebot определят как се обхожда сайтът за Search, включително AI функции като AI Overviews и AI Mode. Блокирането му премахва страниците ви от Google Search и от тези AI отговори.
Как да го допуснете
User-agent: Googlebot
Allow: / Как да го блокирате
User-agent: Googlebot
Disallow: / Какво прави
Googlebot се използва за намиране на информация за изграждане на индексите за търсене на Google. Настройките за обхождане, насочени към токена Googlebot, засягат Google Search и продукти като Google Images, Video, Google News и Discover. Той работи като бот за смартфони и за настолни компютри; двата спазват едни и същи правила за Googlebot, а Google казва, че общите ѝ ботове винаги спазват robots.txt при автоматично обхождане.
Документацията на Google за AI функциите описва правилата за Googlebot като начина за контрол на Search, включително AI Overviews и AI Mode, и посочва nosnippet, data-nosnippet, max-snippet и noindex за ограничаване на показваното. Използването за обучение на Gemini се управлява отделно чрез Google-Extended.
В нашето проучване от 2026-11 2.7% от популярните сайтове с robots.txt са го блокирали. →
Токен за robots.txt
Googlebot
Низ на user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Как да проверите истинските посещения
Google казва, че низовете на user agent могат да бъдат подправени, и препоръчва проверка на DNS в две стъпки. Направете обратно DNS търсене за IP адреса на заявката: името на хоста трябва да завършва на googlebot.com, google.com или googleusercontent.com. След това направете право търсене за това име на хост и потвърдете, че връща същия IP. Google публикува и IP диапазоните на общите си ботове като JSON, така че можете да сравнявате адресите автоматично.
Проверете дали сайтът ви го допуска →
AEO и SEO: какво е същото и какво се променя при AI отговорите →