Googlebot

Google · Търсачка

Googlebot е основният бот на Google за изграждане на индексите му за търсене. Google казва, че правилата в robots.txt за Googlebot определят как се обхожда сайтът за Search, включително AI функции като AI Overviews и AI Mode. Блокирането му премахва страниците ви от Google Search и от тези AI отговори.

Как да го допуснете

User-agent: Googlebot
Allow: /

Как да го блокирате

User-agent: Googlebot
Disallow: /

Какво прави

Googlebot се използва за намиране на информация за изграждане на индексите за търсене на Google. Настройките за обхождане, насочени към токена Googlebot, засягат Google Search и продукти като Google Images, Video, Google News и Discover. Той работи като бот за смартфони и за настолни компютри; двата спазват едни и същи правила за Googlebot, а Google казва, че общите ѝ ботове винаги спазват robots.txt при автоматично обхождане.

Документацията на Google за AI функциите описва правилата за Googlebot като начина за контрол на Search, включително AI Overviews и AI Mode, и посочва nosnippet, data-nosnippet, max-snippet и noindex за ограничаване на показваното. Използването за обучение на Gemini се управлява отделно чрез Google-Extended.

В нашето проучване от 2026-11 2.7% от популярните сайтове с robots.txt са го блокирали. →

Токен за robots.txt

Googlebot

Низ на user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Как да проверите истинските посещения

Google казва, че низовете на user agent могат да бъдат подправени, и препоръчва проверка на DNS в две стъпки. Направете обратно DNS търсене за IP адреса на заявката: името на хоста трябва да завършва на googlebot.com, google.com или googleusercontent.com. След това направете право търсене за това име на хост и потвърдете, че връща същия IP. Google публикува и IP диапазоните на общите си ботове като JSON, така че можете да сравнявате адресите автоматично.

Проверете дали сайтът ви го допуска →

AEO и SEO: какво е същото и какво се променя при AI отговорите →