Googlebot

Google · Іздеу жүйесі

Googlebot — Google-дың іздеу индекстерін құруға арналған негізгі краулері. Google-дың айтуынша, Googlebot-қа арналған robots.txt ережелері сайттың Search үшін, соның ішінде AI Overviews және AI Mode сияқты ЖИ функциялары үшін қалай краулингтен өтетінін басқарады. Оны бұғаттау беттеріңізді Google Search-тен және сол ЖИ жауаптарынан алып тастайды.

Оны қалай өткізуге болады

User-agent: Googlebot
Allow: /

Оны қалай бұғаттауға болады

User-agent: Googlebot
Disallow: /

Ол не істейді

Googlebot Google-дың іздеу индекстерін құруға ақпарат табу үшін пайдаланылады. Googlebot токеніне арналған краулинг параметрлері Google Search-ке және Google Images, Video, Google News және Discover сияқты өнімдерге әсер етеді. Ол смартфон және жұмыс үстелі краулері ретінде жұмыс істейді; екеуі де бірдей Googlebot ережелеріне бағынады, ал Google өзінің жалпы краулерлері автоматты краулинг кезінде әрқашан robots.txt-ке бағынатынын айтады.

Google-дың ЖИ функциялары туралы құжаттамасы Googlebot ережелерін Search үшін, соның ішінде AI Overviews және AI Mode үшін басқару құралы ретінде сипаттайды және көрсетілетінді шектеу үшін nosnippet, data-nosnippet, max-snippet және noindex-ті атайды. Gemini-ді оқытуға пайдалану Google-Extended арқылы бөлек басқарылады.

2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 2.7% бөлігі оны бұғаттаған. →

robots.txt токені

Googlebot

User-agent жолы

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Нақты кірулерді қалай тексеруге болады

Google user agent жолдарын жалған жасауға болатынын айтады және DNS арқылы екі қадамды тексеруді ұсынады. Сұрау жасаған IP бойынша reverse DNS іздеуін орындаңыз: хост атауы googlebot.com, google.com немесе googleusercontent.com деп аяқталуы керек. Содан кейін сол хост атауы бойынша тура іздеу жасап, оның сол IP-ді қайтаратынын растаңыз. Google сондай-ақ өзінің жалпы краулерлерінің IP ауқымдарын JSON ретінде жариялайды, сондықтан мекенжайларды автоматты түрде салыстыруға болады.

Сайтыңыз оны өткізетінін тексеріңіз →

AEO мен SEO: не ортақ және ЖИ жауаптары үшін не өзгереді →