Googlebot
Googlebot — Google-дың іздеу индекстерін құруға арналған негізгі краулері. Google-дың айтуынша, Googlebot-қа арналған robots.txt ережелері сайттың Search үшін, соның ішінде AI Overviews және AI Mode сияқты ЖИ функциялары үшін қалай краулингтен өтетінін басқарады. Оны бұғаттау беттеріңізді Google Search-тен және сол ЖИ жауаптарынан алып тастайды.
Оны қалай өткізуге болады
User-agent: Googlebot
Allow: / Оны қалай бұғаттауға болады
User-agent: Googlebot
Disallow: / Ол не істейді
Googlebot Google-дың іздеу индекстерін құруға ақпарат табу үшін пайдаланылады. Googlebot токеніне арналған краулинг параметрлері Google Search-ке және Google Images, Video, Google News және Discover сияқты өнімдерге әсер етеді. Ол смартфон және жұмыс үстелі краулері ретінде жұмыс істейді; екеуі де бірдей Googlebot ережелеріне бағынады, ал Google өзінің жалпы краулерлері автоматты краулинг кезінде әрқашан robots.txt-ке бағынатынын айтады.
Google-дың ЖИ функциялары туралы құжаттамасы Googlebot ережелерін Search үшін, соның ішінде AI Overviews және AI Mode үшін басқару құралы ретінде сипаттайды және көрсетілетінді шектеу үшін nosnippet, data-nosnippet, max-snippet және noindex-ті атайды. Gemini-ді оқытуға пайдалану Google-Extended арқылы бөлек басқарылады.
2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 2.7% бөлігі оны бұғаттаған. →
robots.txt токені
Googlebot
User-agent жолы
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Нақты кірулерді қалай тексеруге болады
Google user agent жолдарын жалған жасауға болатынын айтады және DNS арқылы екі қадамды тексеруді ұсынады. Сұрау жасаған IP бойынша reverse DNS іздеуін орындаңыз: хост атауы googlebot.com, google.com немесе googleusercontent.com деп аяқталуы керек. Содан кейін сол хост атауы бойынша тура іздеу жасап, оның сол IP-ді қайтаратынын растаңыз. Google сондай-ақ өзінің жалпы краулерлерінің IP ауқымдарын JSON ретінде жариялайды, сондықтан мекенжайларды автоматты түрде салыстыруға болады.