Googlebot

Google · Qidiruv tizimi

Googlebot — Googleʼning qidiruv indekslarini quradigan asosiy krauleri. Google aytishicha, Googlebot uchun robots.txt qoidalari sayt Search uchun, jumladan AI Overviews va AI Mode kabi AI funksiyalari uchun qanday skanerlanishini boshqaradi. Uni bloklash sahifalaringizni Google Search va oʻsha AI javoblaridan olib tashlaydi.

Unga qanday ruxsat berish mumkin

User-agent: Googlebot
Allow: /

Uni qanday bloklash mumkin

User-agent: Googlebot
Disallow: /

U nima qiladi

Googlebot Googleʼning qidiruv indekslarini qurish uchun maʼlumot topishda ishlatiladi. Googlebot tokeniga qaratilgan skanerlash sozlamalari Google Search hamda Google Images, Video, Google News va Discover kabi mahsulotlarga taʼsir qiladi. U smartfon va desktop krauleri sifatida ishlaydi; ikkalasi ham bir xil Googlebot qoidalariga amal qiladi va Google aytishicha, uning umumiy kraulerlari avtomatik skanerlashda har doim robots.txt ga amal qiladi.

Googleʼning AI funksiyalari haqidagi hujjatlari Googlebot qoidalarini Search, jumladan AI Overviews va AI Mode uchun boshqaruv vositasi deb tavsiflaydi va koʻrsatiladigan narsani cheklash uchun nosnippet, data-nosnippet, max-snippet va noindex ga ishora qiladi. Gemini oʻqitishda foydalanish Google-Extended orqali alohida boshqariladi.

Tadqiqotimizda (2026-11) robots.txt fayli bor mashhur saytlarning 2.7% qismi uni bloklagan. →

robots.txt tokeni

Googlebot

User-agent satri

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Haqiqiy tashriflarni qanday tasdiqlash mumkin

Google user agent satrlarini soxtalashtirish mumkinligini aytadi va ikki bosqichli DNS tekshiruvini tavsiya qiladi. Soʻrov yuborgan IP uchun reverse DNS soʻrovini bajaring: host nomi googlebot.com, google.com yoki googleusercontent.com bilan tugashi kerak. Soʻng shu host nomi uchun forward soʻrovni bajaring va u xuddi shu IPʼni qaytarishini tasdiqlang. Google oʻzining umumiy kraulerlari IP diapazonlarini ham JSON sifatida eʼlon qiladi, shuning uchun manzillarni avtomatik solishtirishingiz mumkin.

Saytingiz unga ruxsat berishini tekshiring →

AEO va SEO: nima bir xil va AI javoblari uchun nima oʻzgaradi →