Google-Extendedʼni bloklash sizni AI Overviews va AI Modeʼdan chiqaradimi?

Eʼlon qilingan

Qisqa javob

Google hujjatlariga koʻra, yoʻq. Google-Extended kontentingizdan Gemini modellarini oʻqitishda hamda Gemini Apps va Vertex AIʼdagi grounding uchun foydalanishni boshqaradi. AI Overviews va AI Mode Googlebot Search uchun kraul qilgan sahifalardan foydalanadi. Ularni cheklash uchun Google snippet sozlamalari, noindex va saytni bu funksiyalardan chiqaradigan Search Console sozlamasini koʻrsatadi.

Google-Extended koʻpincha saytingizni Google AIʼdan uzoqda tutish usuli sifatida taʼriflanadi. Bu qisman toʻgʻri va bu nomuvofiqlik ikkala tomonda ham chalkashlik keltirib chiqaradi: baʼzi saytlar AI Overviewsʼdan yoʻqolishni kutib uni bloklaydi va hech qanday oʻzgarish koʻrmaydi, boshqalari esa qidiruv trafigini yoʻqotishdan qoʻrqib undan qochadi. Googleʼning oʻz hujjatlari har bir sozlama nima qilishini ancha aniq aytadi. Quyida u nima deyishi, sahifalar qayerda toʻliq mos kelmasligi va saytingizda nimani tekshirish kerakligi.

Ushbu sahifada
  1. Google-Extended nima?
  2. Google-Extendedʼni bloklash AI Overviews yoki AI Modeʼga taʼsir qiladimi?
  3. AI Overviews va AI Modeʼda chiqishingizni aslida nima boshqaradi?
  4. Buning oʻrniga Googlebotʼni bloklasam nima boʻladi?
  5. Google saytimda nimani koʻrishini qanday tekshiraman?
  6. AI Overviews trafigini qayerda koʻraman?

Google-Extended nima?

Google Google-Extendedni nashriyotchilar robots.txt da ishlatishi mumkin boʻlgan mustaqil mahsulot tokeni deb taʼriflaydi. Uning oʻz krauleri ham, oʻz user agent qatori ham yoʻq; sahifalarni Googleʼning mavjud kraulerlari yuklaydi, token esa bu kontentdan qanday foydalanish mumkinligini boshqaradi.

Google kraulerlari hujjatlariga koʻra, u ikki xil foydalanishni qamraydi: Gemini Apps va Gemini uchun Vertex AI APIʼni harakatga keltiradigan Gemini modellarining kelajakdagi avlodlarini oʻqitish hamda grounding, yaʼni Gemini Apps va Vertex AIʼdagi Grounding with Google Searchʼda soʻrov paytida modelga Google Search indeksidan beriladigan kontent. Oʻsha sahifada Google-Extended saytning Google Searchʼga kirishiga taʼsir qilmasligi va reyting signali sifatida ishlatilmasligi aytilgan.

User-agent: Google-Extended
Disallow: /

Google-Extendedʼni bloklash AI Overviews yoki AI Modeʼga taʼsir qiladimi?

Google hujjatlarida AI Overviews yoki AI Mode Google-Extended boshqaradigan foydalanishlar qatorida keltirilmagan. Googleʼning AI funksiyalari boʻyicha qoʻllanmasida aytilishicha, sahifa indekslangan va Google Searchʼda snippet bilan koʻrsatilishi mumkin boʻlsa, u AI Overviews yoki AI Modeʼda tasdiqlovchi havola sifatida chiqishi mumkin, qoʻshimcha texnik talablar yoʻq. Unda Searchʼdagi kraulingni boshqarish vositasi sifatida Google-Extended emas, Googlebot uchun robots.txt qoidalari koʻrsatilgan.

Demak, Google taʼrifiga koʻra, Googlebot kraul qilishi va indekslashi mumkin boʻlgan hamda snippet koʻrsatishi mumkin boʻlgan sahifa Google-Extended taqiqlangan boʻlsa ham AI Overviews va AI Modeʼda chiqishi mumkin.

Ochiq aytish kerak boʻlgan bitta nozik jihat bor. Googleʼning yangi AI sozlamasi boʻyicha Search Console yordam sahifasida aytilishicha, Searchʼning generativ AI funksiyalarida javoblar yaratish uchun ishlatiladigan modellarni oʻqitishni cheklash uchun Google-Extendeddan foydalanish kerak. Token boʻyicha Google kraulerlari hujjatlarida esa faqat Gemini Apps va Vertex AI tilga olinadi. Ikki sahifa qamrovni turlicha taʼriflaydi. Ularning hech birida tokenni bloklash saytni AI Overviewsʼdan olib tashlashi aytilmagan.

AI Overviews va AI Modeʼda chiqishingizni aslida nima boshqaradi?

Google quyidagi sozlamalarni eng torrogʻidan eng kengigacha hujjatlashtirgan:

Google shuningdek, AI Overviews yoki AI Modeʼda chiqish uchun maxsus schema.org belgilashi yoki boshqa optimallashtirish talab qilinmasligini aytadi.

Buning oʻrniga Googlebotʼni bloklasam nima boʻladi?

Googlebotni bloklash — eng qoʻpol variant. Google aytishicha, unga qaratilgan kraul afzalliklari Google Searchʼga, jumladan Discover va barcha Search funksiyalariga taʼsir qiladi. Googlebotni taqiqlagan sayt AI Overviews va AI Modeʼdagi iqtiboslar bilan birga oddiy qidiruv natijalarini ham yoʻqotadi.

Buni kam sonli yirik saytlar qiladi. Eng mashhur 1 000 ta domenning robots.txt fayllarini oʻrganganimizda, robots.txt bor 518 ta saytdan 94 tasi (18,1%) bosh sahifani Google-Extended uchun taqiqlagan, Googlebot uchun esa atigi 14 tasi (2,7%). Tadqiqot faqat bosh sahifa uchun robots.txt qoidalarini qamraydi va bu saytlar qoidadan nima kutganini koʻrsata olmaydi.

Google saytimda nimani koʻrishini qanday tekshiraman?

Agar sahifalaringiz AI Overviews yoki AI Modeʼda yoʻq boʻlsa, oddiy qidiruv natijalaridagi kabi zanjirni ketma-ket tekshiring:

Barcha tekshiruvlar oʻtgan taqdirda ham, har bir soʻrov uchun qaysi sahifalarni koʻrsatishni Google hal qiladi. Koʻrsatilishi mumkin boʻlish koʻrsatilish degani emas.

AI Overviews trafigini qayerda koʻraman?

Google aytishicha, AI funksiyalarida chiqadigan saytlarga keladigan trafik Search Consoleʼning Performance hisobotidagi umumiy qidiruv trafigiga kiritiladi. 2026-yilgi sozlamalar bilan birga Google Search Consoleʼda generativ AI statistikasini ham eʼlon qildi: u koʻrsatishlarni va qaysi sahifalar AI javoblarida chiqishini koʻrsatadi, Google esa boshqa koʻrsatkichlar ham qoʻshilishini aytdi. Google-Extendedni server loglaringizda koʻra olmaysiz, chunki uning oʻz user agenti yoʻq.

AISeeWhy robots.txt faylingizni ham Googlebot, ham Google-Extended uchun tekshiradi, Google krauleri brauzer bilan bir xil sahifani olishini sinaydi va sahifani AI Overviews va AI Modeʼdan chetda qoldiradigan nosnippet va noindex qoidalari haqida xabar beradi.

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Koʻp beriladigan savollar

Google-Extendedʼni bloklash Google reytingimga zarar yetkazadimi?

Google Google-Extended Google Searchʼga kirishga taʼsir qilmasligini va reyting signali sifatida ishlatilmasligini aytadi.

Google Searchʼda qolib, saytimni AI Overviewsʼdan qanday chiqaraman?

Google Search Consoleʼda saytni Searchʼning qolgan qismiga taʼsir qilmasdan AI Overviews, AI Mode va Discoverʼdagi generativ AI funksiyalaridan chiqaradigan Search generative AI sozlamasini taklif qiladi. nosnippet va max-snippet ham toʻgʻridan-toʻgʻri kirish maʼlumoti sifatida foydalanishni cheklaydi, lekin ular oddiy snippetlarni ham oʻzgartiradi.

Search Consoleʼdagi AI sozlamasi AI oʻqitishni toʻxtatadimi?

Yoʻq. Google yordam sahifasida aytilishicha, bu sozlama oʻqitishni qamramaydi va buning uchun Google-Extendedni koʻrsatadi.

AI Overviewsʼda chiqish uchun maxsus belgilash kerakmi?

Google qoʻshimcha talablar yoki maxsus schema.org tuzilgan maʼlumotlari kerak emasligini aytadi. Sahifa indekslangan va snippet koʻrsatishi mumkin boʻlishi kerak.

Google-Extended firewallda bloklash mumkin boʻlgan kraulermi?

Yoʻq. Uning oʻz user agenti yoʻq, shuning uchun firewall uni koʻra olmaydi. U faqat robots.txt tokeni sifatida ishlaydi. Googleʼning haqiqiy kraulerlarini firewallda bloklash Searchʼga taʼsir qiladi.

Manbalar

Boshqa maqolalar