Google-Extended

Google · AI oʻqitish

Google-Extended — alohida krauler emas, robots.txt tokeni. U Google skanerlagan kontentdan kelgusi Gemini modellarini oʻqitish hamda Gemini Apps va Vertex AIʼda grounding uchun foydalanish mumkinligini boshqaradi. Google aytishicha, u saytning Google Searchʼga kiritilishiga taʼsir qilmaydi.

Unga qanday ruxsat berish mumkin

User-agent: Google-Extended
Allow: /

Uni qanday bloklash mumkin

User-agent: Google-Extended
Disallow: /

U nima qiladi

Google-Extendedʼning oʻz user agenti yoʻq. Skanerlash Googleʼning mavjud user agentlari bilan bajariladi, Google-Extended tokeni esa boshqaruv vazifasini bajaradi: u Googleʼga skanerlagan kontentidan Gemini modellarining kelgusi avlodlarini oʻqitish hamda Gemini Apps va Vertex AIʼda grounding uchun foydalanish mumkinligini aytadi.

Google, Google-Extended saytning Google Searchʼga kiritilishiga taʼsir qilmasligini bildiradi. Googleʼning Searchʼdagi AI Overviews kabi AI funksiyalari bu token bilan emas, Googlebot qoidalari va snippet boshqaruvlari bilan boshqariladi.

Tadqiqotimizda (2026-11) robots.txt fayli bor mashhur saytlarning 18.1% qismi uni bloklagan. →

robots.txt tokeni

Google-Extended

Haqiqiy tashriflarni qanday tasdiqlash mumkin

Loglaringizda tekshiradigan hech narsa yoʻq: Google-Extended hech qachon user agent sifatida koʻrinmaydi. Uning ortidagi soʻrovlar Googleʼning oddiy kraulerlaridan keladi, ularni reverse DNS soʻrovi (googlebot.com, google.com yoki googleusercontent.com) va undan keyingi forward soʻrov orqali yoki Google eʼlon qilgan IP diapazonlari bilan tasdiqlashingiz mumkin.

Saytingiz unga ruxsat berishini tekshiring →

AI kraulerlari uchun robots.txt: nimaga ruxsat berish, nimani bloklash →