Google-Extended
Google-Extended — alohida krauler emas, robots.txt tokeni. U Google skanerlagan kontentdan kelgusi Gemini modellarini oʻqitish hamda Gemini Apps va Vertex AIʼda grounding uchun foydalanish mumkinligini boshqaradi. Google aytishicha, u saytning Google Searchʼga kiritilishiga taʼsir qilmaydi.
Unga qanday ruxsat berish mumkin
User-agent: Google-Extended
Allow: / Uni qanday bloklash mumkin
User-agent: Google-Extended
Disallow: / U nima qiladi
Google-Extendedʼning oʻz user agenti yoʻq. Skanerlash Googleʼning mavjud user agentlari bilan bajariladi, Google-Extended tokeni esa boshqaruv vazifasini bajaradi: u Googleʼga skanerlagan kontentidan Gemini modellarining kelgusi avlodlarini oʻqitish hamda Gemini Apps va Vertex AIʼda grounding uchun foydalanish mumkinligini aytadi.
Google, Google-Extended saytning Google Searchʼga kiritilishiga taʼsir qilmasligini bildiradi. Googleʼning Searchʼdagi AI Overviews kabi AI funksiyalari bu token bilan emas, Googlebot qoidalari va snippet boshqaruvlari bilan boshqariladi.
Tadqiqotimizda (2026-11) robots.txt fayli bor mashhur saytlarning 18.1% qismi uni bloklagan. →
robots.txt tokeni
Google-Extended
Haqiqiy tashriflarni qanday tasdiqlash mumkin
Loglaringizda tekshiradigan hech narsa yoʻq: Google-Extended hech qachon user agent sifatida koʻrinmaydi. Uning ortidagi soʻrovlar Googleʼning oddiy kraulerlaridan keladi, ularni reverse DNS soʻrovi (googlebot.com, google.com yoki googleusercontent.com) va undan keyingi forward soʻrov orqali yoki Google eʼlon qilgan IP diapazonlari bilan tasdiqlashingiz mumkin.
Saytingiz unga ruxsat berishini tekshiring →
AI kraulerlari uchun robots.txt: nimaga ruxsat berish, nimani bloklash →