Google-Extended
Google-Extended on robots.txt tunnus, mitte eraldi robot. See määrab, kas Google'i läbitud sisu tohib kasutada tulevaste Gemini mudelite treenimiseks ning Gemini rakendustes ja Vertex AI-s alusena (grounding). Google ütleb, et see ei mõjuta saidi kaasamist Google'i otsingusse.
Kuidas seda lubada
User-agent: Google-Extended
Allow: / Kuidas seda blokeerida
User-agent: Google-Extended
Disallow: / Mida see teeb
Google-Extendedil pole oma user agent'it. Läbimist tehakse Google'i olemasolevate user agent'itega ja Google-Extended tunnust kasutatakse kontrollivahendina: see ütleb Google'ile, kas tema läbitud sisu tohib kasutada Gemini mudelite tulevaste põlvkondade treenimiseks ning Gemini rakendustes ja Vertex AI-s alusena (grounding).
Google väidab, et Google-Extended ei mõjuta saidi kaasamist Google'i otsingusse. Google'i otsingu AI-funktsioone, nagu AI Overviews, juhivad Googleboti reeglid ja lõigu juhtelemendid, mitte see tunnus.
Meie uuringus (2026-11) blokeeris selle 18.1% populaarsetest saitidest, millel on robots.txt. →
robots.txt tunnus
Google-Extended
Kuidas päris külastusi kinnitada
Logides pole midagi kinnitada: Google-Extended ei ilmu kunagi user agent'ina. Selle taga olevad päringud tulevad Google'i tavalistelt robotitelt, mida saad kinnitada pöörd-DNS-päringuga (googlebot.com, google.com või googleusercontent.com), millele järgneb edasisuunatud päring, või Google'i avaldatud IP-vahemike järgi.