Google-Extended
Google-Extended je token pro robots.txt, nikoli samostatný crawler. Určuje, zda smí být obsah procházený Googlem použit k trénování budoucích modelů Gemini a k ukotvení odpovědí (grounding) v aplikacích Gemini a ve Vertex AI. Google uvádí, že neovlivňuje zařazení webu do Vyhledávání Google.
Co dělá
Google-Extended nemá vlastní user agent. Procházení provádějí stávající user agenty Googlu a token Google-Extended slouží k řízení: sděluje Googlu, zda smí být procházený obsah použit k trénování budoucích generací modelů Gemini a k ukotvení odpovědí v aplikacích Gemini a ve Vertex AI.
Google uvádí, že Google-Extended neovlivňuje zařazení webu do Vyhledávání Google. Funkce AI ve Vyhledávání Google, například AI Overviews, se řídí pravidly pro Googlebot a ovládacími prvky úryvků, nikoli tímto tokenem.
V naší studii z období 2026-11 ho zablokovalo 18.1% oblíbených webů s robots.txt. →
Token pro robots.txt
Google-Extended
Jak ho povolit
User-agent: Google-Extended
Allow: /Jak ho zablokovat
User-agent: Google-Extended
Disallow: /Jak ověřit skutečné návštěvy
V logech není co ověřovat: Google-Extended se nikdy neobjeví jako user agent. Požadavky, které za ním stojí, pocházejí z běžných crawlerů Googlu, které můžete ověřit zpětným vyhledáním DNS (googlebot.com, google.com nebo googleusercontent.com) následovaným přímým vyhledáním, nebo podle zveřejněných rozsahů IP Googlu.