Google-Extended
A Google-Extended egy robots.txt token, nem külön crawler. Azt szabályozza, hogy a Google által bejárt tartalom felhasználható-e a jövőbeli Gemini-modellek tanítására, valamint az alapozásra (grounding) a Gemini Appsben és a Vertex AI-ban. A Google szerint nincs hatással arra, hogy a webhely szerepel-e a Google Keresőben.
Mit csinál
A Google-Extendednek nincs saját user agentje. A bejárást a Google meglévő user agentjei végzik, a Google-Extended token pedig vezérlő szerepet tölt be: megmondja a Google-nek, hogy a bejárt tartalom felhasználható-e a Gemini-modellek jövőbeli generációinak tanítására, valamint az alapozásra a Gemini Appsben és a Vertex AI-ban.
A Google közli, hogy a Google-Extended nincs hatással arra, hogy a webhely szerepel-e a Google Keresőben. A Google keresőbeli AI-funkcióit, például az AI Overviews-t a Googlebot szabályai és a snippetvezérlők szabályozzák, nem ez a token.
A 2026-11 havi vizsgálatunkban a robots.txt-vel rendelkező népszerű webhelyek 18.1% letiltotta. →
robots.txt token
Google-Extended
Hogyan engedélyezheti
User-agent: Google-Extended
Allow: /Hogyan tilthatja le
User-agent: Google-Extended
Disallow: /Hogyan ellenőrizheti a valódi látogatásokat
A naplókban nincs mit ellenőrizni: a Google-Extended soha nem jelenik meg user agentként. A mögötte álló kérések a Google szokásos crawlereitől érkeznek, amelyeket fordított DNS-lekérdezéssel (googlebot.com, google.com vagy googleusercontent.com), majd előre irányuló lekérdezéssel, illetve a Google közzétett IP-tartományaival ellenőrizhet.