Google-Extended
Google-Extended este un token robots.txt, nu un crawler separat. Controlează dacă conținutul parcurs de Google poate fi folosit la antrenarea viitoarelor modele Gemini și pentru ancorare (grounding) în Gemini Apps și Vertex AI. Google spune că nu afectează includerea unui site în Google Search.
Ce face
Google-Extended nu are user agent propriu. Parcurgerea se face cu user agent-urile existente ale Google, iar tokenul Google-Extended are rol de control: îi spune Google dacă conținutul parcurs poate fi folosit la antrenarea viitoarelor generații de modele Gemini și pentru ancorare (grounding) în Gemini Apps și Vertex AI.
Google afirmă că Google-Extended nu influențează includerea unui site în Google Search. Funcțiile AI ale Google din Search, precum AI Overviews, sunt guvernate de regulile Googlebot și de controalele pentru fragmente, nu de acest token.
În studiul nostru din 2026-11, 18.1% dintre site-urile populare cu robots.txt îl blocau. →
Tokenul robots.txt
Google-Extended
Cum îl permiți
User-agent: Google-Extended
Allow: /Cum îl blochezi
User-agent: Google-Extended
Disallow: /Cum verifici vizitele reale
Nu ai nimic de verificat în loguri: Google-Extended nu apare niciodată ca user agent. Cererile din spatele lui vin de la crawlerele obișnuite ale Google, pe care le poți verifica printr-o căutare DNS inversă (googlebot.com, google.com sau googleusercontent.com), urmată de o căutare directă, sau pe baza intervalelor IP publicate de Google.