Google-Extended
Google-Extended adalah token robots.txt, bukan crawler terpisah. Token ini mengontrol apakah konten yang di-crawl Google boleh dipakai untuk melatih model Gemini mendatang dan untuk grounding di Gemini Apps dan Vertex AI. Google menyatakan token ini tidak memengaruhi penyertaan situs di Google Search.
Fungsinya
Google-Extended tidak memiliki user agent sendiri. Crawling dilakukan dengan user agent Google yang sudah ada, dan token Google-Extended berfungsi sebagai kontrol: token ini memberi tahu Google apakah konten yang telah di-crawl boleh dipakai untuk melatih model Gemini generasi mendatang dan untuk grounding di Gemini Apps dan Vertex AI.
Google menyatakan Google-Extended tidak memengaruhi penyertaan situs di Google Search. Fitur AI Google di Search, seperti AI Overviews, diatur oleh aturan Googlebot dan kontrol snippet, bukan oleh token ini.
Dalam studi kami pada 2026-11, 18.1% situs populer yang memiliki robots.txt memblokirnya. →
Token robots.txt
Google-Extended
Cara mengizinkannya
User-agent: Google-Extended
Allow: /Cara memblokirnya
User-agent: Google-Extended
Disallow: /Cara memverifikasi kunjungan asli
Tidak ada yang perlu diverifikasi di log Anda: Google-Extended tidak pernah muncul sebagai user agent. Permintaan di baliknya berasal dari crawler reguler Google, yang dapat Anda verifikasi dengan pencarian DNS terbalik (googlebot.com, google.com, atau googleusercontent.com) diikuti pencarian DNS maju, atau dengan rentang IP yang dipublikasikan Google.
Periksa apakah situs Anda mengizinkannya →
robots.txt untuk crawler AI: apa yang diizinkan, apa yang diblokir →