Google-Extended
Google-Extended ialah token robots.txt, bukan perangkak yang berasingan. Ia mengawal sama ada kandungan yang dirangkak oleh Google boleh digunakan untuk melatih model Gemini akan datang dan untuk grounding dalam Gemini Apps dan Vertex AI. Google menyatakan ia tidak menjejaskan kemasukan laman dalam Carian Google.
Fungsinya
Google-Extended tidak mempunyai user agent sendiri. Perangkakan dilakukan dengan user agent sedia ada Google, dan token Google-Extended digunakan sebagai kawalan: ia memberitahu Google sama ada kandungan yang telah dirangkak boleh digunakan untuk melatih model Gemini generasi akan datang dan untuk grounding dalam Gemini Apps dan Vertex AI.
Google menyatakan bahawa Google-Extended tidak menjejaskan kemasukan laman dalam Carian Google. Ciri AI Google dalam Carian, seperti AI Overviews, dikawal oleh peraturan Googlebot dan kawalan snippet, bukan oleh token ini.
Dalam kajian 2026-11 kami, 18.1% laman popular yang mempunyai robots.txt telah menyekatnya. →
Token robots.txt
Google-Extended
Cara membenarkannya
User-agent: Google-Extended
Allow: /Cara menyekatnya
User-agent: Google-Extended
Disallow: /Cara mengesahkan lawatan sebenar
Tiada apa-apa untuk disahkan dalam log anda: Google-Extended tidak pernah muncul sebagai user agent. Permintaan di sebaliknya datang daripada perangkak biasa Google, yang boleh anda sahkan dengan carian DNS songsang (googlebot.com, google.com atau googleusercontent.com) diikuti carian ke hadapan, atau berdasarkan julat IP yang diterbitkan Google.
Semak sama ada laman anda membenarkannya masuk →
robots.txt untuk crawler AI: apa yang dibenarkan, apa yang disekat →