Apakah memblokir Google-Extended mengeluarkan Anda dari AI Overviews dan AI Mode?
Tidak, menurut dokumentasi Google. Google-Extended mengatur pemakaian konten Anda untuk pelatihan model Gemini dan untuk grounding di Gemini Apps dan Vertex AI. AI Overviews dan AI Mode memakai halaman yang di-crawl Googlebot untuk Search. Untuk membatasinya, Google menunjuk ke kontrol snippet, noindex, dan pengaturan Search Console yang mengecualikan situs dari fitur-fitur ini.
Google-Extended sering digambarkan sebagai cara agar situs Anda tidak masuk ke AI Google. Itu hanya sebagian benar, dan celahnya menimbulkan kebingungan ke dua arah: ada situs yang memblokirnya sambil mengira akan hilang dari AI Overviews dan tidak melihat perubahan, ada pula yang menghindarinya karena takut kehilangan lalu lintas pencarian. Dokumentasi Google sendiri cukup spesifik soal fungsi tiap kontrol. Berikut isinya, bagian di mana halaman-halamannya tidak sepenuhnya konsisten, dan apa yang perlu diperiksa di situs Anda.
Di halaman ini
- Apa itu Google-Extended?
- Apakah memblokir Google-Extended memengaruhi AI Overviews atau AI Mode?
- Apa yang menentukan apakah Anda muncul di AI Overviews dan AI Mode?
- Apa yang terjadi jika saya memblokir Googlebot?
- Bagaimana cara memeriksa apa yang dilihat Google di situs saya?
- Di mana saya melihat lalu lintas AI Overviews?
Apa itu Google-Extended?
Google menggambarkan Google-Extended sebagai token produk mandiri yang bisa dipakai penerbit di robots.txt. Token ini tidak memiliki crawler maupun string user agent sendiri; crawler Google yang sudah ada mengambil halamannya, dan token mengatur bagaimana konten itu boleh dipakai.
Menurut dokumentasi crawler Google, token ini mencakup dua pemakaian: melatih generasi mendatang model Gemini yang menjalankan Gemini Apps dan Vertex AI API untuk Gemini, serta grounding, yaitu konten dari indeks Google Search yang diberikan kepada model saat prompt, di Gemini Apps dan di Grounding with Google Search pada Vertex AI. Halaman yang sama menyatakan Google-Extended tidak memengaruhi pencantuman situs di Google Search dan tidak dipakai sebagai sinyal peringkat.
User-agent: Google-Extended
Disallow: /
Apakah memblokir Google-Extended memengaruhi AI Overviews atau AI Mode?
Dokumentasi Google tidak mencantumkan AI Overviews atau AI Mode di antara pemakaian yang diatur Google-Extended. Panduan Google tentang fitur AI menyatakan sebuah halaman memenuhi syarat tampil sebagai tautan pendukung di AI Overviews atau AI Mode jika diindeks dan memenuhi syarat ditampilkan di Google Search dengan snippet, tanpa persyaratan teknis tambahan. Panduan itu menyebut aturan robots.txt untuk Googlebot, bukan Google-Extended, sebagai kontrol crawling di Search.
Jadi menurut penjelasan Google, halaman yang boleh di-crawl dan diindeks Googlebot, dan boleh menampilkan snippet, masih bisa muncul di AI Overviews dan AI Mode ketika Google-Extended dilarang.
Ada satu nuansa yang perlu dinyatakan dengan jelas. Halaman bantuan Search Console Google untuk kontrol AI barunya menyatakan bahwa untuk membatasi pelatihan model yang dipakai menghasilkan respons di fitur AI generatif Search, Anda harus memakai Google-Extended. Dokumentasi crawler Google untuk token itu hanya menyebut Gemini Apps dan Vertex AI. Kedua halaman menggambarkan cakupannya secara berbeda. Tidak satu pun menyatakan bahwa memblokir token itu mengeluarkan situs dari AI Overviews.
Apa yang menentukan apakah Anda muncul di AI Overviews dan AI Mode?
Google mendokumentasikan kontrol berikut, dari yang tersempit hingga terluas:
nosnippet: Google menyatakan aturan ini juga mencegah konten dipakai sebagai input langsung untuk AI Overviews dan AI Mode. Aturan ini juga menghapus snippet teks normal di hasil pencarian.max-snippet: batas panjang juga berlaku untuk seberapa banyak konten yang boleh dipakai sebagai input langsung untuk AI Overviews dan AI Mode.data-nosnippet: mengecualikan bagian halaman yang ditandai dari snippet. Dokumentasi Google tentangnya tidak menyebut AI Overviews atau AI Mode secara spesifik.- Pengaturan Search generative AI di Search Console: kontrol seluruh situs dengan opsi Include, Exclude, dan, untuk properti turunan, Inherit. Konten yang dikecualikan tidak muncul di AI Overviews, AI Mode, atau fitur AI generatif di Discover, dan tidak mendapat lalu lintas atau tayangan dari fitur-fitur itu. Google menyatakan telah meluncurkan kontrol ini ke semua situs di seluruh dunia per 31 Agustus 2026, bahwa pengecualian biasanya berlaku dalam 1 hingga 2 hari, dan bahwa ini bukan sinyal peringkat atau pencantuman untuk bagian Search lainnya.
noindexatau larangan untukGooglebot: keduanya mengeluarkan halaman dari Google Search sepenuhnya, yang juga menghapusnya dari fitur AI.
Google juga menyatakan tidak ada markup schema.org khusus atau optimasi lain yang diperlukan agar muncul di AI Overviews atau AI Mode.
Apa yang terjadi jika saya memblokir Googlebot?
Memblokir Googlebot adalah opsi yang paling kasar. Google menyatakan preferensi crawling yang ditujukan kepadanya memengaruhi Google Search, termasuk Discover dan semua fitur Search. Situs yang melarang Googlebot kehilangan hasil pencarian normalnya beserta kutipan di AI Overviews dan AI Mode.
Sedikit situs besar yang melakukannya. Dalam studi kami atas file robots.txt dari 1.000 domain terpopuler, 94 dari 518 situs dengan robots.txt (18,1%) melarang halaman beranda untuk Google-Extended, sedangkan hanya 14 (2,7%) yang melakukannya untuk Googlebot. Studi ini hanya mencakup aturan robots.txt untuk halaman beranda, dan tidak bisa menunjukkan apa yang diharapkan situs-situs itu dari aturan tersebut.
Bagaimana cara memeriksa apa yang dilihat Google di situs saya?
Jika halaman Anda tidak ada di AI Overviews atau AI Mode, telusuri rantai yang sama seperti untuk hasil pencarian biasa:
- Pengindeksan: gunakan alat Inspeksi URL di Search Console untuk memastikan halaman terindeks dan bahwa
Googlebotdapat mengambilnya. - Snippet: periksa tag meta robots halaman dan header
X-Robots-Taguntuknosnippet, nilaimax-snippetyang kecil, ataunoindex. - Pengaturan Search generative AI di Search Console: periksa untuk properti domain Anda, dan ingat bahwa properti turunan mewarisi dari induknya secara bawaan.
- robots.txt: pastikan grup
Googlebot, atau grup*jika tidak ada grupGooglebot, mengizinkan halaman tersebut. GrupGoogle-Extendedtidak mengubah hal ini. - Firewall: pastikan CDN atau perlindungan bot Anda tidak memblokir atau menantang crawler Google. Verifikasi Googlebot lewat DNS terbalik atau rentang IP yang dipublikasikan Google sebelum mengizinkannya.
- Rendering: Google merender JavaScript, tetapi teks di HTML awal tetap pilihan paling aman, dan itulah yang dibutuhkan sebagian besar crawler AI lainnya.
Bahkan jika semua pemeriksaan lolos, Google yang memutuskan halaman mana yang ditampilkan untuk tiap kueri. Memenuhi syarat tidak sama dengan ditampilkan.
Di mana saya melihat lalu lintas AI Overviews?
Google menyatakan lalu lintas dari situs yang muncul di fitur AI termasuk dalam keseluruhan lalu lintas pencarian di laporan Performa Search Console. Dengan kontrol 2026, Google juga mengumumkan wawasan AI generatif di Search Console, yang menampilkan tayangan dan halaman mana yang muncul di respons AI, serta menyatakan metrik lain akan menyusul. Anda tidak bisa melihat Google-Extended di log server Anda, karena token ini tidak memiliki user agent sendiri.
AISeeWhy memeriksa robots.txt Anda untuk Googlebot dan Google-Extended, menguji apakah crawler Google menerima halaman yang sama dengan browser, dan melaporkan aturan nosnippet dan noindex yang akan membuat halaman tidak muncul di AI Overviews dan AI Mode.
Pertanyaan yang sering diajukan
Apakah memblokir Google-Extended akan merugikan peringkat Google saya?
Google menyatakan Google-Extended tidak memengaruhi pencantuman di Google Search dan tidak dipakai sebagai sinyal peringkat.
Bagaimana agar situs saya tidak muncul di AI Overviews tetapi tetap ada di Google Search?
Google menyediakan pengaturan Search generative AI di Search Console yang mengecualikan situs dari AI Overviews, AI Mode, dan fitur AI generatif di Discover tanpa memengaruhi bagian Search lainnya. nosnippet dan max-snippet juga membatasi pemakaian sebagai input langsung, tetapi keduanya mengubah snippet normal juga.
Apakah pengaturan AI di Search Console menghentikan pelatihan AI?
Tidak. Halaman bantuan Google menyatakan pengaturan ini tidak mencakup pelatihan dan menunjuk ke Google-Extended untuk itu.
Apakah saya perlu markup khusus agar muncul di AI Overviews?
Google menyatakan tidak ada persyaratan tambahan atau data terstruktur schema.org khusus yang diperlukan. Halaman harus terindeks dan memenuhi syarat menampilkan snippet.
Apakah Google-Extended crawler yang bisa saya blokir di firewall?
Tidak. Token ini tidak memiliki user agent sendiri, jadi firewall tidak bisa melihatnya. Ia hanya berfungsi sebagai token robots.txt. Memblokir crawler Google yang sebenarnya di firewall akan memengaruhi Search.
Sumber
- Google: Common crawlers, including Google-Extended
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- Google: New opportunities, control and insights for website owners
- Google: Verifying Google crawlers and fetchers
- Google Search Central: JavaScript SEO basics
- AISeeWhy: AI Crawler Access Report, 2026-11