Apakah memblokir Google-Extended mengeluarkan Anda dari AI Overviews dan AI Mode?

Dipublikasikan

Jawaban singkat

Tidak, menurut dokumentasi Google. Google-Extended mengatur pemakaian konten Anda untuk pelatihan model Gemini dan untuk grounding di Gemini Apps dan Vertex AI. AI Overviews dan AI Mode memakai halaman yang di-crawl Googlebot untuk Search. Untuk membatasinya, Google menunjuk ke kontrol snippet, noindex, dan pengaturan Search Console yang mengecualikan situs dari fitur-fitur ini.

Google-Extended sering digambarkan sebagai cara agar situs Anda tidak masuk ke AI Google. Itu hanya sebagian benar, dan celahnya menimbulkan kebingungan ke dua arah: ada situs yang memblokirnya sambil mengira akan hilang dari AI Overviews dan tidak melihat perubahan, ada pula yang menghindarinya karena takut kehilangan lalu lintas pencarian. Dokumentasi Google sendiri cukup spesifik soal fungsi tiap kontrol. Berikut isinya, bagian di mana halaman-halamannya tidak sepenuhnya konsisten, dan apa yang perlu diperiksa di situs Anda.

Di halaman ini
  1. Apa itu Google-Extended?
  2. Apakah memblokir Google-Extended memengaruhi AI Overviews atau AI Mode?
  3. Apa yang menentukan apakah Anda muncul di AI Overviews dan AI Mode?
  4. Apa yang terjadi jika saya memblokir Googlebot?
  5. Bagaimana cara memeriksa apa yang dilihat Google di situs saya?
  6. Di mana saya melihat lalu lintas AI Overviews?

Apa itu Google-Extended?

Google menggambarkan Google-Extended sebagai token produk mandiri yang bisa dipakai penerbit di robots.txt. Token ini tidak memiliki crawler maupun string user agent sendiri; crawler Google yang sudah ada mengambil halamannya, dan token mengatur bagaimana konten itu boleh dipakai.

Menurut dokumentasi crawler Google, token ini mencakup dua pemakaian: melatih generasi mendatang model Gemini yang menjalankan Gemini Apps dan Vertex AI API untuk Gemini, serta grounding, yaitu konten dari indeks Google Search yang diberikan kepada model saat prompt, di Gemini Apps dan di Grounding with Google Search pada Vertex AI. Halaman yang sama menyatakan Google-Extended tidak memengaruhi pencantuman situs di Google Search dan tidak dipakai sebagai sinyal peringkat.

User-agent: Google-Extended
Disallow: /

Apakah memblokir Google-Extended memengaruhi AI Overviews atau AI Mode?

Dokumentasi Google tidak mencantumkan AI Overviews atau AI Mode di antara pemakaian yang diatur Google-Extended. Panduan Google tentang fitur AI menyatakan sebuah halaman memenuhi syarat tampil sebagai tautan pendukung di AI Overviews atau AI Mode jika diindeks dan memenuhi syarat ditampilkan di Google Search dengan snippet, tanpa persyaratan teknis tambahan. Panduan itu menyebut aturan robots.txt untuk Googlebot, bukan Google-Extended, sebagai kontrol crawling di Search.

Jadi menurut penjelasan Google, halaman yang boleh di-crawl dan diindeks Googlebot, dan boleh menampilkan snippet, masih bisa muncul di AI Overviews dan AI Mode ketika Google-Extended dilarang.

Ada satu nuansa yang perlu dinyatakan dengan jelas. Halaman bantuan Search Console Google untuk kontrol AI barunya menyatakan bahwa untuk membatasi pelatihan model yang dipakai menghasilkan respons di fitur AI generatif Search, Anda harus memakai Google-Extended. Dokumentasi crawler Google untuk token itu hanya menyebut Gemini Apps dan Vertex AI. Kedua halaman menggambarkan cakupannya secara berbeda. Tidak satu pun menyatakan bahwa memblokir token itu mengeluarkan situs dari AI Overviews.

Apa yang menentukan apakah Anda muncul di AI Overviews dan AI Mode?

Google mendokumentasikan kontrol berikut, dari yang tersempit hingga terluas:

Google juga menyatakan tidak ada markup schema.org khusus atau optimasi lain yang diperlukan agar muncul di AI Overviews atau AI Mode.

Apa yang terjadi jika saya memblokir Googlebot?

Memblokir Googlebot adalah opsi yang paling kasar. Google menyatakan preferensi crawling yang ditujukan kepadanya memengaruhi Google Search, termasuk Discover dan semua fitur Search. Situs yang melarang Googlebot kehilangan hasil pencarian normalnya beserta kutipan di AI Overviews dan AI Mode.

Sedikit situs besar yang melakukannya. Dalam studi kami atas file robots.txt dari 1.000 domain terpopuler, 94 dari 518 situs dengan robots.txt (18,1%) melarang halaman beranda untuk Google-Extended, sedangkan hanya 14 (2,7%) yang melakukannya untuk Googlebot. Studi ini hanya mencakup aturan robots.txt untuk halaman beranda, dan tidak bisa menunjukkan apa yang diharapkan situs-situs itu dari aturan tersebut.

Bagaimana cara memeriksa apa yang dilihat Google di situs saya?

Jika halaman Anda tidak ada di AI Overviews atau AI Mode, telusuri rantai yang sama seperti untuk hasil pencarian biasa:

Bahkan jika semua pemeriksaan lolos, Google yang memutuskan halaman mana yang ditampilkan untuk tiap kueri. Memenuhi syarat tidak sama dengan ditampilkan.

Di mana saya melihat lalu lintas AI Overviews?

Google menyatakan lalu lintas dari situs yang muncul di fitur AI termasuk dalam keseluruhan lalu lintas pencarian di laporan Performa Search Console. Dengan kontrol 2026, Google juga mengumumkan wawasan AI generatif di Search Console, yang menampilkan tayangan dan halaman mana yang muncul di respons AI, serta menyatakan metrik lain akan menyusul. Anda tidak bisa melihat Google-Extended di log server Anda, karena token ini tidak memiliki user agent sendiri.

AISeeWhy memeriksa robots.txt Anda untuk Googlebot dan Google-Extended, menguji apakah crawler Google menerima halaman yang sama dengan browser, dan melaporkan aturan nosnippet dan noindex yang akan membuat halaman tidak muncul di AI Overviews dan AI Mode.

Pertanyaan yang sering diajukan

Apakah memblokir Google-Extended akan merugikan peringkat Google saya?

Google menyatakan Google-Extended tidak memengaruhi pencantuman di Google Search dan tidak dipakai sebagai sinyal peringkat.

Bagaimana agar situs saya tidak muncul di AI Overviews tetapi tetap ada di Google Search?

Google menyediakan pengaturan Search generative AI di Search Console yang mengecualikan situs dari AI Overviews, AI Mode, dan fitur AI generatif di Discover tanpa memengaruhi bagian Search lainnya. nosnippet dan max-snippet juga membatasi pemakaian sebagai input langsung, tetapi keduanya mengubah snippet normal juga.

Apakah pengaturan AI di Search Console menghentikan pelatihan AI?

Tidak. Halaman bantuan Google menyatakan pengaturan ini tidak mencakup pelatihan dan menunjuk ke Google-Extended untuk itu.

Apakah saya perlu markup khusus agar muncul di AI Overviews?

Google menyatakan tidak ada persyaratan tambahan atau data terstruktur schema.org khusus yang diperlukan. Halaman harus terindeks dan memenuhi syarat menampilkan snippet.

Apakah Google-Extended crawler yang bisa saya blokir di firewall?

Tidak. Token ini tidak memiliki user agent sendiri, jadi firewall tidak bisa melihatnya. Ia hanya berfungsi sebagai token robots.txt. Memblokir crawler Google yang sebenarnya di firewall akan memengaruhi Search.

Sumber

Artikel lainnya