Apakah Gemini bisa melihat situs saya? Cara memeriksanya
Gemini hanya bisa memakai halaman Anda dalam jawaban ber-grounding jika halaman itu ada di indeks Google Search dan robots.txt Anda tidak melarang token Google-Extended. Google menyatakan grounding di aplikasi Gemini memberi model konten dari indeks Google Search, dan Google-Extended mengontrol apakah konten Anda boleh dipakai untuk itu. Jadi periksa pengindeksan di Search Console, periksa robots.txt untuk Googlebot dan Google-Extended, lalu ajukan pertanyaan calon pembeli Anda ke Gemini dan buka sumbernya.
Gemini tidak punya crawler yang bisa Anda pantau di log seperti asisten lain. Google melakukan crawling dengan crawler yang sudah ada, dan sebuah token robots.txt menentukan apa yang boleh dilakukan Gemini dengan kontennya. Karena itu pemeriksaannya berbeda: sebagian besar dilakukan di Google Search Console dan di robots.txt Anda, dan langkah terakhir dilakukan di Gemini sendiri.
Di halaman ini
- Cek 5 menit, langkah demi langkah
- Bagaimana Gemini mendapatkan informasi dari situs web?
- Bagaimana cara memeriksa apakah Google sudah mengindeks halaman saya?
- Apakah Google-Extended menghalangi Gemini memakai situs saya?
- Bisakah firewall memblokir Google sementara browser tetap lolos?
- Bagaimana cara melihat apakah Gemini memakai atau mengutip situs saya?
- Apakah AI Overviews, AI Mode, dan aturan snippet memengaruhi Gemini?
- Bagaimana AISeeWhy memeriksa hal ini?
Cek 5 menit, langkah demi langkah
- Cari di Google dengan
site:ditambah alamat halaman Anda, atau gunakan Inspeksi URL di Search Console, untuk memastikan halaman ada di indeks Google. - Buka robots.txt Anda dan pastikan
Googlebotboleh mengambil halaman itu danGoogle-Extendedtidak dilarang, kecuali Anda memang memilih untuk menolak. - Jalankan pemeriksaan gratis halaman itu di AISeeWhy atau kirim satu permintaan dengan user agent
Googlebot: permintaan itu harus mendapat status 200 dan teks yang sama dengan browser. - Ajukan ke Gemini pertanyaan yang dijawab halaman Anda dan buka sumber yang ditampilkannya di bawah jawaban.
Jika halaman tidak terindeks, grounding Gemini tidak bisa memakainya, jadi mulailah dari langkah 1. Bagian di bawah menjelaskan setiap langkah dan apa yang perlu dilakukan jika gagal.
Bagaimana Gemini mendapatkan informasi dari situs web?
Gemini Apps Privacy Hub dari Google menyatakan sebagian jawaban Gemini di-grounding pada hasil Search. Dokumentasi crawler Google mendefinisikan grounding sebagai pemberian konten dari indeks Google Search kepada model pada saat prompt, untuk meningkatkan faktualitas dan relevansi. Halaman yang sama menyatakan Google-Extended mengontrol apakah konten yang di-crawl Google boleh dipakai untuk melatih model Gemini dan untuk grounding di Gemini Apps serta di Grounding with Google Search pada Vertex AI.
Google-Extended tidak punya string user agent sendiri. Google menyatakan crawling dilakukan dengan user agent yang sudah ada, dan token ini hanya berfungsi di robots.txt sebagai kontrol. Dalam praktiknya, ada dua syarat agar Gemini memakai halaman Anda: Google harus memilikinya di indeks, dan robots.txt Anda tidak boleh melarang Google-Extended untuk halaman itu.
Google tidak mendokumentasikan bagaimana Gemini memilih halaman terindeks mana yang dipakai atau dikutip. Memenuhi kedua syarat membuat halaman Anda tersedia, tetapi tidak menjamin Gemini memilihnya.
Bagaimana cara memeriksa apakah Google sudah mengindeks halaman saya?
Gunakan alat URL Inspection di Google Search Console. Untuk versi yang terindeks, alat ini menampilkan:
- Apakah halaman terindeks, atau alasannya, misalnya "URL is unknown to Google".
- Tanggal crawl terakhir dan apakah Google meng-crawl-nya sebagai pengunjung desktop atau seluler.
- Apakah pengambilan halaman berhasil dan apakah robots.txt mengizinkan crawl.
- Canonical yang Anda nyatakan dan canonical yang dipilih Google. Jika berbeda, Google menganggap pilihannya sebagai versi halaman yang otoritatif.
Test live URL mengambil halaman secara real time, dan View tested page menampilkan screenshot serta HTML yang diterima Google. Jika screenshot berupa halaman tantangan atau HTML tidak berisi teks utama Anda, Google, dan bersamanya Gemini, tidak melihat konten Anda. Request indexing meminta Google meng-crawl URL itu lagi; Google menyatakan biasanya butuh sekitar satu hari, tanpa jaminan diindeks.
Apakah Google-Extended menghalangi Gemini memakai situs saya?
Buka robots.txt Anda dan cari grup yang menyebut Google-Extended. Disallow: / di sana memberi tahu Google untuk tidak memakai halaman Anda untuk pelatihan Gemini atau untuk grounding di Gemini Apps. Google menyatakan token ini tidak memengaruhi penyertaan di Google Search dan bukan sinyal peringkat, jadi pemblokiran ini mudah terlewat: trafik pencarian Anda terlihat normal sementara Gemini tidak bisa mendasarkan jawabannya pada halaman Anda. Artikel kami tentang AI Overviews dan Google-Extended menjelaskan apa yang dikontrol dan tidak dikontrol token ini di Search.
Karena token ini tidak pernah muncul dalam permintaan, Anda tidak bisa mengujinya dengan curl atau menemukannya di log. Membaca file adalah satu-satunya cara memeriksa:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" Pencocokan tidak membedakan huruf besar dan kecil, dan jika tidak ada grup yang menyebut Google-Extended, grup * berlaku untuknya. Banyak situs menambahkan blokir ini saat pelatihan AI pertama kali ramai dibahas. Dalam studi kami atas 1.000 domain terpopuler, 114 dari 518 situs yang punya robots.txt menyebut Google-Extended dan 94 (18,1%) melarang halaman berandanya. Putuskan apakah itu masih sesuai dengan keinginan Anda, mengingat blokir ini juga mencakup grounding.
Bisakah firewall memblokir Google sementara browser tetap lolos?
Bisa. Jika perlindungan bot atau rate limit membalas crawler Google dengan 403, 429, atau halaman tantangan, Google tidak bisa meng-crawl halaman itu, dan lama-kelamaan halaman bisa hilang dari Search dan, bersamanya, dari grounding Gemini. URL Inspection adalah tes terbaik di sini, karena Google mengambil halaman dari alamatnya sendiri; tes curl dari komputer Anda hanya menunjukkan bagaimana aturan Anda memperlakukan user agent.
Untuk mengizinkan Google dengan aman, verifikasi pengunjungnya, jangan hanya memercayai namanya. Google mendokumentasikan reverse DNS lookup yang diikuti forward lookup, dan memublikasikan rentang IP crawler umumnya di common-crawlers.json:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com Ganti alamat contoh dengan alamat dari log Anda. Jika kedua lookup tidak cocok, permintaan itu hanya mengaku berasal dari Google.
Bagaimana cara melihat apakah Gemini memakai atau mengutip situs saya?
Ajukan ke Gemini pertanyaan yang biasa ditanyakan calon pembeli Anda, tanpa menyebut situs Anda, lalu buka sumbernya. Pusat bantuan Google menyatakan tombol Sources muncul di bagian bawah jawaban atau di dalam teks, dan membuka panel tautan terkait yang bisa mencakup situs publik. Jika tidak ada tombol Sources, Gemini tidak memberikan tautan untuk jawaban itu, dan Google mencatat bahwa tidak semua jawaban menyertakannya. Catat domain yang muncul dan ulangi pertanyaan yang sama selama beberapa minggu.
Developer bisa menjalankan tes yang sama lewat Gemini API dengan Grounding with Google Search. Google menyatakan fitur ini menghubungkan model ke konten web real time, dan jawaban ber-grounding membawa kutipan berisi URL dan judul setiap sumber, sehingga Anda bisa memeriksa apakah domain Anda muncul. Jawaban API bisa berbeda dari yang ditampilkan aplikasi Gemini.
Sebagian pengambilan yang terkait Gemini memang sampai ke server Anda. Google mencantumkan fetcher yang dipicu pengguna seperti Google-GeminiNotebook, yang meminta URL yang ditambahkan pengguna sebagai sumber ke proyek Gemini Notebook, dan Google-Agent, yang dipakai agen di infrastruktur Google yang bertindak atas permintaan pengguna. Google menyatakan fetcher ini umumnya mengabaikan robots.txt karena pengambilannya diminta pengguna. Kunjungan mereka menunjukkan bahwa orang membuka halaman Anda lewat produk-produk itu; ini bukan jalur grounding yang dijelaskan di atas.
Apakah AI Overviews, AI Mode, dan aturan snippet memengaruhi Gemini?
AI Overviews dan AI Mode adalah fitur Google Search dengan kontrolnya sendiri. Google mencantumkan nosnippet, data-nosnippet, max-snippet, dan noindex sebagai cara membatasi apa yang ditampilkan dari halaman Anda. Dokumentasi tag meta robots-nya menyatakan nosnippet juga mencegah konten dipakai sebagai input langsung untuk AI Overviews dan AI Mode, dan max-snippet membatasi seberapa banyak yang boleh dipakai. Search Console juga punya setelan Search generative AI untuk seluruh situs yang bisa mengecualikan situs dari AI Overviews, AI Mode, dan fitur AI generatif di Discover.
Tidak satu pun dari halaman ini menyebut aplikasi Gemini. Jangan berasumsi bahwa aturan snippet atau setelan Search Console mengubah grounding Gemini, atau bahwa Google-Extended mengubah AI Overviews. noindex adalah pengecualiannya: menurut definisi grounding dari Google, halaman di luar indeks Search tidak bisa dipakai untuk grounding. Untuk menemukan aturan snippet yang mungkin terlupa, periksa HTML dan header:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" Bagaimana AISeeWhy memeriksa hal ini?
Pemeriksaan gratis AISeeWhy mengambil halaman Anda sebagai Googlebot serta crawler AI dan crawler pencarian lainnya, berdampingan dengan browser sungguhan, menerapkan robots.txt Anda untuk masing-masing, termasuk token Google-Extended, mengenali halaman tantangan, dan menunjukkan seberapa banyak teks yang sampai tanpa JavaScript. Pemeriksaan visibilitas di AI, di uji coba dan paket berbayar, mengajukan pertanyaan Anda lewat Gemini API dengan grounding Google Search memakai kunci Anda sendiri dan menunjukkan apakah brand atau domain Anda disebut atau dikutip. Pemeriksaan ini tidak mengecek AI Overviews atau AI Mode.
Langkah berikutnya
- robots.txt tester dan pemeriksa untuk crawler AI
- Pemeriksa IP crawler AI
- Lihat contoh laporan lengkap
- Pemantauan crawler AI
- Paket dan harga
Crawler dalam artikel ini
Pertanyaan yang sering diajukan
Bisakah saya memeriksa secara gratis apakah Gemini bisa melihat situs saya?
Bisa. Search Console, pencarian site:, robots.txt Anda, dan pertanyaan di Gemini tidak memakan biaya. Pemeriksaan gratis AISeeWhy menguji Googlebot, aturan Google-Extended, dan 14 crawler lain untuk satu halaman per hari.
Apakah Gemini punya crawler sendiri?
Tidak untuk grounding. Google menyatakan Google-Extended tidak punya string user agent dan crawling dilakukan dengan crawler yang sudah ada. Fetcher terpisah yang dipicu pengguna, seperti Google-GeminiNotebook dan Google-Agent, mengunjungi halaman saat pengguna memintanya, dan Google menyatakan fetcher ini umumnya mengabaikan robots.txt.
Jika saya memblokir Google-Extended, apakah Gemini masih bisa menyebut brand saya?
Google menyatakan tidak akan memakai konten Anda untuk grounding di Gemini Apps. Aturan itu mencakup halaman Anda sendiri. Google tidak menyatakan apa pun tentang konten di situs lain yang menulis tentang Anda, jadi Gemini mungkin tetap menyebut brand Anda dari sumber-sumber itu.
Berapa lama perubahan robots.txt sampai ke Gemini?
Google tidak menyebutkan waktunya untuk Gemini. Dokumentasi robots.txt-nya menyatakan Google umumnya menyimpan file dalam cache hingga 24 jam, jadi beri waktu setidaknya satu hari sebelum menguji lagi, dan lebih lama untuk halaman yang jarang di-crawl ulang oleh Google.
Apakah AI Overviews dan Gemini memakai sumber yang sama?
Google tidak mendokumentasikan hubungan keduanya. Keduanya bersumber dari indeks Google, tetapi kontrolnya berbeda: aturan snippet dan setelan Search Console untuk AI Overviews dan AI Mode, dan Google-Extended untuk grounding Gemini. Periksa keduanya secara terpisah.
Bagaimana cara melacak jawaban Gemini dari waktu ke waktu?
Simpan daftar tetap pertanyaan calon pembeli, ajukan ke Gemini secara terjadwal, dan catat domain yang muncul di sumber. Pemeriksaan visibilitas di AI dari AISeeWhy menjalankan pertanyaan Anda setiap minggu lewat Gemini API dengan grounding Google Search dan menampilkan penyebutan berdampingan dengan hingga empat pesaing. Hasil dari API bisa berbeda dari aplikasi Gemini.
Sumber
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy: Laporan Akses Crawler AI, 2026-11