Bolehkah Gemini melihat laman web saya? Cara menyemak

Diterbitkan · Dikemas kini

Jawapan ringkas

Gemini hanya boleh menggunakan halaman anda dalam jawapan grounded jika halaman itu ada dalam indeks Google Search dan robots.txt anda tidak melarang token Google-Extended. Google menyatakan grounding dalam aplikasi Gemini memberi model kandungan daripada indeks Google Search, dan Google-Extended mengawal sama ada kandungan anda boleh digunakan untuknya. Jadi semak pengindeksan dalam Search Console, semak robots.txt untuk Googlebot dan Google-Extended, kemudian tanya Gemini soalan pembeli anda dan buka sumbernya.

Gemini tidak mempunyai crawler yang boleh anda perhatikan dalam log seperti pembantu lain. Google merangkak dengan crawler sedia adanya, dan satu token robots.txt menentukan apa yang boleh Gemini lakukan dengan kandungan itu. Oleh itu semakannya berbeza: kebanyakannya berlaku dalam Google Search Console dan dalam robots.txt anda, dan langkah terakhir dalam Gemini sendiri.

Dalam halaman ini
  1. Semakan 5 minit, langkah demi langkah
  2. Bagaimanakah Gemini mendapat maklumat daripada laman web?
  3. Bagaimanakah saya menyemak sama ada Google telah mengindeks halaman saya?
  4. Adakah Google-Extended menghalang Gemini daripada menggunakan laman saya?
  5. Bolehkah firewall menyekat Google sedangkan pelayar dapat masuk?
  6. Bagaimanakah saya melihat sama ada Gemini menggunakan atau memetik laman saya?
  7. Adakah AI Overviews, AI Mode dan peraturan snippet menjejaskan Gemini?
  8. Bagaimanakah AISeeWhy menyemak perkara ini?

Semakan 5 minit, langkah demi langkah

  1. Cari di Google dengan site: ditambah alamat halaman anda, atau gunakan Pemeriksaan URL dalam Search Console, untuk memastikan halaman itu berada dalam indeks Google.
  2. Buka robots.txt anda dan pastikan Googlebot boleh mengambil halaman itu dan Google-Extended tidak dilarang, melainkan anda memilih untuk menarik diri.
  3. Jalankan semakan percuma halaman itu di AISeeWhy atau hantar satu permintaan dengan user agent Googlebot: ia mesti mendapat status 200 dan teks yang sama seperti pelayar.
  4. Tanya Gemini soalan yang dijawab oleh halaman anda dan buka sumber yang ditunjukkannya di bawah jawapan.

Jika halaman tidak diindeks, grounding Gemini tidak dapat menggunakannya, jadi mulakan dengan langkah 1. Bahagian di bawah menerangkan setiap langkah dan apa yang perlu dilakukan apabila ia gagal.

Bagaimanakah Gemini mendapat maklumat daripada laman web?

Gemini Apps Privacy Hub milik Google menyatakan sesetengah jawapan Gemini di-grounding pada hasil Search. Dokumentasi crawler Google mentakrifkan grounding sebagai memberikan kandungan daripada indeks Google Search kepada model semasa prompt, untuk meningkatkan ketepatan fakta dan kerelevanan. Halaman yang sama menyatakan Google-Extended mengawal sama ada kandungan yang dirangkak Google boleh digunakan untuk melatih model Gemini dan untuk grounding dalam Gemini Apps serta dalam Grounding with Google Search di Vertex AI.

Google-Extended tidak mempunyai rentetan user agent sendiri. Google menyatakan perangkakan dilakukan dengan user agent sedia adanya, dan token itu hanya berfungsi dalam robots.txt sebagai kawalan. Secara praktikal, ini memberi dua syarat untuk Gemini menggunakan halaman anda: Google mesti mempunyainya dalam indeks, dan robots.txt anda tidak boleh melarang Google-Extended untuknya.

Google tidak mendokumenkan cara Gemini memilih halaman terindeks mana yang hendak digunakan atau dipetik. Memenuhi kedua-dua syarat menjadikan halaman anda tersedia; ia tidak menjamin Gemini memilihnya.

Bagaimanakah saya menyemak sama ada Google telah mengindeks halaman saya?

Gunakan alat URL Inspection dalam Google Search Console. Untuk versi yang diindeks, ia menunjukkan:

Test live URL mengambil halaman secara masa nyata, dan View tested page menunjukkan tangkapan skrin serta HTML yang diterima Google. Jika tangkapan skrin ialah halaman cabaran atau HTML tidak mengandungi teks utama anda, Google, dan bersamanya Gemini, tidak melihat kandungan anda. Request indexing meminta Google merangkak URL itu semula; Google menyatakan ia biasanya mengambil masa kira-kira sehari, tanpa jaminan pengindeksan.

Adakah Google-Extended menghalang Gemini daripada menggunakan laman saya?

Buka robots.txt anda dan cari kumpulan yang menamakan Google-Extended. Disallow: / di situ memberitahu Google supaya tidak menggunakan halaman anda untuk latihan Gemini atau untuk grounding dalam Gemini Apps. Google menyatakan token itu tidak menjejaskan kemasukan dalam Google Search dan bukan isyarat kedudukan, jadi sekatan ini mudah terlepas pandang: trafik carian anda kelihatan normal sedangkan Gemini tidak boleh membuat grounding jawapan pada halaman anda. Artikel berasingan kami tentang AI Overviews dan Google-Extended menerangkan apa yang dikawal dan tidak dikawal token itu dalam Search.

Oleh sebab token itu tidak pernah muncul dalam permintaan, anda tidak boleh mengujinya dengan curl atau menemuinya dalam log. Membaca fail itu satu-satunya semakan:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Padanan tidak peka huruf besar-kecil, dan jika tiada kumpulan yang menamakan Google-Extended, kumpulan * terpakai kepadanya. Banyak laman menambah sekatan ini apabila latihan AI mula dibincangkan. Dalam kajian kami terhadap 1,000 domain paling popular, 114 daripada 518 laman yang mempunyai robots.txt menamakan Google-Extended dan 94 (18.1%) melarang halaman utama mereka untuknya. Tentukan sama ada itu masih sesuai dengan kehendak anda, memandangkan ia juga meliputi grounding.

Bolehkah firewall menyekat Google sedangkan pelayar dapat masuk?

Boleh. Jika perlindungan bot atau had kadar membalas crawler Google dengan 403, 429 atau halaman cabaran, Google tidak dapat merangkak halaman itu, dan lama-kelamaan ia boleh tercicir daripada Search dan, bersamanya, daripada grounding Gemini. URL Inspection ialah ujian terbaik di sini kerana Google mengambil halaman dari alamatnya sendiri; ujian curl dari komputer anda hanya menunjukkan cara peraturan anda melayan user agent itu.

Untuk membenarkan Google dengan selamat, sahkan pelawat itu dan jangan percaya pada namanya sahaja. Google mendokumenkan carian DNS terbalik diikuti carian ke hadapan, dan menerbitkan julat IP untuk crawler biasanya dalam common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Gantikan alamat contoh dengan alamat daripada log anda. Jika kedua-dua carian tidak sepadan, permintaan itu hanya mendakwa sebagai Google.

Bagaimanakah saya melihat sama ada Gemini menggunakan atau memetik laman saya?

Tanya Gemini soalan yang ditanya pembeli anda, tanpa menamakan laman anda, dan buka sumbernya. Pusat bantuan Google menyatakan butang Sources muncul di bahagian bawah jawapan atau dalam teks, dan membuka panel pautan berkaitan yang boleh termasuk laman web awam. Jika tiada butang Sources, Gemini tidak memberikan pautan untuk jawapan itu, dan Google menyatakan tidak semua jawapan menyertakannya. Catat domain yang muncul dan ulang soalan yang sama selama beberapa minggu.

Pembangun boleh menjalankan ujian yang sama melalui Gemini API dengan Grounding with Google Search. Google menyatakan ia menyambungkan model kepada kandungan web masa nyata, dan jawapan grounded membawa petikan dengan URL dan tajuk setiap sumber, jadi anda boleh menyemak sama ada domain anda muncul. Jawapan API boleh berbeza daripada apa yang ditunjukkan aplikasi Gemini.

Sesetengah pengambilan berkaitan Gemini memang sampai ke pelayan anda. Google menyenaraikan fetcher yang dicetuskan pengguna seperti Google-GeminiNotebook, yang meminta URL yang ditambah pengguna sebagai sumber dalam projek Gemini Notebook, dan Google-Agent, yang digunakan oleh ejen pada infrastruktur Google yang bertindak atas permintaan pengguna. Google menyatakan fetcher ini biasanya mengabaikan robots.txt kerana pengguna yang meminta pengambilan itu. Lawatan mereka menunjukkan orang membuka halaman anda melalui produk tersebut; ia bukan laluan grounding yang diterangkan di atas.

Adakah AI Overviews, AI Mode dan peraturan snippet menjejaskan Gemini?

AI Overviews dan AI Mode ialah ciri Google Search dengan kawalan tersendiri. Google menyenaraikan nosnippet, data-nosnippet, max-snippet dan noindex sebagai cara mengehadkan apa yang dipaparkan daripada halaman anda. Dokumentasi tag meta robotsnya menyatakan nosnippet juga menghalang kandungan daripada digunakan sebagai input langsung untuk AI Overviews dan AI Mode, dan max-snippet mengehadkan berapa banyak yang boleh digunakan. Search Console juga mempunyai tetapan Search generative AI untuk seluruh laman yang boleh mengecualikan laman daripada AI Overviews, AI Mode dan ciri AI generatif dalam Discover.

Tiada satu pun halaman ini menyebut aplikasi Gemini. Jangan anggap peraturan snippet atau tetapan Search Console mengubah grounding Gemini, atau Google-Extended mengubah AI Overviews. noindex ialah pengecualian: mengikut takrif grounding Google, halaman di luar indeks Search tidak boleh digunakan untuknya. Untuk mencari peraturan snippet yang mungkin anda terlupa, semak HTML dan pengepalanya:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Bagaimanakah AISeeWhy menyemak perkara ini?

Semakan percuma AISeeWhy mengambil halaman anda sebagai Googlebot dan crawler AI serta carian lain bersebelahan pelayar sebenar, menggunakan robots.txt anda bagi setiap satu, termasuk token Google-Extended, mengenali halaman cabaran dan menunjukkan berapa banyak teks yang tiba tanpa JavaScript. Semakan keterlihatan AI, dalam percubaan dan pelan berbayar, bertanya soalan anda melalui Gemini API dengan grounding Google Search menggunakan kunci anda sendiri dan menunjukkan sama ada jenama atau domain anda disebut atau dipetik. Ia tidak bertanya kepada AI Overviews atau AI Mode.

Alat percuma

Langkah seterusnya

Perangkak dalam artikel ini

Soalan lazim

Bolehkah saya menyemak secara percuma sama ada Gemini boleh melihat laman saya?

Boleh. Search Console, carian site:, robots.txt anda dan soalan dalam Gemini tidak memerlukan kos. Semakan percuma AISeeWhy menguji Googlebot, peraturan Google-Extended dan 14 crawler lain untuk satu halaman sehari.

Adakah Gemini mempunyai crawler sendiri?

Tidak untuk grounding. Google menyatakan Google-Extended tiada rentetan user agent dan perangkakan dilakukan dengan crawler sedia adanya. Fetcher berasingan yang dicetuskan pengguna seperti Google-GeminiNotebook dan Google-Agent melawat halaman apabila pengguna memintanya, dan Google menyatakan ia biasanya mengabaikan robots.txt.

Jika saya menyekat Google-Extended, bolehkah Gemini masih menyebut jenama saya?

Google menyatakan ia tidak akan menggunakan kandungan anda untuk grounding dalam Gemini Apps. Peraturan itu meliputi halaman anda sendiri. Google tidak menyatakan apa-apa tentang kandungan di laman lain yang menulis tentang anda, jadi Gemini masih mungkin menamakan jenama anda daripada sumber tersebut.

Berapa lama perubahan robots.txt sampai kepada Gemini?

Google tidak memberikan tempoh untuk Gemini. Dokumentasi robots.txtnya menyatakan Google biasanya menyimpan fail itu dalam cache sehingga 24 jam, jadi beri sekurang-kurangnya sehari sebelum menguji semula, dan lebih lama untuk halaman yang jarang dirangkak semula oleh Google.

Adakah AI Overviews dan Gemini menggunakan sumber yang sama?

Google tidak mendokumenkan hubungan antara kedua-duanya. Kedua-duanya bergantung pada indeks Google, tetapi kawalannya berbeza: peraturan snippet dan tetapan Search Console untuk AI Overviews dan AI Mode, dan Google-Extended untuk grounding Gemini. Semak secara berasingan.

Bagaimanakah saya menjejak jawapan Gemini dari semasa ke semasa?

Simpan senarai tetap soalan pembeli, tanya Gemini mengikut jadual dan catat domain yang muncul dalam sumber. Semakan keterlihatan AI dalam AISeeWhy menjalankan soalan anda setiap minggu melalui Gemini API dengan grounding Google Search dan menunjukkan sebutan bersebelahan dengan sehingga empat pesaing. Hasil daripada API boleh berbeza daripada aplikasi Gemini.

Sumber

Artikel lain