Gemini saytimni koʻra oladimi? Qanday tekshirish mumkin

Eʼlon qilingan · Yangilangan

Qisqa javob

Gemini sahifangizdan grounding qilingan javobda faqat sahifa Google qidiruv indeksida boʻlsa va robots.txt Google-Extended tokenini taqiqlamasa foydalana oladi. Google aytishicha, Gemini ilovasidagi grounding modelga Google Search indeksidan kontent beradi, Google-Extended esa kontentingiz bunga ishlatilishi mumkinligini belgilaydi. Shuning uchun Search Consoleʼda indeksatsiyani, robots.txt da Googlebot va Google-Extendedni tekshiring, soʻng Geminiʼga xaridorlaringiz savollarini bering va uning manbalarini oching.

Geminiʼda boshqa assistentlardagidek loglaringizda kuzatsa boʻladigan krauler yoʻq. Google mavjud kraulerlari bilan skanerlaydi, robots.txt dagi token esa Gemini kontent bilan nima qila olishini hal qiladi. Shuning uchun tekshiruv ham boshqacha: uning koʻp qismi Google Search Console va robots.txt faylingizda, oxirgi qadam esa Geminiʼning oʻzida boʻladi.

Ushbu sahifada
  1. 5 daqiqalik tekshiruv, qadamma-qadam
  2. Gemini veb-saytlardan maʼlumotni qanday oladi?
  3. Google sahifamni indekslaganini qanday tekshiraman?
  4. Google-Extended Geminiʼga saytimdan foydalanishga toʻsqinlik qilyaptimi?
  5. Firewall brauzerlarni oʻtkazib, Googleʼni bloklashi mumkinmi?
  6. Gemini saytimdan foydalanishi yoki iqtibos keltirishini qanday koʻraman?
  7. AI Overviews, AI Mode va snippet qoidalari Geminiʼga taʼsir qiladimi?
  8. AISeeWhy buni qanday tekshiradi?

5 daqiqalik tekshiruv, qadamma-qadam

  1. Sahifa Google indeksida ekanini tasdiqlash uchun Googleʼda site: va sahifa manzilingiz bilan qidiring yoki Search Consoleʼdagi URL Inspection vositasidan foydalaning.
  2. robots.txt faylingizni oching va Googlebot sahifani yuklashi mumkinligiga hamda Google-Extended uchun taqiq yoʻqligiga ishonch hosil qiling, agar voz kechishni oʻzingiz tanlamagan boʻlsangiz.
  3. AISeeWhyʼda sahifaning bepul tekshiruvini ishga tushiring yoki Googlebot user agenti bilan bitta soʻrov yuboring: u 200 statusini va brauzer bilan bir xil matnni olishi kerak.
  4. Geminiʼga sahifangiz javob beradigan savolni bering va u javob ostida koʻrsatadigan manbalarni oching.

Sahifa indekslanmagan boʻlsa, Geminiʼning groundingʼi undan foydalana olmaydi, shuning uchun 1-qadamdan boshlang. Quyidagi boʻlimlar har bir qadamni va u oʻtmasa nima qilish kerakligini tushuntiradi.

Gemini veb-saytlardan maʼlumotni qanday oladi?

Googleʼning Gemini Apps Privacy Hub sahifasida aytilishicha, Geminiʼning baʼzi javoblari qidiruv natijalariga asoslanadi (grounding). Googleʼning kraulerlar hujjatlari groundingʼni faktlarga muvofiqlik va dolzarblikni yaxshilash uchun soʻrov paytida modelga Google Search indeksidan kontent berish deb taʼriflaydi. Oʻsha sahifada Google-Extended Google skanerlagan kontent Gemini modellarini oʻqitish, Gemini Apps ichidagi grounding va Vertex AI dagi Grounding with Google Search uchun ishlatilishi mumkinligini belgilashi aytilgan.

Google-Extendedning oʻz user agent satri yoʻq. Google aytishicha, skanerlash mavjud user agentlar bilan bajariladi, token esa faqat robots.txt da boshqaruv vositasi sifatida ishlaydi. Amalda bu Gemini sahifangizdan foydalanishi uchun ikki shart beradi: Google uni indeksida saqlashi kerak va robots.txt faylingiz u uchun Google-Extendedni taqiqlamasligi kerak.

Google Gemini qaysi indekslangan sahifalardan foydalanish yoki iqtibos keltirishni qanday tanlashini hujjatlashtirmagan. Ikkala shartni bajarish sahifangizni mavjud qiladi, lekin Gemini uni tanlashini kafolatlamaydi.

Google sahifamni indekslaganini qanday tekshiraman?

Google Search Consoleʼdagi URL Inspection vositasidan foydalaning. Indekslangan versiya uchun u quyidagilarni koʻrsatadi:

Test live URL sahifani shu zahoti yuklaydi, View tested page esa skrinshot va Google olgan HTMLʼni koʻrsatadi. Skrinshotda challenge sahifasi boʻlsa yoki HTMLʼda asosiy matningiz boʻlmasa, Google, u bilan birga Gemini ham kontentingizni koʻrmaydi. Request indexing Googleʼdan URLʼni qayta skanerlashni soʻraydi; Google aytishicha, bu odatda taxminan bir kun oladi va indeksatsiya kafolatlanmaydi.

Google-Extended Geminiʼga saytimdan foydalanishga toʻsqinlik qilyaptimi?

robots.txt faylingizni oching va Google-Extended nomi yozilgan guruhni qidiring. U yerdagi Disallow: / Googleʼga sahifalaringizni Gemini oʻqitishi yoki Gemini Apps ichidagi grounding uchun ishlatmaslikni aytadi. Google aytishicha, token Google Searchʼga kiritilishga taʼsir qilmaydi va reyting signali emas, shuning uchun bu blokni oʻtkazib yuborish oson: qidiruv trafigingiz odatdagidek koʻrinadi, Gemini esa javoblarni sahifalaringizga asoslay olmaydi. AI Overviews va Google-Extended haqidagi alohida maqolamiz token qidiruvda nimani boshqarishi va nimani boshqarmasligini tushuntiradi.

Token soʻrovlarda hech qachon koʻrinmagani uchun uni curl bilan sinab yoki loglardan topib boʻlmaydi. Yagona tekshiruv — faylni oʻqish:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Solishtirish katta-kichik harfga bogʻliq emas va hech bir guruh Google-Extendedni nomlamasa, unga * guruhi qoʻllanadi. Koʻp saytlar bu blokni AI oʻqitishi ilk bor muhokama qilinganda qoʻshgan. Eng mashhur 1000 ta domen boʻyicha tadqiqotimizda robots.txt boʻlgan 518 ta saytdan 114 tasi Google-Extendedni nomlagan va 94 tasi (18,1%) u uchun bosh sahifasini taqiqlagan. Bu grounding ham qamrab olinishini hisobga olib, hali ham xohishingizga mosligini hal qiling.

Firewall brauzerlarni oʻtkazib, Googleʼni bloklashi mumkinmi?

Ha. Botlardan himoya yoki rate limit Google kraulerlariga 403, 429 yoki challenge sahifasi bilan javob bersa, Google sahifani skanerlay olmaydi va vaqt oʻtib u qidiruvdan, u bilan birga Gemini groundingʼidan ham tushib qolishi mumkin. Bu yerda eng yaxshi test — URL Inspection, chunki Google sahifani oʻz manzillaridan yuklaydi; kompyuteringizdan curl testi faqat qoidalaringiz user agentga qanday munosabatda boʻlishini koʻrsatadi.

Googleʼni xavfsiz oʻtkazish uchun nomga ishonmasdan, tashrifchini tekshiring. Google reverse DNS soʻrovi va undan keyingi forward soʻrov usulini tasvirlaydi hamda oddiy kraulerlarining IP diapazonlarini common-crawlers.json da eʼlon qiladi:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Misoldagi manzilni loglaringizdagi manzil bilan almashtiring. Ikki soʻrov mos kelmasa, soʻrov oʻzini faqat Google deb koʻrsatyapti.

Gemini saytimdan foydalanishi yoki iqtibos keltirishini qanday koʻraman?

Saytingizni nomlamasdan Geminiʼga xaridorlaringiz beradigan savollarni bering va manbalarni oching. Google yordam markazida aytilishicha, Sources tugmasi javob ostida yoki matn ichida chiqadi va ommaviy saytlar ham boʻlishi mumkin boʻlgan tegishli havolalar panelini ochadi. Sources tugmasi boʻlmasa, Gemini bu javob uchun havola bermagan va Google barcha javoblarda havola boʻlmasligini qayd etadi. Qaysi domenlar chiqishini yozib boring va bir necha hafta davomida oʻsha savollarni takrorlang.

Dasturchilar xuddi shu testni Gemini API orqali Grounding with Google Search bilan oʻtkazishi mumkin. Google aytishicha, u modelni real vaqtdagi veb-kontentga ulaydi, grounding qilingan javoblarda esa har bir manbaning URL va sarlavhasi bilan iqtiboslar boʻladi, shuning uchun domeningiz chiqishini tekshirish mumkin. API javoblari Gemini ilovasi koʻrsatadigan narsadan farq qilishi mumkin.

Gemini bilan bogʻliq baʼzi soʻrovlar serveringizga yetib keladi. Google foydalanuvchi ishga tushiradigan fetcherlarni sanab oʻtadi, masalan, foydalanuvchilar Gemini Notebook loyihasiga manba sifatida qoʻshgan URLʼlarni soʻraydigan Google-GeminiNotebook va Google infratuzilmasida foydalanuvchi soʻrovi boʻyicha ishlaydigan agentlar ishlatadigan Google-Agent. Google aytishicha, bu fetcherlar odatda robots.txt ga eʼtibor bermaydi, chunki yuklashni foydalanuvchi soʻragan. Ularning tashriflari odamlar sahifalaringizni shu mahsulotlar orqali ochayotganini koʻrsatadi; bu yuqorida tasvirlangan grounding yoʻli emas.

AI Overviews, AI Mode va snippet qoidalari Geminiʼga taʼsir qiladimi?

AI Overviews va AI Mode — oʻz boshqaruv vositalariga ega Google Search funksiyalari. Google nosnippet, data-nosnippet, max-snippet va noindexni sahifalaringizdan koʻrsatiladigan narsani cheklash usullari sifatida keltiradi. Uning robots meta tegi hujjatlarida nosnippet kontentning AI Overviews va AI Mode uchun bevosita kirish sifatida ishlatilishiga ham yoʻl qoʻymasligi, max-snippet esa qanchasi ishlatilishi mumkinligini cheklashi aytilgan. Search Consoleʼda saytni AI Overviews, AI Mode va Discoverʼdagi generativ AI funksiyalaridan chiqarishi mumkin boʻlgan butun sayt uchun Search generative AI sozlamasi ham bor.

Bu sahifalarning hech birida Gemini ilovasi tilga olinmagan. Snippet qoidasi yoki Search Console sozlamasi Gemini groundingʼini oʻzgartiradi, yoki Google-Extended AI Overviewsʼni oʻzgartiradi, deb hisoblamang. noindex istisno: Googleʼning grounding taʼrifiga koʻra, qidiruv indeksidan tashqaridagi sahifa unda ishlatilmaydi. Unutgan boʻlishingiz mumkin boʻlgan snippet qoidalarini topish uchun HTML va sarlavhalarni tekshiring:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

AISeeWhy buni qanday tekshiradi?

AISeeWhyʼning bepul tekshiruvi sahifangizni haqiqiy brauzer bilan yonma-yon Googlebot va boshqa AI va qidiruv kraulerlari sifatida yuklaydi, har biriga robots.txt faylingizni, jumladan Google-Extended tokenini qoʻllaydi, challenge sahifalarini taniydi va JavaScriptsiz qancha matn yetib kelishini koʻrsatadi. Sinov davri va pullik tariflarda mavjud AIʼdagi koʻrinish tekshiruvi savollaringizni oʻz kalitingiz bilan Google Search grounding yoqilgan Gemini API orqali beradi va brendingiz yoki domeningiz tilga olingan yoki iqtibos keltirilganini koʻrsatadi. U AI Overviews yoki AI Modeʼga soʻrov yubormaydi.

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Koʻp beriladigan savollar

Gemini saytimni koʻra olishini bepul tekshira olamanmi?

Ha. Search Console, site: qidiruvi, robots.txt faylingiz va Geminiʼdagi savol bepul. AISeeWhyʼning bepul tekshiruvi kuniga bitta sahifa uchun Googlebot, Google-Extended qoidasi va yana 14 ta kraulerni tekshiradi.

Geminiʼning oʻz krauleri bormi?

Grounding uchun yoʻq. Google aytishicha, Google-Extendedning user agent satri yoʻq va skanerlash mavjud kraulerlar bilan bajariladi. Google-GeminiNotebook va Google-Agent kabi foydalanuvchi ishga tushiradigan alohida fetcherlar foydalanuvchi soʻraganda sahifalarga kiradi va Google aytishicha, ular odatda robots.txt ga eʼtibor bermaydi.

Google-Extendedʼni bloklasam, Gemini baribir brendimni tilga olishi mumkinmi?

Google kontentingizni Gemini Apps ichidagi grounding uchun ishlatmasligini aytadi. Bu qoida oʻz sahifalaringizga tegishli. Siz haqingizda yozadigan boshqa saytlardagi kontent haqida Google hech narsa demaydi, shuning uchun Gemini brendingizni oʻsha manbalardan nomlashi mumkin.

robots.txt oʻzgarishi Geminiʼga qancha vaqtda yetib boradi?

Google Gemini uchun muddat aytmaydi. Uning robots.txt hujjatlarida Google faylni odatda 24 soatgacha keshlashi aytilgan, shuning uchun qayta tekshirishdan oldin kamida bir kun, Google kamdan-kam skanerlaydigan sahifalar uchun esa koʻproq kuting.

AI Overviews va Gemini bir xil manbalardan foydalanadimi?

Google ikkalasi qanday bogʻliqligini hujjatlashtirmagan. Ikkalasi ham Google indeksiga tayanadi, lekin boshqaruv vositalari har xil: AI Overviews va AI Mode uchun snippet qoidalari va Search Console sozlamasi, Gemini groundingʼi uchun esa Google-Extended. Ularni alohida tekshiring.

Gemini javoblarini vaqt davomida qanday kuzataman?

Xaridor savollarining doimiy roʻyxatini tuzing, ularni jadval boʻyicha Geminiʼga bering va manbalarda qaysi domenlar chiqishini yozib boring. AISeeWhyʼning AIʼdagi koʻrinish tekshiruvi savollaringizni har hafta Google Search grounding bilan Gemini API orqali beradi va tilga olinishlarni toʻrttagacha raqobatchi bilan yonma-yon koʻrsatadi. API natijalari Gemini ilovasidan farq qilishi mumkin.

Manbalar

Boshqa maqolalar