Gemini saytımı görürmü? Necə yoxlamaq olar

Dərc olunub · Yenilənib

Qısa cavab

Gemini səhifənizdən grounding ilə verilən cavabda yalnız səhifə Google Search indeksində olduqda və robots.txt Google-Extended tokenini qadağan etmədikdə istifadə edə bilər. Google bildirir ki, Gemini tətbiqində grounding modelə Google Search indeksindən məzmun verir və Google-Extended məzmununuzun bunun üçün istifadə oluna bilib-bilmədiyinə nəzarət edir. Buna görə indeksləməni Search Console-da yoxlayın, robots.txt-i Googlebot və Google-Extended üçün yoxlayın, sonra Gemini-yə alıcılarınızın suallarını verin və mənbələrini açın.

Gemini-nin digər assistentlərdə olduğu kimi loglarınızda izləyə biləcəyiniz öz botu yoxdur. Google mövcud botları ilə saytları skan edir, Gemini-nin məzmunla nə edə biləcəyini isə robots.txt tokeni həll edir. Bu, yoxlamanı fərqli edir: onun böyük hissəsi Google Search Console-da və robots.txt-inizdə aparılır, son addım isə Gemini-nin özündə.

Bu səhifədə
  1. 5 dəqiqəlik yoxlama, addım-addım
  2. Gemini saytlardan məlumatı necə alır?
  3. Google-un səhifəmi indeksləyib-indeksləmədiyini necə yoxlayım?
  4. Google-Extended Gemini-nin saytımdan istifadəsinə mane olurmu?
  5. Firewall brauzerləri buraxıb Google-u bloklaya bilərmi?
  6. Gemini-nin saytımdan istifadə edib-etmədiyini və ya ona istinad edib-etmədiyini necə görüm?
  7. AI Overviews, AI Mode və snippet qaydaları Gemini-yə təsir edirmi?
  8. AISeeWhy bunu necə yoxlayır?

5 dəqiqəlik yoxlama, addım-addım

  1. Səhifənin Google indeksində olduğunu təsdiqləmək üçün Google-da site: və səhifə ünvanınızla axtarış edin və ya Search Console-da URL Inspection alətindən istifadə edin.
  2. robots.txt-nizi açın və Googlebot botunun səhifəni yükləyə bildiyinə və Google-Extended üçün qadağa olmadığına əmin olun, əgər imtina etməyi özünüz seçməmisinizsə.
  3. AISeeWhy-da səhifənin pulsuz yoxlamasını işə salın və ya Googlebot user agent-i ilə bir sorğu göndərin: o, 200 statusu və brauzerlə eyni mətni almalıdır.
  4. Gemini-yə səhifənizin cavab verdiyi bir sual verin və cavabın altında göstərdiyi mənbələri açın.

Səhifə indekslənməyibsə, Gemini-nin grounding-i ondan istifadə edə bilməz, ona görə 1-ci addımdan başlayın. Aşağıdakı bölmələr hər addımı və o uğursuz olanda nə etməli olduğunu izah edir.

Gemini saytlardan məlumatı necə alır?

Google-un Gemini Apps Privacy Hub səhifəsi bildirir ki, bəzi Gemini cavabları Search nəticələrinə əsaslanır (grounding). Google-un botlar üzrə sənədləri grounding-i faktlara uyğunluğu və aidiyyəti yaxşılaşdırmaq üçün sorğu anında modelə Google Search indeksindən məzmun verilməsi kimi müəyyən edir. Eyni səhifə bildirir ki, Google-Extended Google-un skan etdiyi məzmunun Gemini modellərinin təlimi üçün, həmçinin Gemini Apps-də və Vertex AI-dakı Grounding with Google Search-də grounding üçün istifadə oluna bilib-bilmədiyinə nəzarət edir.

Google-Extended-in öz user agent sətri yoxdur. Google bildirir ki, skan mövcud user agent-lərlə aparılır və token yalnız robots.txt-də nəzarət vasitəsi kimi işləyir. Praktikada bu, Gemini-nin səhifənizdən istifadə etməsi üçün iki şərt yaradır: Google səhifəni indeksində saxlamalıdır və robots.txt onun üçün Google-Extended-i qadağan etməməlidir.

Google Gemini-nin indeksdəki səhifələrdən hansından istifadə etdiyini və ya hansına istinad etdiyini necə seçdiyini sənədləşdirmir. Hər iki şərtə cavab vermək səhifənizi əlçatan edir, amma Gemini-nin onu seçəcəyinə zəmanət vermir.

Google-un səhifəmi indeksləyib-indeksləmədiyini necə yoxlayım?

Google Search Console-dakı URL Inspection alətindən istifadə edin. İndekslənmiş versiya üçün o, bunları göstərir:

Test live URL səhifəni real vaxtda yükləyir, View tested page isə ekran görüntüsünü və Google-un aldığı HTML-i göstərir. Ekran görüntüsü challenge səhifəsidirsə və ya HTML-də əsas mətniniz yoxdursa, Google, onunla birlikdə Gemini də, məzmununuzu görmür. Request indexing Google-dan URL-i yenidən skan etməsini xahiş edir; Google bildirir ki, bu, adətən təxminən bir gün çəkir və indekslənməyə zəmanət yoxdur.

Google-Extended Gemini-nin saytımdan istifadəsinə mane olurmu?

robots.txt-inizi açın və Google-Extended adını çəkən qrupu axtarın. Oradakı Disallow: / Google-a səhifələrinizdən Gemini təlimi və ya Gemini Apps-də grounding üçün istifadə etməməyi deyir. Google bildirir ki, token Google Search-ə daxil olmağa təsir etmir və sıralama siqnalı deyil, buna görə bu blok asanlıqla gözdən qaçır: axtarış trafikiniz normal görünür, Gemini isə cavablarını səhifələrinizə əsaslandıra bilmir. AI Overviews və Google-Extended barədə ayrıca məqaləmiz tokenin Search-də nəyə nəzarət edib nəyə etmədiyini izah edir.

Token sorğularda heç vaxt görünmədiyi üçün onu curl ilə test edə və ya loglarda tapa bilməzsiniz. Yeganə yoxlama faylı oxumaqdır:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Uyğunlaşma böyük-kiçik hərfə həssas deyil və heç bir qrup Google-Extended adını çəkmirsə, ona * qrupu tətbiq olunur. Bir çox sayt bu bloku AI təlimi ilk dəfə müzakirə olunanda əlavə edib. 1,000 ən populyar domen üzrə araşdırmamızda robots.txt-i olan 518 saytdan 114-ü Google-Extended adını çəkib, 94-ü (18.1%) isə ana səhifəsini onun üçün qadağan edib. Bunun grounding-i də əhatə etdiyini nəzərə alaraq, hələ də istədiyinizə uyğun gəlib-gəlmədiyinə qərar verin.

Firewall brauzerləri buraxıb Google-u bloklaya bilərmi?

Bəli. Bot qoruması və ya rate limit Google botlarına 403, 429 və ya challenge səhifəsi ilə cavab verirsə, Google səhifəni skan edə bilmir və zamanla səhifə Search-dən, onunla birlikdə Gemini-nin grounding-indən çıxa bilər. Burada ən yaxşı test URL Inspection-dır, çünki Google səhifəni öz ünvanlarından yükləyir; kompüterinizdən curl testi yalnız qaydalarınızın user agent-ə necə yanaşdığını göstərir.

Google-a təhlükəsiz icazə vermək üçün ada güvənməyin, ziyarətçini təsdiqləyin. Google tərs DNS sorğusu və ardınca düz sorğunu sənədləşdirir, ümumi botlarının IP diapazonlarını isə common-crawlers.json-da dərc edir:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Nümunə ünvanı loglarınızdakı ünvanla əvəz edin. İki sorğu uyğun gəlmirsə, sorğu sadəcə özünü Google kimi təqdim edir.

Gemini-nin saytımdan istifadə edib-etmədiyini və ya ona istinad edib-etmədiyini necə görüm?

Saytınızın adını çəkmədən Gemini-yə alıcılarınızın verdiyi sualları verin və mənbələri açın. Google-un yardım mərkəzi bildirir ki, Sources düyməsi cavabın aşağısında və ya mətnin içində görünür və açıq saytlar daxil ola bilən əlaqəli keçidlər panelini açır. Sources düyməsi yoxdursa, Gemini həmin cavab üçün keçid verməyib və Google qeyd edir ki, bütün cavablarda keçid olmur. Hansı domenlərin göründüyünü qeyd edin və eyni sualları bir neçə həftə təkrarlayın.

Developerlər eyni testi Gemini API vasitəsilə Grounding with Google Search ilə apara bilər. Google bildirir ki, bu, modeli real vaxt veb məzmununa qoşur və grounding ilə verilən cavablarda hər mənbənin URL-i və başlığı olan istinadlar olur, beləliklə domeninizin görünüb-görünmədiyini yoxlaya bilərsiniz. API cavabları Gemini tətbiqinin göstərdiyindən fərqlənə bilər.

Gemini ilə bağlı bəzi yükləmələr serverinizə həqiqətən çatır. Google istifadəçinin başlatdığı yükləyiciləri sadalayır: məsələn, istifadəçilərin Gemini Notebook layihəsinə mənbə kimi əlavə etdiyi URL-ləri sorğulayan Google-GeminiNotebook və istifadəçinin tapşırığı ilə işləyən, Google infrastrukturundakı agentlərin istifadə etdiyi Google-Agent. Google bildirir ki, bu yükləyicilər adətən robots.txt-i nəzərə almır, çünki yükləməni istifadəçi istəyib. Onların ziyarətləri insanların səhifələrinizi həmin məhsullar vasitəsilə açdığını göstərir; bu, yuxarıda təsvir olunan grounding yolu deyil.

AI Overviews, AI Mode və snippet qaydaları Gemini-yə təsir edirmi?

AI Overviews və AI Mode öz nəzarət vasitələri olan Google Search funksiyalarıdır. Google səhifələrinizdən göstərilənləri məhdudlaşdırmaq üçün nosnippet, data-nosnippet, max-snippet və noindex-i sadalayır. Onun robots meta tag sənədi bildirir ki, nosnippet məzmunun AI Overviews və AI Mode üçün birbaşa giriş kimi istifadəsinin də qarşısını alır, max-snippet isə nə qədərinin istifadə oluna biləcəyini məhdudlaşdırır. Search Console-da həmçinin saytı AI Overviews, AI Mode və Discover-dəki generativ AI funksiyalarından çıxara bilən bütün sayt üçün Search generative AI ayarı var.

Bu səhifələrin heç biri Gemini tətbiqini xatırlatmır. Snippet qaydasının və ya Search Console ayarının Gemini-nin grounding-ini dəyişdiyini, yaxud Google-Extended-in AI Overviews-u dəyişdiyini güman etməyin. İstisna noindex-dir: Google-un grounding tərifinə görə Search indeksindən kənarda olan səhifə onun üçün istifadə oluna bilməz. Unutduğunuz snippet qaydalarını tapmaq üçün HTML-i və başlıqları (headers) yoxlayın:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

AISeeWhy bunu necə yoxlayır?

Pulsuz AISeeWhy yoxlaması səhifənizi real brauzerlə yanaşı Googlebot və digər AI və axtarış botları kimi yükləyir, robots.txt-inizi Google-Extended tokeni də daxil olmaqla hər birinə tətbiq edir, challenge səhifələrini tanıyır və JavaScript olmadan nə qədər mətnin gəldiyini göstərir. Sınaq dövründə və ödənişli planlarda olan AI-da görünürlük yoxlaması suallarınızı öz açarınızla Gemini API vasitəsilə Google Search grounding ilə verir və brendinizin və ya domeninizin çəkilib-çəkilmədiyini, ona istinad edilib-edilmədiyini göstərir. O, AI Overviews və ya AI Mode-u sorğulamır.

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Tez-tez verilən suallar

Gemini-nin saytımı görüb-görmədiyini pulsuz yoxlaya bilərəmmi?

Bəli. Search Console, site: axtarışı, robots.txt-niz və Gemini-də bir sual pulsuzdur. AISeeWhy-ın pulsuz yoxlaması gündə bir səhifə üçün Googlebot botunu, Google-Extended qaydasını və 14 digər botu yoxlayır.

Gemini-nin öz botu varmı?

Grounding üçün yoxdur. Google bildirir ki, Google-Extended-in user agent sətri yoxdur və skan mövcud botlarla aparılır. Google-GeminiNotebook və Google-Agent kimi istifadəçinin başlatdığı ayrıca yükləyicilər istifadəçi istəyəndə səhifələrə daxil olur və Google bildirir ki, onlar adətən robots.txt-i nəzərə almır.

Google-Extended-i bloklasam, Gemini yenə brendimin adını çəkə bilərmi?

Google bildirir ki, məzmununuzdan Gemini Apps-də grounding üçün istifadə etməyəcək. Bu qayda öz səhifələrinizi əhatə edir. Sizin haqqınızda yazan digər saytlardakı məzmun barədə Google heç nə demir, buna görə Gemini brendinizin adını həmin mənbələrdən yenə çəkə bilər.

robots.txt dəyişikliyi Gemini-yə nə qədər vaxta çatır?

Google Gemini üçün müddət göstərmir. Onun robots.txt sənədi bildirir ki, Google faylı adətən 24 saata qədər keşləyir, buna görə yenidən test etməzdən əvvəl ən azı bir gün gözləyin, Google-un nadir hallarda təkrar skan etdiyi səhifələr üçün isə daha çox.

AI Overviews və Gemini eyni mənbələrdən istifadə edirmi?

Google ikisinin necə əlaqəli olduğunu sənədləşdirmir. Hər ikisi Google indeksinə əsaslanır, amma nəzarət vasitələri fərqlidir: AI Overviews və AI Mode üçün snippet qaydaları və Search Console ayarı, Gemini grounding-i üçün isə Google-Extended. Onları ayrıca yoxlayın.

Gemini cavablarını zamanla necə izləyim?

Alıcı suallarının sabit siyahısını saxlayın, onları cədvəl üzrə Gemini-yə verin və mənbələrdə hansı domenlərin göründüyünü qeyd edin. AISeeWhy-ın AI-da görünürlük yoxlaması suallarınızı hər həftə Gemini API vasitəsilə Google Search grounding ilə verir və adınızın çəkilməsini dörd rəqibə qədər yanında göstərir. API nəticələri Gemini tətbiqindən fərqlənə bilər.

Mənbələr

Digər məqalələr