Gemini сайтымды көре ме? Қалай тексеруге болады

Жарияланды · Жаңартылды

Қысқа жауап

Gemini бетіңізді негізделген (grounded) жауапта бет Google Search индексінде болса және robots.txt Google-Extended токеніне тыйым салмаса ғана пайдалана алады. Google Gemini қолданбасындағы негіздеу модельге Google Search индексіндегі мазмұнды беретінін, ал оны осыған пайдалануға бола ма, соны Google-Extended басқаратынын айтады. Сондықтан индекстелуді Search Console-да, robots.txt-ті Googlebot және Google-Extended үшін тексеріңіз, содан кейін Gemini-ге сатып алушыларыңыздың сұрақтарын қойып, оның дереккөздерін ашыңыз.

Gemini-дің басқа ассистенттердікі сияқты журналдардан іздеуге болатын жеке краулері жоқ. Google беттерді бұрыннан бар краулерлерімен жинайды, ал Gemini бұл мазмұнмен не істей алатынын robots.txt токені шешеді. Сондықтан тексеру де басқаша: оның көбі Google Search Console мен robots.txt-те, ал соңғы қадамы Gemini-дің өзінде жасалады.

Осы бетте
  1. 5 минуттық тексеру, қадам бойынша
  2. Gemini веб-сайттардан ақпаратты қалай алады?
  3. Google бетімді индекстеген бе, қалай тексеремін?
  4. Google-Extended Gemini-ге сайтымды пайдалануға кедергі ме?
  5. Браузерлер өтсе де, файрвол Google-ды бұғаттай ма?
  6. Gemini сайтымды пайдалана ма, сілтеме бере ме, қалай көремін?
  7. AI Overviews, AI Mode және snippet ережелері Gemini-ге әсер ете ме?
  8. AISeeWhy мұны қалай тексереді?

5 минуттық тексеру, қадам бойынша

  1. Бет Google индексінде екенін растау үшін Google-да site: және бет мекенжайыңыз бойынша іздеңіз немесе Search Console-дағы URL Inspection құралын пайдаланыңыз.
  2. robots.txt файлыңызды ашып, Googlebot бетті ала алатынына және Google-Extended үшін тыйым жоқ екеніне көз жеткізіңіз, егер бас тартуды өзіңіз таңдамаған болсаңыз.
  3. AISeeWhy-да беттің тегін тексеруін іске қосыңыз немесе Googlebot user agent-імен бір сұрау жіберіңіз: ол 200 мәртебесін және браузермен бірдей мәтінді алуы керек.
  4. Gemini-ге бетіңіз жауап беретін сұрақ қойып, ол жауаптың астында көрсететін дереккөздерді ашыңыз.

Бет индекстелмеген болса, Gemini-дің негіздеуі (grounding) оны пайдалана алмайды, сондықтан 1-қадамнан бастаңыз. Төмендегі бөлімдер әр қадамды және ол өтпесе не істеу керегін түсіндіреді.

Gemini веб-сайттардан ақпаратты қалай алады?

Google-дың Gemini Apps Privacy Hub бетінде Gemini-дің кейбір жауаптары іздеу нәтижелеріне негізделетіні айтылған. Google краулерлер құжаттамасы негіздеуді (grounding) нақтылық пен өзектілікті арттыру үшін сұрау кезінде модельге Google Search индексінен мазмұн беру деп анықтайды. Сол бетте Google-Extended Google жинаған мазмұнды Gemini модельдерін оқытуға, Gemini Apps-та негіздеуге және Vertex AI-дағы Grounding with Google Search-ке пайдалануға бола ма, соны басқаратыны жазылған.

Google-Extended токенінің өз user agent жолы жоқ. Google беттерді бұрыннан бар user agent-тері жинайтынын, ал токен тек robots.txt-тегі басқару құралы ретінде жұмыс істейтінін айтады. Іс жүзінде бұл Gemini бетіңізді пайдалануы үшін екі шарт береді: бет Google индексінде болуы керек және robots.txt ол үшін Google-Extended токеніне тыйым салмауы керек.

Google Gemini индекстелген беттердің қайсысын пайдаланатынын немесе сілтеме беретінін қалай таңдайтынын құжаттамайды. Екі шартты орындау бетіңізді қолжетімді етеді, бірақ Gemini оны таңдайтынына кепілдік бермейді.

Google бетімді индекстеген бе, қалай тексеремін?

Google Search Console-дағы URL тексеру құралын (URL Inspection) пайдаланыңыз. Индекстелген нұсқа үшін ол мыналарды көрсетеді:

Test live URL бетті нақты уақытта алады, ал View tested page скриншотты және Google алған HTML-ді көрсетеді. Скриншотта тексеру беті болса немесе HTML-де негізгі мәтін жоқ болса, Google, демек Gemini де, мазмұныңызды көрмейді. Request indexing Google-дан URL-ді қайта жинауды сұрайды; Google бұл әдетте шамамен бір күн алатынын және индекстеуге кепілдік жоқ екенін айтады.

Google-Extended Gemini-ге сайтымды пайдалануға кедергі ме?

robots.txt ашып, Google-Extended аталған топты іздеңіз. Ондағы Disallow: / Google-ға беттеріңізді Gemini-ді оқытуға немесе Gemini Apps-та негіздеуге пайдаланбауды айтады. Google бұл токен Google Search-ке енуге әсер етпейтінін және рейтинг сигналы емес екенін айтады, сондықтан бұл бұғаттауды байқамай қалу оңай: іздеу трафигіңіз қалыпты көрінеді, ал Gemini жауаптарды беттеріңізге негіздей алмайды. Токен Search-те нені басқаратынын және нені басқармайтынын AI Overviews пен Google-Extended туралы жеке мақаламыз түсіндіреді.

Токен сұрауларда ешқашан көрінбейтіндіктен, оны curl арқылы тексере алмайсыз және журналдардан таба алмайсыз. Жалғыз тексеру — файлды оқу:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Салыстыру регистрге тәуелді емес, ал ешбір топ Google-Extended токенін атамаса, оған * тобы қолданылады. Көп сайт бұл бұғаттауды ЖИ оқыту туралы алғаш талқылана бастағанда қосқан. Ең танымал 1000 доменді зерттеуімізде robots.txt бар 518 сайттың 114-і Google-Extended токенін атаған, ал 94-і (18,1%) ол үшін басты бетке тыйым салған. Бұл негіздеуді де қамтитынын ескеріп, ол әлі де қалағаныңызға сай ма, шешіңіз.

Браузерлер өтсе де, файрвол Google-ды бұғаттай ма?

Иә. Бот қорғанысы немесе сұрау жиілігін шектеу Google краулерлеріне 403, 429 немесе тексеру бетімен жауап берсе, Google бетті жинай алмайды, ал уақыт өте бет Search-тен, онымен бірге Gemini негіздеуінен де шығып қалуы мүмкін. Мұнда ең жақсы тест — URL Inspection, өйткені Google бетті өз мекенжайларынан алады; компьютеріңізден жасалған curl тесті тек ережелеріңіз user agent-ті қалай өңдейтінін көрсетеді.

Google-ға қауіпсіз рұқсат беру үшін атауға сенбей, келушіні тексеріңіз. Google кері DNS сұрауынан кейін тура сұрау жасауды сипаттайды және негізгі краулерлерінің IP ауқымдарын common-crawlers.json файлында жариялайды:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Мысалдағы мекенжайды журналдарыңыздағы мекенжаймен ауыстырыңыз. Екі сұраудың нәтижесі сәйкес келмесе, сұрау өзін Google деп қана атайды.

Gemini сайтымды пайдалана ма, сілтеме бере ме, қалай көремін?

Сайтыңызды атамай, Gemini-ге сатып алушыларыңыз қоятын сұрақтарды қойып, дереккөздерді ашыңыз. Google анықтама орталығының айтуынша, Sources түймесі жауаптың төменгі жағында немесе мәтін ішінде пайда болады және ашық веб-сайттарды қамтуы мүмкін байланысты сілтемелер панелін ашады. Sources түймесі болмаса, Gemini бұл жауап үшін сілтеме бермеген, ал Google барлық жауапта сілтеме бола бермейтінін атап өтеді. Қай домендер шыққанын жазып, сол сұрақтарды бірнеше апта бойы қайталаңыз.

Әзірлеушілер дәл сол тестті Gemini API арқылы Grounding with Google Search көмегімен жасай алады. Google бұл модельді нақты уақыттағы веб-мазмұнмен байланыстыратынын, ал негізделген жауаптарда әр дереккөздің URL-і мен тақырыбы бар сілтемелер болатынын айтады, сондықтан доменіңіз шыға ма, тексере аласыз. API жауаптары Gemini қолданбасы көрсететіннен өзгеше болуы мүмкін.

Gemini-ге қатысты кейбір сұраулар серверіңізге шынымен жетеді. Google пайдаланушы іске қосатын fetcher-лерді атайды: пайдаланушылар Gemini Notebook жобасына дереккөз ретінде қосқан URL-дерді сұрайтын Google-GeminiNotebook және Google инфрақұрылымында пайдаланушы өтініші бойынша әрекет ететін агенттер пайдаланатын Google-Agent. Google бұл fetcher-лер әдетте robots.txt-ті елемейтінін айтады, өйткені сұрауды пайдаланушы жасаған. Олардың келуі адамдар беттеріңізді сол өнімдер арқылы ашатынын көрсетеді; бұл жоғарыда сипатталған негіздеу жолы емес.

AI Overviews, AI Mode және snippet ережелері Gemini-ге әсер ете ме?

AI Overviews пен AI Mode — өз басқару құралдары бар Google Search функциялары. Google беттеріңізден көрсетілетін нәрсені шектеу жолдары ретінде nosnippet, data-nosnippet, max-snippet және noindex атайды. Оның robots meta тегі құжаттамасында nosnippet мазмұнның AI Overviews пен AI Mode үшін тікелей кіріс ретінде пайдаланылуына да жол бермейтіні, ал max-snippet қаншасын пайдалануға болатынын шектейтіні айтылған. Search Console-да сайтты AI Overviews, AI Mode және Discover-дегі генеративтік ЖИ функцияларынан шығара алатын, бүкіл сайтқа қолданылатын Search генеративтік ЖИ баптауы да бар.

Бұл беттердің ешқайсысы Gemini қолданбасын атамайды. Snippet ережесі немесе Search Console баптауы Gemini негіздеуін өзгертеді, не Google-Extended AI Overviews-ты өзгертеді деп ойламаңыз. Ерекшелік — noindex: Google-дың негіздеу анықтамасы бойынша Search индексінен тыс бет оған пайдаланыла алмайды. Ұмытылған snippet ережелерін табу үшін HTML мен тақырыптамаларды (headers) тексеріңіз:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

AISeeWhy мұны қалай тексереді?

Тегін AISeeWhy тексеруі бетіңізді нақты браузермен қатар Googlebot және басқа ЖИ және іздеу краулерлері ретінде сұрайды, әрқайсысына robots.txt файлыңызды, оның ішінде Google-Extended токенін қолданады, тексеру беттерін таниды және JavaScript-сіз қанша мәтін келетінін көрсетеді. Сынақ кезеңі мен ақылы тарифтердегі ЖИ-дегі көрінім тексеруі сұрақтарыңызды сіздің өз кілтіңізбен Google Search негіздеуі қосулы Gemini API арқылы қояды және брендіңіз немесе доменіңіз аталды ма, дереккөз ретінде көрсетілді ме, соны көрсетеді. Ол AI Overviews пен AI Mode-қа сұрау жібермейді.

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

Gemini сайтымды көре ме, соны тегін тексере аламын ба?

Иә. Search Console, site: іздеуі, robots.txt файлыңыз және Gemini-дегі сұрақ тегін. AISeeWhy-дің тегін тексеруі күніне бір бет үшін Googlebot, Google-Extended ережесін және тағы 14 краулерді тексереді.

Gemini-дің өз краулері бар ма?

Негіздеу үшін жоқ. Google Google-Extended токенінің user agent жолы жоқ екенін және беттерді бұрыннан бар краулерлері жинайтынын айтады. Google-GeminiNotebook және Google-Agent сияқты пайдаланушы іске қосатын бөлек fetcher-лер беттерге пайдаланушы сұрағанда келеді, ал Google олар әдетте robots.txt-ті елемейтінін айтады.

Google-Extended-ті бұғаттасам, Gemini брендімді бәрібір атай ала ма?

Google мазмұныңызды Gemini Apps-та негіздеуге пайдаланбайтынын айтады. Бұл ереже өз беттеріңізге қатысты. Google сіз туралы жазатын басқа сайттардағы мазмұн туралы ештеңе айтпайды, сондықтан Gemini брендіңізді сол дереккөздерден бәрібір атауы мүмкін.

robots.txt өзгерісі Gemini-ге қанша уақытта жетеді?

Google Gemini үшін мерзімін айтпайды. Оның robots.txt құжаттамасында Google файлды әдетте 24 сағатқа дейін кэштейтіні айтылған, сондықтан қайта тексермес бұрын кемінде бір күн, ал Google сирек қайта жинайтын беттер үшін одан да ұзақ күтіңіз.

AI Overviews пен Gemini бірдей дереккөздерді пайдалана ма?

Google олардың қалай байланысатынын құжаттамайды. Екеуі де Google индексіне сүйенеді, бірақ басқару құралдары әртүрлі: AI Overviews пен AI Mode үшін snippet ережелері мен Search Console баптауы, ал Gemini негіздеуі үшін Google-Extended. Оларды бөлек тексеріңіз.

Gemini жауаптарын уақыт бойы қалай бақылаймын?

Сатып алушы сұрақтарының тұрақты тізімін жасап, оларды Gemini-ге кесте бойынша қойыңыз және дереккөздерде қай домендер шығатынын жазыңыз. AISeeWhy-дің ЖИ-дегі көрінім тексеруі сұрақтарыңызды апта сайын Google Search негіздеуі бар Gemini API арқылы іске қосады және аталуларды төрт бәсекелеске дейін қатар көрсетеді. API нәтижелері Gemini қолданбасынан өзгеше болуы мүмкін.

Дереккөздер

Басқа мақалалар