Gemini-ն տեսնո՞ւմ է իմ կայքը. ինչպես ստուգել

Հրապարակված է · Թարմացված է

Կարճ պատասխան

Gemini-ն կարող է օգտագործել ձեր էջը grounding-ով պատասխանում միայն այն դեպքում, եթե էջը Google-ի որոնման ինդեքսում է, և ձեր robots.txt-ը չի արգելում Google-Extended նշանը։ Google-ն ասում է, որ Gemini հավելվածում grounding-ը մոդելին տալիս է բովանդակություն Google Search-ի ինդեքսից, և որ Google-Extended-ը վերահսկում է, թե արդյոք ձեր բովանդակությունը կարող է օգտագործվել դրա համար։ Ուստի ստուգեք ինդեքսավորումը Search Console-ում, ստուգեք robots.txt-ը Googlebot-ի և Google-Extended-ի համար, ապա Gemini-ին տվեք ձեր գնորդների հարցերը և բացեք նրա աղբյուրները։

Gemini-ն չունի ռոբոտ, որին կարող եք հետևել ձեր լոգերում, ինչպես այլ օգնականների դեպքում։ Google-ը շրջանցում է իր գոյություն ունեցող ռոբոտներով, իսկ robots.txt-ի նշանը որոշում է, թե Gemini-ն ինչ կարող է անել բովանդակության հետ։ Դա ստուգումը դարձնում է այլ. դրա մեծ մասը կատարվում է Google Search Console-ում և ձեր robots.txt-ում, իսկ վերջին քայլը՝ հենց Gemini-ում։

Այս էջում
  1. 5 րոպեանոց ստուգում՝ քայլ առ քայլ
  2. Ինչպե՞ս է Gemini-ն տեղեկություն ստանում կայքերից
  3. Ինչպե՞ս ստուգել, արդյոք Google-ը ինդեքսավորել է իմ էջը
  4. Google-Extended-ը խանգարո՞ւմ է Gemini-ին օգտագործել իմ կայքը
  5. Կարո՞ղ է ֆայրվոլն արգելափակել Google-ին, մինչդեռ բրաուզերներն անցնում են
  6. Ինչպե՞ս տեսնել, թե արդյոք Gemini-ն օգտագործում կամ մեջբերում է իմ կայքը
  7. AI Overviews-ը, AI Mode-ը և snippet-ի կանոններն ազդո՞ւմ են Gemini-ի վրա
  8. Ինչպե՞ս է AISeeWhy-ը ստուգում սա

5 րոպեանոց ստուգում՝ քայլ առ քայլ

  1. Որոնեք Google-ում site: և ձեր էջի հասցեն կամ օգտագործեք URL Inspection-ը Search Console-ում՝ համոզվելու, որ էջը Google-ի ինդեքսում է։
  2. Բացեք ձեր robots.txt-ը և համոզվեք, որ Googlebot-ը կարող է բեռնել էջը, և Google-Extended-ը արգելված չէ, եթե միայն դուք գիտակցաբար չեք հրաժարվել։
  3. Գործարկեք էջի անվճար ստուգումը AISeeWhy-ում կամ ուղարկեք մեկ հարցում Googlebot user agent-ով. այն պետք է ստանա 200 կարգավիճակ և նույն տեքստը, ինչ բրաուզերը։
  4. Տվեք Gemini-ին մի հարց, որին պատասխանում է ձեր էջը, և բացեք այն աղբյուրները, որոնք նա ցույց է տալիս պատասխանի տակ։

Եթե էջը ինդեքսավորված չէ, Gemini-ի grounding-ը չի կարող այն օգտագործել, ուստի սկսեք 1-ին քայլից։ Ստորև բաժինները բացատրում են յուրաքանչյուր քայլ և ինչ անել, երբ այն ձախողվում է։

Ինչպե՞ս է Gemini-ն տեղեկություն ստանում կայքերից

Google-ի Gemini Apps Privacy Hub-ն ասում է, որ Gemini-ի որոշ պատասխաններ հիմնված են (grounded) Search-ի արդյունքների վրա։ Google-ի ռոբոտների փաստաթղթերը grounding-ը սահմանում են որպես Google Search-ի ինդեքսից բովանդակության տրամադրում մոդելին հարցման պահին՝ փաստացիությունն ու համապատասխանությունը բարելավելու համար։ Նույն էջն ասում է, որ Google-Extended-ը վերահսկում է, թե արդյոք Google-ի շրջանցած բովանդակությունը կարող է օգտագործվել Gemini մոդելների ուսուցման և Gemini Apps-ում ու Vertex AI-ի Grounding with Google Search-ում grounding-ի համար։

Google-Extended-ը սեփական user agent տող չունի։ Google-ն ասում է, որ շրջանցումը կատարվում է իր գոյություն ունեցող user agent-ներով, և նշանն աշխատում է միայն robots.txt-ում՝ որպես կարգավորում։ Գործնականում սա Gemini-ի կողմից ձեր էջի օգտագործման համար տալիս է երկու պայման. Google-ը պետք է այն ունենա իր ինդեքսում, և ձեր robots.txt-ը չպետք է արգելի Google-Extended-ին դրա համար։

Google-ը չի փաստաթղթավորում, թե Gemini-ն ինչպես է ընտրում, որ ինդեքսավորված էջերն օգտագործել կամ մեջբերել։ Երկու պայմաններն էլ բավարարելը ձեր էջը հասանելի է դարձնում, բայց չի երաշխավորում, որ Gemini-ն այն կընտրի։

Ինչպե՞ս ստուգել, արդյոք Google-ը ինդեքսավորել է իմ էջը

Օգտագործեք Google Search Console-ի URL Inspection գործիքը։ Ինդեքսավորված տարբերակի համար այն ցույց է տալիս.

Test live URL-ը բեռնում է էջը իրական ժամանակում, իսկ View tested page-ը ցույց է տալիս սքրինշոթ և Google-ի ստացած HTML-ը։ Եթե սքրինշոթում ստուգման էջ է, կամ HTML-ում ձեր հիմնական տեքստը չկա, Google-ը, իսկ նրա հետ նաև Gemini-ն, ձեր բովանդակությունը չի տեսնում։ Request indexing-ը Google-ին խնդրում է նորից շրջանցել URL-ը. Google-ն ասում է, որ դա սովորաբար տևում է մոտ մեկ օր՝ առանց ինդեքսավորման երաշխիքի։

Google-Extended-ը խանգարո՞ւմ է Gemini-ին օգտագործել իմ կայքը

Բացեք ձեր robots.txt-ը և փնտրեք խումբ, որն անվանում է Google-Extended-ին։ Այնտեղ Disallow: /-ը Google-ին ասում է չօգտագործել ձեր էջերը Gemini-ի ուսուցման կամ Gemini Apps-ում grounding-ի համար։ Google-ն ասում է, որ նշանը չի ազդում Google Search-ում ներառման վրա և դասակարգման ազդանշան չէ, ուստի այս արգելափակումը հեշտ է բաց թողնել. ձեր որոնողական երթևեկը նորմալ է թվում, մինչդեռ Gemini-ն չի կարող պատասխանները հիմնել ձեր էջերի վրա։ AI Overviews-ի և Google-Extended-ի մասին մեր առանձին հոդվածը նկարագրում է, թե նշանն ինչ է վերահսկում Search-ում և ինչ՝ ոչ։

Քանի որ նշանը երբեք չի հայտնվում հարցումներում, այն չեք կարող փորձարկել curl-ով կամ գտնել լոգերում։ Ֆայլը կարդալը միակ ստուգումն է.

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Համեմատումը մեծատառ-փոքրատառ չի տարբերում, և եթե ոչ մի խումբ չի անվանում Google-Extended-ին, նրա նկատմամբ կիրառվում է * խումբը։ Շատ կայքեր ավելացրել են այս արգելափակումը, երբ AI ուսուցումն առաջին անգամ քննարկվում էր։ Ամենահայտնի 1 000 դոմենների մեր ուսումնասիրության մեջ robots.txt ունեցող 518 կայքերից 114-ն անվանում էին Google-Extended-ին, և 94-ը (18,1%) արգելում էին նրա համար գլխավոր էջը։ Որոշեք, թե արդյոք դա դեռ համապատասխանում է ձեր ցանկությանը՝ հաշվի առնելով, որ այն ընդգրկում է նաև grounding-ը։

Կարո՞ղ է ֆայրվոլն արգելափակել Google-ին, մինչդեռ բրաուզերներն անցնում են

Այո։ Եթե բոտերից պաշտպանությունը կամ արագության սահմանափակումը Google-ի ռոբոտներին պատասխանում է 403-ով, 429-ով կամ ստուգման էջով, Google-ը չի կարող շրջանցել էջը, և ժամանակի ընթացքում այն կարող է դուրս ընկնել Search-ից, իսկ դրա հետ էլ՝ Gemini-ի grounding-ից։ Այստեղ լավագույն թեստը URL Inspection-ն է, քանի որ Google-ը բեռնում է իր սեփական հասցեներից. ձեր համակարգչից curl թեստը ցույց է տալիս միայն, թե ձեր կանոններն ինչպես են վերաբերվում user agent-ին։

Google-ին անվտանգ թույլատրելու համար հաստատեք այցելուին, այլ ոչ թե վստահեք անվանը։ Google-ը փաստաթղթավորում է հակադարձ DNS որոնում, որին հաջորդում է ուղիղ որոնում, և հրապարակում է իր սովորական ռոբոտների IP տիրույթները common-crawlers.json-ում.

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Օրինակի հասցեն փոխարինեք ձեր լոգերից վերցված հասցեով։ Եթե երկու որոնումները չեն համընկնում, հարցումը միայն պնդում է, թե Google-ից է։

Ինչպե՞ս տեսնել, թե արդյոք Gemini-ն օգտագործում կամ մեջբերում է իմ կայքը

Gemini-ին տվեք ձեր գնորդների հարցերը՝ առանց ձեր կայքը նշելու, և բացեք աղբյուրները։ Google-ի օգնության կենտրոնն ասում է, որ Sources կոճակը հայտնվում է պատասխանի ներքևում կամ տեքստի մեջ և բացում է առնչվող հղումների վահանակ, որը կարող է ներառել հանրային կայքեր։ Եթե Sources կոճակ չկա, Gemini-ն այդ պատասխանի համար հղումներ չի տրամադրել, և Google-ը նշում է, որ ոչ բոլոր պատասխաններն են դրանք ներառում։ Գրանցեք, թե որ դոմեններն են հայտնվում, և կրկնեք նույն հարցերը մի քանի շաբաթվա ընթացքում։

Մշակողները կարող են նույն թեստն անել Gemini API-ի միջոցով՝ Grounding with Google Search-ով։ Google-ն ասում է, որ այն մոդելը կապում է իրական ժամանակի վեբ բովանդակության հետ, և grounding-ով պատասխաններն ունեն մեջբերումներ՝ յուրաքանչյուր աղբյուրի URL-ով և վերնագրով, ուստի կարող եք ստուգել, թե արդյոք ձեր դոմենը հայտնվում է։ API-ի պատասխանները կարող են տարբերվել Gemini հավելվածում ցուցադրվողից։

Gemini-ի հետ կապված որոշ բեռնումներ հասնում են ձեր սերվերին։ Google-ը թվարկում է օգտատիրոջ նախաձեռնած բեռնիչներ, ինչպիսիք են Google-GeminiNotebook-ը, որը հարցում է URL-ներ, որոնք օգտատերերն ավելացնում են որպես աղբյուր Gemini Notebook նախագծում, և Google-Agent-ը, որն օգտագործում են Google-ի ենթակառուցվածքի գործակալները, որոնք գործում են օգտատիրոջ խնդրանքով։ Google-ն ասում է, որ այս բեռնիչները սովորաբար անտեսում են robots.txt-ը, քանի որ բեռնումը խնդրել է օգտատերը։ Նրանց այցերը ցույց են տալիս, որ մարդիկ բացում են ձեր էջերը այդ արտադրանքների միջոցով. դրանք վերը նկարագրված grounding-ի ուղին չեն։

AI Overviews-ը, AI Mode-ը և snippet-ի կանոններն ազդո՞ւմ են Gemini-ի վրա

AI Overviews-ը և AI Mode-ը Google Search-ի գործառույթներ են՝ իրենց սեփական կարգավորումներով։ Google-ը nosnippet-ը, data-nosnippet-ը, max-snippet-ը և noindex-ը թվարկում է որպես ձեր էջերից ցուցադրվողը սահմանափակելու միջոցներ։ Նրա robots meta թեգի փաստաթղթերն ասում են, որ nosnippet-ը նաև կանխում է բովանդակության օգտագործումը որպես ուղիղ մուտքային տվյալ AI Overviews-ի և AI Mode-ի համար, և որ max-snippet-ը սահմանափակում է, թե որքան կարող է օգտագործվել։ Search Console-ն ունի նաև ամբողջ կայքի համար Search generative AI կարգավորում, որը կարող է կայքը բացառել AI Overviews-ից, AI Mode-ից և Discover-ի գեներատիվ AI գործառույթներից։

Այս էջերից ոչ մեկը չի նշում Gemini հավելվածը։ Մի ենթադրեք, որ snippet-ի կանոնը կամ Search Console-ի կարգավորումը փոխում է Gemini-ի grounding-ը, կամ որ Google-Extended-ը փոխում է AI Overviews-ը։ Բացառությունը noindex-ն է. ըստ grounding-ի Google-ի սահմանման՝ Search-ի ինդեքսից դուրս էջը չի կարող դրա համար օգտագործվել։ Մոռացված snippet-ի կանոնները գտնելու համար ստուգեք HTML-ը և HTTP վերնագրերը.

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Ինչպե՞ս է AISeeWhy-ը ստուգում սա

AISeeWhy-ի անվճար ստուգումը բեռնում է ձեր էջը որպես Googlebot և մյուս AI ու որոնողական ռոբոտները՝ իրական բրաուզերի կողքին, յուրաքանչյուրի նկատմամբ կիրառում է ձեր robots.txt-ը, ներառյալ Google-Extended նշանը, ճանաչում է ստուգման էջերը և ցույց է տալիս, թե որքան տեքստ է հասնում առանց JavaScript-ի։ «Տեսանելիություն AI-ում» ստուգումը՝ վճարովի պլաններում, ձեր հարցերը տալիս է Gemini API-ի միջոցով՝ Google Search grounding-ով և ձեր սեփական բանալիով, և ցույց է տալիս, թե արդյոք ձեր բրենդը կամ դոմենը նշված է կամ մեջբերված։ Այն հարցումներ չի ուղարկում AI Overviews-ին կամ AI Mode-ին։

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

Կարո՞ղ եմ անվճար ստուգել, թե արդյոք Gemini-ն տեսնում է իմ կայքը

Այո։ Search Console-ը, site: որոնումը, ձեր robots.txt-ը և հարցը Gemini-ում ոչինչ չարժեն։ AISeeWhy-ի անվճար ստուգումը փորձարկում է Googlebot-ը, Google-Extended-ի կանոնը և 14 այլ ռոբոտներ մեկ էջի համար օրը մեկ անգամ։

Gemini-ն ունի՞ իր սեփական ռոբոտը

Grounding-ի համար՝ ոչ։ Google-ն ասում է, որ Google-Extended-ը user agent տող չունի, և որ շրջանցումը կատարվում է իր գոյություն ունեցող ռոբոտներով։ Օգտատիրոջ նախաձեռնած առանձին բեռնիչներ, ինչպիսիք են Google-GeminiNotebook-ը և Google-Agent-ը, այցելում են էջեր, երբ օգտատերը խնդրում է, և Google-ն ասում է, որ դրանք սովորաբար անտեսում են robots.txt-ը։

Եթե արգելափակեմ Google-Extended-ին, Gemini-ն դեռ կարո՞ղ է նշել իմ բրենդը

Google-ն ասում է, որ չի օգտագործի ձեր բովանդակությունը Gemini Apps-ում grounding-ի համար։ Այդ կանոնը ընդգրկում է ձեր սեփական էջերը։ Google-ը ոչինչ չի ասում ձեր մասին գրող այլ կայքերի բովանդակության մասին, ուստի Gemini-ն դեռ կարող է նշել ձեր բրենդը այդ աղբյուրներից։

Որքա՞ն ժամանակում է robots.txt-ի փոփոխությունը հասնում Gemini-ին

Google-ը Gemini-ի համար ժամկետ չի նշում։ Նրա robots.txt-ի փաստաթղթերն ասում են, որ Google-ը սովորաբար ֆայլը քեշավորում է մինչև 24 ժամ, ուստի նորից փորձարկելուց առաջ սպասեք առնվազն մեկ օր, իսկ այն էջերի համար, որոնք Google-ը հազվադեպ է վերաշրջանցում, ավելի երկար։

AI Overviews-ը և Gemini-ն օգտագործո՞ւմ են նույն աղբյուրները

Google-ը չի փաստաթղթավորում, թե ինչպես են դրանք կապված։ Երկուսն էլ հենվում են Google-ի ինդեքսի վրա, բայց ունեն տարբեր կարգավորումներ. snippet-ի կանոններն ու Search Console-ի կարգավորումը AI Overviews-ի և AI Mode-ի համար, և Google-Extended-ը Gemini-ի grounding-ի համար։ Ստուգեք դրանք առանձին։

Ինչպե՞ս հետևել Gemini-ի պատասխաններին ժամանակի ընթացքում

Պահեք գնորդների հարցերի ֆիքսված ցանկ, պարբերաբար տվեք դրանք Gemini-ին և գրանցեք, թե որ դոմեններն են հայտնվում աղբյուրներում։ AISeeWhy-ի «Տեսանելիություն AI-ում» ստուգումը ձեր հարցերն ամեն շաբաթ տալիս է Gemini API-ի միջոցով՝ Google Search grounding-ով, և ցույց է տալիս նշումները մինչև չորս մրցակիցների կողքին։ API-ի արդյունքները կարող են տարբերվել Gemini հավելվածից։

Աղբյուրներ

Այլ հոդվածներ