ხედავს თუ არა Gemini ჩემს საიტს? როგორ შევამოწმოთ

გამოქვეყნდა · განახლდა

მოკლე პასუხი

Gemini-ს თქვენი გვერდის გამოყენება grounding-ით გაცემულ პასუხში მხოლოდ მაშინ შეუძლია, თუ გვერდი Google Search-ის ინდექსშია და თქვენი robots.txt არ კრძალავს Google-Extended ტოკენს. Google-ის თქმით, Gemini-ის აპში grounding მოდელს Google Search-ის ინდექსიდან აწვდის კონტენტს, ხოლო Google-Extended განსაზღვრავს, შეიძლება თუ არა თქვენი კონტენტის ამისთვის გამოყენება. ამიტომ შეამოწმეთ ინდექსაცია Search Console-ში, robots.txt Googlebot-ისა და Google-Extended-ისთვის, შემდეგ კი დაუსვით Gemini-ს თქვენი მყიდველების კითხვები და გახსენით მისი წყაროები.

Gemini-ს არ აქვს კრაულერი, რომელსაც ლოგებში ისე მოძებნით, როგორც სხვა ასისტენტებისას. Google არსებული კრაულერებით აგროვებს გვერდებს, ხოლო robots.txt-ის ტოკენი წყვეტს, რისი გაკეთება შეუძლია Gemini-ს ამ კონტენტით. ამიტომ შემოწმებაც სხვაგვარია: მისი უმეტესი ნაწილი Google Search Console-სა და თქვენს robots.txt-ში ხდება, ბოლო ნაბიჯი კი თავად Gemini-ში.

ამ გვერდზე
  1. 5-წუთიანი შემოწმება, ნაბიჯ-ნაბიჯ
  2. როგორ იღებს Gemini ინფორმაციას ვებსაიტებიდან?
  3. როგორ შევამოწმო, ინდექსირებულია თუ არა ჩემი გვერდი Google-ში?
  4. უშლის თუ არა Google-Extended Gemini-ს ჩემი საიტის გამოყენებას?
  5. შეუძლია თუ არა ფაირვოლს Google-ის დაბლოკვა, როცა ბრაუზერები გადიან?
  6. როგორ ვნახო, იყენებს ან ციტირებს თუ არა Gemini ჩემს საიტს?
  7. მოქმედებს თუ არა AI Overviews, AI Mode და ფრაგმენტების წესები Gemini-ზე?
  8. როგორ ამოწმებს ამას AISeeWhy?

5-წუთიანი შემოწმება, ნაბიჯ-ნაბიჯ

  1. მოძებნეთ Google-ში site: და თქვენი გვერდის მისამართი, ან გამოიყენეთ URL Inspection Search Console-ში, რომ დარწმუნდეთ, რომ გვერდი Google-ის ინდექსშია.
  2. გახსენით თქვენი robots.txt და დარწმუნდით, რომ Googlebot-ს შეუძლია გვერდის მიღება და Google-Extended აკრძალული არ არის, თუ ამაზე შეგნებულად არ თქვით უარი.
  3. გაუშვით გვერდის უფასო შემოწმება AISeeWhy-ზე ან გააგზავნეთ ერთი მოთხოვნა Googlebot user agent-ით: მან უნდა მიიღოს სტატუსი 200 და იგივე ტექსტი, რაც ბრაუზერმა.
  4. დაუსვით Gemini-ს კითხვა, რომელსაც თქვენი გვერდი პასუხობს, და გახსენით წყაროები, რომლებსაც ის პასუხის ქვემოთ აჩვენებს.

თუ გვერდი ინდექსირებული არ არის, Gemini-ის grounding მას ვერ გამოიყენებს, ამიტომ დაიწყეთ 1-ლი ნაბიჯით. ქვემოთ მოცემული სექციები თითოეულ ნაბიჯს ხსნის და გეტყვით, რა გააკეთოთ, თუ ის ვერ სრულდება.

როგორ იღებს Gemini ინფორმაციას ვებსაიტებიდან?

Google-ის Gemini Apps Privacy Hub-ის თანახმად, Gemini-ის ზოგიერთი პასუხი ძიების შედეგებს ეფუძნება (grounding). Google-ის კრაულერების დოკუმენტაცია grounding-ს განმარტავს, როგორც მოდელისთვის Google Search-ის ინდექსიდან კონტენტის მიწოდებას მოთხოვნის დროს, ფაქტობრივი სიზუსტისა და რელევანტურობის გასაუმჯობესებლად. იმავე გვერდზე წერია, რომ Google-Extended განსაზღვრავს, შეიძლება თუ არა Google-ის მიერ შეგროვებული კონტენტის გამოყენება Gemini-ის მოდელების სწავლებისთვის, Gemini Apps-ში grounding-ისთვის და Vertex AI-ში Grounding with Google Search-ისთვის.

Google-Extended-ს საკუთარი user agent-ის სტრიქონი არ აქვს. Google-ის თქმით, გვერდებს მისი არსებული user agent-ები აგროვებს, ტოკენი კი მხოლოდ robots.txt-ში მოქმედებს, როგორც მართვის საშუალება. პრაქტიკაში ეს ნიშნავს ორ პირობას, რომ Gemini-მ თქვენი გვერდი გამოიყენოს: ის Google-ის ინდექსში უნდა იყოს და თქვენი robots.txt ამ გვერდისთვის Google-Extended-ს არ უნდა კრძალავდეს.

Google არ აღწერს, როგორ ირჩევს Gemini, რომელი ინდექსირებული გვერდები გამოიყენოს ან ციტირება გაუკეთოს. ორივე პირობის შესრულება თქვენს გვერდს ხელმისაწვდომს ხდის, მაგრამ არ იძლევა გარანტიას, რომ Gemini მას აირჩევს.

როგორ შევამოწმო, ინდექსირებულია თუ არა ჩემი გვერდი Google-ში?

გამოიყენეთ URL-ის შემოწმების ხელსაწყო (URL Inspection) Google Search Console-ში. ინდექსირებული ვერსიისთვის ის აჩვენებს:

Test live URL გვერდს რეალურ დროში იღებს, ხოლო View tested page აჩვენებს ეკრანის სურათს და HTML-ს, რომელიც Google-მა მიიღო. თუ ეკრანის სურათზე ჩელენჯის გვერდია ან HTML-ში თქვენი მთავარი ტექსტი არ არის, Google, და მასთან ერთად Gemini, თქვენს კონტენტს ვერ ხედავს. Request indexing Google-ს URL-ის ხელახლა შეგროვებას სთხოვს; Google-ის თქმით, ამას ჩვეულებრივ დაახლოებით ერთი დღე სჭირდება და ინდექსაცია გარანტირებული არ არის.

უშლის თუ არა Google-Extended Gemini-ს ჩემი საიტის გამოყენებას?

გახსენით robots.txt და მოძებნეთ ჯგუფი, რომელიც Google-Extended-ს ასახელებს. იქ არსებული Disallow: / Google-ს ეუბნება, არ გამოიყენოს თქვენი გვერდები Gemini-ის სწავლებისთვის ან Gemini Apps-ში grounding-ისთვის. Google-ის თქმით, ტოკენი Google Search-ში ჩართვაზე გავლენას არ ახდენს და რანჟირების სიგნალი არ არის, ამიტომ ამ ბლოკის შემჩნევა ადვილი არ არის: საძიებო ტრაფიკი ჩვეულებრივად გამოიყურება, Gemini კი პასუხებს თქვენს გვერდებს ვერ აფუძნებს. რას მართავს და რას არა ეს ტოკენი Search-ში, ამის შესახებ ჩვენს ცალკე სტატიაშია AI Overviews-სა და Google-Extended-ზე.

რადგან ტოკენი მოთხოვნებში არასოდეს ჩანს, მას curl-ით ვერ გამოსცდით და ლოგებში ვერ იპოვით. ერთადერთი შემოწმება ფაილის წაკითხვაა:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

შედარებისას რეგისტრს მნიშვნელობა არ აქვს, ხოლო თუ არცერთი ჯგუფი არ ასახელებს Google-Extended-ს, მასზე * ჯგუფი ვრცელდება. ბევრმა საიტმა ეს ბლოკი მაშინ დაამატა, როცა AI სწავლებაზე საუბარი ახლად დაიწყო. 1000 ყველაზე პოპულარული დომენის ჩვენს კვლევაში robots.txt-ის მქონე 518 საიტიდან 114 ასახელებდა Google-Extended-ს და 94 (18,1%) მისთვის მთავარ გვერდს კრძალავდა. გადაწყვიტეთ, კვლავ შეესაბამება თუ არა ეს თქვენს სურვილს, იმის გათვალისწინებით, რომ ის grounding-საც მოიცავს.

შეუძლია თუ არა ფაირვოლს Google-ის დაბლოკვა, როცა ბრაუზერები გადიან?

დიახ. თუ ბოტებისგან დაცვა ან მოთხოვნების ლიმიტი Google-ის კრაულერებს 403-ით, 429-ით ან ჩელენჯის გვერდით პასუხობს, Google გვერდს ვერ აგროვებს და დროთა განმავლობაში ის შეიძლება Search-იდან ამოვარდეს, და მასთან ერთად Gemini-ის grounding-იდანაც. აქ საუკეთესო ტესტი URL Inspection-ია, რადგან Google გვერდს საკუთარი მისამართებიდან იღებს; curl-ის ტესტი თქვენი კომპიუტერიდან მხოლოდ იმას აჩვენებს, როგორ ეპყრობა თქვენი წესები user agent-ს.

Google-ის უსაფრთხოდ დასაშვებად ვიზიტორი გადაამოწმეთ და სახელს ნუ ენდობით. Google აღწერს reverse DNS მოთხოვნას, რომელსაც forward მოთხოვნა მოსდევს, და აქვეყნებს თავისი ძირითადი კრაულერების IP დიაპაზონებს common-crawlers.json-ში:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

მაგალითის მისამართი თქვენი ლოგებიდან აღებულით შეცვალეთ. თუ ორი მოთხოვნის შედეგი არ ემთხვევა, მოთხოვნა მხოლოდ თავს ასაღებს Google-ად.

როგორ ვნახო, იყენებს ან ციტირებს თუ არა Gemini ჩემს საიტს?

დაუსვით Gemini-ს ის კითხვები, რომლებსაც თქვენი მყიდველები სვამენ, საიტის დასახელების გარეშე, და გახსენით წყაროები. Google-ის დახმარების ცენტრის თანახმად, ღილაკი Sources ჩანს პასუხის ბოლოს ან ტექსტში და ხსნის დაკავშირებული ბმულების პანელს, რომელიც შეიძლება საჯარო ვებსაიტებს შეიცავდეს. თუ ღილაკი Sources არ არის, Gemini-მ ამ პასუხისთვის ბმულები არ მოგაწოდათ, და Google აღნიშნავს, რომ ყველა პასუხი მათ არ შეიცავს. ჩაიწერეთ, რომელი დომენები ჩნდება, და იგივე კითხვები რამდენიმე კვირის განმავლობაში გაიმეორეთ.

დეველოპერებს იგივე ტესტის გაშვება Gemini API-ით შეუძლიათ, Grounding with Google Search-ით. Google-ის თქმით, ის მოდელს რეალურ დროში ვებკონტენტთან აკავშირებს, ხოლო grounding-ით გაცემულ პასუხებს თან ახლავს ციტატები თითოეული წყაროს URL-ითა და სათაურით, ასე რომ, შეგიძლიათ შეამოწმოთ, ჩანს თუ არა თქვენი დომენი. API-ის პასუხები შეიძლება განსხვავდებოდეს იმისგან, რასაც Gemini-ის აპი აჩვენებს.

Gemini-სთან დაკავშირებული ზოგიერთი მოთხოვნა თქვენს სერვერამდე მართლაც აღწევს. Google ჩამოთვლის მომხმარებლის მიერ ინიცირებულ fetcher-ებს, როგორიცაა Google-GeminiNotebook, რომელიც ითხოვს URL-ებს, რომლებსაც მომხმარებლები წყაროდ ამატებენ Gemini Notebook-ის პროექტში, და Google-Agent, რომელსაც იყენებენ Google-ის ინფრასტრუქტურაზე მომუშავე აგენტები, როცა მომხმარებლის თხოვნას ასრულებენ. Google-ის თქმით, ეს fetcher-ები ზოგადად robots.txt-ს უგულებელყოფენ, რადგან მოთხოვნა მომხმარებელმა ითხოვა. მათი ვიზიტები აჩვენებს, რომ ადამიანები თქვენს გვერდებს ამ პროდუქტებით ხსნიან; ეს არ არის ზემოთ აღწერილი grounding-ის გზა.

მოქმედებს თუ არა AI Overviews, AI Mode და ფრაგმენტების წესები Gemini-ზე?

AI Overviews და AI Mode Google Search-ის ფუნქციებია საკუთარი მართვის საშუალებებით. Google ჩამოთვლის nosnippet-ს, data-nosnippet-ს, max-snippet-ს და noindex-ს, როგორც გზებს, შეზღუდოთ, რა ჩანს თქვენი გვერდებიდან. მისი robots meta ტეგის დოკუმენტაციის თანახმად, nosnippet ასევე უშლის კონტენტის გამოყენებას AI Overviews-ისა და AI Mode-ის პირდაპირ შემავალ მონაცემად, ხოლო max-snippet ზღუდავს, რამდენის გამოყენება შეიძლება. Search Console-ს ასევე აქვს მთელ საიტზე მოქმედი პარამეტრი Search-ის გენერაციული AI-სთვის, რომელსაც შეუძლია საიტის გამორიცხვა AI Overviews-იდან, AI Mode-იდან და Discover-ის გენერაციული AI ფუნქციებიდან.

არცერთი ეს გვერდი Gemini-ის აპს არ ახსენებს. ნუ ჩათვლით, რომ ფრაგმენტის წესი ან Search Console-ის პარამეტრი Gemini-ის grounding-ს ცვლის, ან რომ Google-Extended AI Overviews-ს ცვლის. გამონაკლისია noindex: Google-ის grounding-ის განმარტების მიხედვით, Search-ის ინდექსის გარეთ არსებული გვერდი ამისთვის ვერ გამოიყენება. დავიწყებული ფრაგმენტის წესების საპოვნელად შეამოწმეთ HTML და სათაურები (headers):

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

როგორ ამოწმებს ამას AISeeWhy?

AISeeWhy-ის უფასო შემოწმება თქვენს გვერდს ითხოვს Googlebot-ისა და სხვა AI და საძიებო კრაულერების სახელით რეალური ბრაუზერის გვერდით, თითოეულისთვის იყენებს თქვენს robots.txt-ს, Google-Extended ტოკენის ჩათვლით, ჩელენჯის გვერდებს ამოიცნობს და აჩვენებს, რამდენი ტექსტი მოდის JavaScript-ის გარეშე. „ხილვადობა AI-ში“, რომელიც საცდელ პერიოდსა და ფასიან გეგმებშია ხელმისაწვდომი, თქვენს კითხვებს Gemini API-ით სვამს, Google Search-ით grounding-ით, თქვენი საკუთარი გასაღებით, და აჩვენებს, ნახსენები ან ციტირებულია თუ არა თქვენი ბრენდი ან დომენი. ის AI Overviews-სა და AI Mode-ს არ ამოწმებს.

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

ხშირად დასმული კითხვები

შემიძლია უფასოდ შევამოწმო, ხედავს თუ არა Gemini ჩემს საიტს?

დიახ. Search Console, site: ძიება, თქვენი robots.txt და კითხვა Gemini-ში არაფერი ღირს. AISeeWhy-ის უფასო შემოწმება Googlebot-ს, Google-Extended-ის წესსა და 14 სხვა კრაულერს ერთი გვერდისთვის დღეში ერთხელ ამოწმებს.

აქვს თუ არა Gemini-ს საკუთარი კრაულერი?

grounding-ისთვის არა. Google-ის თქმით, Google-Extended-ს user agent-ის სტრიქონი არ აქვს და გვერდებს მისი არსებული კრაულერები აგროვებს. ცალკეული, მომხმარებლის მიერ ინიცირებული fetcher-ები, როგორიცაა Google-GeminiNotebook და Google-Agent, გვერდებს მომხმარებლის თხოვნით სტუმრობენ, და Google-ის თქმით, ისინი ზოგადად robots.txt-ს უგულებელყოფენ.

თუ Google-Extended-ს დავბლოკავ, შეუძლია თუ არა Gemini-ს მაინც ახსენოს ჩემი ბრენდი?

Google ამბობს, რომ თქვენს კონტენტს Gemini Apps-ში grounding-ისთვის არ გამოიყენებს. ეს წესი თქვენს საკუთარ გვერდებს ეხება. Google არაფერს ამბობს სხვა საიტების კონტენტზე, რომლებიც თქვენზე წერენ, ამიტომ Gemini-მ შეიძლება თქვენი ბრენდი მაინც დაასახელოს ამ წყაროებიდან.

რამდენ ხანში აღწევს robots.txt-ის ცვლილება Gemini-მდე?

Google Gemini-სთვის ვადას არ ასახელებს. მისი robots.txt-ის დოკუმენტაციის თანახმად, Google ფაილს ჩვეულებრივ 24 საათამდე ინახავს ქეშში, ამიტომ ხელახლა ტესტირებამდე სულ მცირე ერთი დღე დაელოდეთ, ხოლო გვერდებისთვის, რომლებსაც Google იშვიათად აგროვებს, უფრო მეტი.

ერთსა და იმავე წყაროებს იყენებს AI Overviews და Gemini?

Google არ აღწერს, როგორ უკავშირდება ისინი ერთმანეთს. ორივე Google-ის ინდექსს ეყრდნობა, მაგრამ მართვის საშუალებები განსხვავებულია: ფრაგმენტის წესები და Search Console-ის პარამეტრი AI Overviews-სა და AI Mode-სთვის, ხოლო Google-Extended Gemini-ის grounding-ისთვის. ისინი ცალ-ცალკე შეამოწმეთ.

როგორ ვადევნო თვალი Gemini-ის პასუხებს დროთა განმავლობაში?

შეადგინეთ მყიდველების კითხვების მუდმივი სია, დასვით ისინი Gemini-ში გრაფიკით და ჩაიწერეთ, რომელი დომენები ჩნდება წყაროებში. AISeeWhy-ის „ხილვადობა AI-ში“ თქვენს კითხვებს ყოველკვირა უშვებს Gemini API-ით, Google Search-ით grounding-ით, და ხსენებებს ოთხამდე კონკურენტის გვერდით აჩვენებს. API-ის შედეგები შეიძლება განსხვავდებოდეს Gemini-ის აპისგან.

წყაროები

სხვა სტატიები