Googlebot

Google · საძიებო სისტემა

Googlebot არის Google-ის მთავარი კრაულერი მისი საძიებო ინდექსების ასაგებად. Google-ის თქმით, Googlebot-ის robots.txt-ის წესები აკონტროლებს, როგორ ხდება საიტის დაკრაულვა ძიებისთვის, მათ შორის AI ფუნქციებისთვის, როგორიცაა AI Overviews და AI Mode. მისი დაბლოკვა თქვენს გვერდებს Google Search-იდან და ამ AI პასუხებიდან აქრობს.

როგორ დავუშვათ

User-agent: Googlebot
Allow: /

როგორ დავბლოკოთ

User-agent: Googlebot
Disallow: /

რას აკეთებს

Googlebot გამოიყენება Google-ის საძიებო ინდექსების ასაგებად ინფორმაციის მოსაძიებლად. Googlebot ტოკენზე მიმართული დაკრაულვის პარამეტრები მოქმედებს Google Search-ზე და ისეთ პროდუქტებზე, როგორიცაა Google Images, Video, Google News და Discover. ის მუშაობს როგორც სმარტფონისა და დესკტოპის კრაულერი; ორივე იმავე Googlebot-ის წესებს ემორჩილება, და Google-ის თქმით, მისი საერთო კრაულერები ავტომატური დაკრაულვისას ყოველთვის ემორჩილებიან robots.txt-ს.

Google-ის დოკუმენტაცია AI ფუნქციების შესახებ Googlebot-ის წესებს აღწერს, როგორც ძიების კონტროლს, მათ შორის AI Overviews-ისა და AI Mode-ისთვის, და ნაჩვენების შესაზღუდად მიუთითებს nosnippet-ზე, data-nosnippet-ზე, max-snippet-სა და noindex-ზე. Gemini-ის სწავლებისთვის გამოყენებას ცალკე Google-Extended აკონტროლებს.

ჩვენს 2026-11-ის კვლევაში robots.txt-ის მქონე პოპულარული საიტების 2.7% მას ბლოკავდა. →

robots.txt ტოკენი

Googlebot

User-agent სტრიქონი

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

როგორ გადავამოწმოთ რეალური ვიზიტები

Google-ის თქმით, user agent სტრიქონების გაყალბება შესაძლებელია, და ის ორსაფეხურიან DNS შემოწმებას გირჩევთ. გაუშვით reverse DNS მოძიება მომთხოვნ IP-ზე: ჰოსტის სახელი უნდა მთავრდებოდეს googlebot.com-ით, google.com-ით ან googleusercontent.com-ით. შემდეგ გაუშვით პირდაპირი მოძიება ამ ჰოსტის სახელზე და დარწმუნდით, რომ ის იმავე IP-ს აბრუნებს. Google ასევე აქვეყნებს თავისი საერთო კრაულერების IP დიაპაზონებს JSON-ად, ამიტომ მისამართების ავტომატურად შედარება შეგიძლიათ.

შეამოწმეთ, უშვებს თუ არა მას თქვენი საიტი →

AEO და SEO: რა არის საერთო და რა იცვლება AI პასუხებისთვის →