Googlebot
Googlebot არის Google-ის მთავარი კრაულერი მისი საძიებო ინდექსების ასაგებად. Google-ის თქმით, Googlebot-ის robots.txt-ის წესები აკონტროლებს, როგორ ხდება საიტის დაკრაულვა ძიებისთვის, მათ შორის AI ფუნქციებისთვის, როგორიცაა AI Overviews და AI Mode. მისი დაბლოკვა თქვენს გვერდებს Google Search-იდან და ამ AI პასუხებიდან აქრობს.
როგორ დავუშვათ
User-agent: Googlebot
Allow: / როგორ დავბლოკოთ
User-agent: Googlebot
Disallow: / რას აკეთებს
Googlebot გამოიყენება Google-ის საძიებო ინდექსების ასაგებად ინფორმაციის მოსაძიებლად. Googlebot ტოკენზე მიმართული დაკრაულვის პარამეტრები მოქმედებს Google Search-ზე და ისეთ პროდუქტებზე, როგორიცაა Google Images, Video, Google News და Discover. ის მუშაობს როგორც სმარტფონისა და დესკტოპის კრაულერი; ორივე იმავე Googlebot-ის წესებს ემორჩილება, და Google-ის თქმით, მისი საერთო კრაულერები ავტომატური დაკრაულვისას ყოველთვის ემორჩილებიან robots.txt-ს.
Google-ის დოკუმენტაცია AI ფუნქციების შესახებ Googlebot-ის წესებს აღწერს, როგორც ძიების კონტროლს, მათ შორის AI Overviews-ისა და AI Mode-ისთვის, და ნაჩვენების შესაზღუდად მიუთითებს nosnippet-ზე, data-nosnippet-ზე, max-snippet-სა და noindex-ზე. Gemini-ის სწავლებისთვის გამოყენებას ცალკე Google-Extended აკონტროლებს.
ჩვენს 2026-11-ის კვლევაში robots.txt-ის მქონე პოპულარული საიტების 2.7% მას ბლოკავდა. →
robots.txt ტოკენი
Googlebot
User-agent სტრიქონი
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 როგორ გადავამოწმოთ რეალური ვიზიტები
Google-ის თქმით, user agent სტრიქონების გაყალბება შესაძლებელია, და ის ორსაფეხურიან DNS შემოწმებას გირჩევთ. გაუშვით reverse DNS მოძიება მომთხოვნ IP-ზე: ჰოსტის სახელი უნდა მთავრდებოდეს googlebot.com-ით, google.com-ით ან googleusercontent.com-ით. შემდეგ გაუშვით პირდაპირი მოძიება ამ ჰოსტის სახელზე და დარწმუნდით, რომ ის იმავე IP-ს აბრუნებს. Google ასევე აქვეყნებს თავისი საერთო კრაულერების IP დიაპაზონებს JSON-ად, ამიტომ მისამართების ავტომატურად შედარება შეგიძლიათ.