Google-CloudVertexBot
Google-CloudVertexBot საიტებს მათი მფლობელების მოთხოვნით აკრაულებს Google Cloud-ზე Vertex AI Agents-ის ასაგებად. Google-ის თქმით, მისი robots.txt-ის წესები არ მოქმედებს Google Search-ზე ან სხვა პროდუქტებზე. მისი დაბლოკვა მნიშვნელოვანია მხოლოდ მაშინ, თუ თქვენ ან Google Cloud-ის კლიენტი თქვენს საიტს აგენტის მონაცემთა წყაროდ იყენებთ.
როგორ დავუშვათ
User-agent: Google-CloudVertexBot
Allow: / როგორ დავბლოკოთ
User-agent: Google-CloudVertexBot
Disallow: / რას აკეთებს
Google-ის თქმით, Google-CloudVertexBot-ზე მიმართული დაკრაულვის პარამეტრები მოქმედებს საიტის მფლობელების მიერ Vertex AI Agents-ის ასაგებად მოთხოვნილ დაკრაულვებზე. ის არ მოქმედებს Google Search-ზე ან Google-ის სხვა პროდუქტებზე. მისი user agent შეიცავს ქვესტრიქონს Google-CloudVertexBot.
robots.txt-ში ის მიჰყვება Google-CloudVertexBot ტოკენის წესებს, ხოლო თუ ასეთი არ არის, Googlebot-ის წესებს. Google მას თავის საერთო კრაულერებს შორის ასახელებს, რომლებიც ავტომატური დაკრაულვისას ყოველთვის ემორჩილებიან robots.txt-ს.
robots.txt ტოკენი
Google-CloudVertexBot
როგორ გადავამოწმოთ რეალური ვიზიტები
Google-ის თქმით, user agent სტრიქონების გაყალბება შესაძლებელია, და ის ორსაფეხურიან DNS შემოწმებას გირჩევთ. გაუშვით reverse DNS მოძიება მომთხოვნ IP-ზე: ჰოსტის სახელი უნდა მთავრდებოდეს googlebot.com-ით, google.com-ით ან googleusercontent.com-ით. შემდეგ გაუშვით პირდაპირი მოძიება ამ ჰოსტის სახელზე და დარწმუნდით, რომ ის იმავე IP-ს აბრუნებს. Google ასევე აქვეყნებს თავისი საერთო კრაულერების IP დიაპაზონებს JSON-ად, ამიტომ მისამართების ავტომატურად შედარება შეგიძლიათ.