Google-CloudVertexBot

Google · მომხმარებლის მოთხოვნით მიღება

Google-CloudVertexBot საიტებს მათი მფლობელების მოთხოვნით აკრაულებს Google Cloud-ზე Vertex AI Agents-ის ასაგებად. Google-ის თქმით, მისი robots.txt-ის წესები არ მოქმედებს Google Search-ზე ან სხვა პროდუქტებზე. მისი დაბლოკვა მნიშვნელოვანია მხოლოდ მაშინ, თუ თქვენ ან Google Cloud-ის კლიენტი თქვენს საიტს აგენტის მონაცემთა წყაროდ იყენებთ.

როგორ დავუშვათ

User-agent: Google-CloudVertexBot
Allow: /

როგორ დავბლოკოთ

User-agent: Google-CloudVertexBot
Disallow: /

რას აკეთებს

Google-ის თქმით, Google-CloudVertexBot-ზე მიმართული დაკრაულვის პარამეტრები მოქმედებს საიტის მფლობელების მიერ Vertex AI Agents-ის ასაგებად მოთხოვნილ დაკრაულვებზე. ის არ მოქმედებს Google Search-ზე ან Google-ის სხვა პროდუქტებზე. მისი user agent შეიცავს ქვესტრიქონს Google-CloudVertexBot.

robots.txt-ში ის მიჰყვება Google-CloudVertexBot ტოკენის წესებს, ხოლო თუ ასეთი არ არის, Googlebot-ის წესებს. Google მას თავის საერთო კრაულერებს შორის ასახელებს, რომლებიც ავტომატური დაკრაულვისას ყოველთვის ემორჩილებიან robots.txt-ს.

robots.txt ტოკენი

Google-CloudVertexBot

როგორ გადავამოწმოთ რეალური ვიზიტები

Google-ის თქმით, user agent სტრიქონების გაყალბება შესაძლებელია, და ის ორსაფეხურიან DNS შემოწმებას გირჩევთ. გაუშვით reverse DNS მოძიება მომთხოვნ IP-ზე: ჰოსტის სახელი უნდა მთავრდებოდეს googlebot.com-ით, google.com-ით ან googleusercontent.com-ით. შემდეგ გაუშვით პირდაპირი მოძიება ამ ჰოსტის სახელზე და დარწმუნდით, რომ ის იმავე IP-ს აბრუნებს. Google ასევე აქვეყნებს თავისი საერთო კრაულერების IP დიაპაზონებს JSON-ად, ამიტომ მისამართების ავტომატურად შედარება შეგიძლიათ.

შეამოწმეთ, უშვებს თუ არა მას თქვენი საიტი →