Google-CloudVertexBot
Google-CloudVertexBot läbib saite nende omanike palvel, et ehitada Google Cloudis Vertex AI agente. Google ütleb, et selle robots.txt reeglid ei mõjuta Google'i otsingut ega teisi tooteid. Selle blokeerimine on oluline ainult siis, kui sina või mõni Google Cloudi klient kasutab sinu saiti agendi andmeallikana.
Kuidas seda lubada
User-agent: Google-CloudVertexBot
Allow: / Kuidas seda blokeerida
User-agent: Google-CloudVertexBot
Disallow: / Mida see teeb
Google ütleb, et Google-CloudVertexBotile suunatud läbimiseelistused mõjutavad saidiomanike tellitud läbimisi Vertex AI agentide ehitamiseks. See ei mõjuta Google'i otsingut ega teisi Google'i tooteid. Selle user agent sisaldab alamstringi Google-CloudVertexBot.
robots.txt-s järgib see Google-CloudVertexBot tunnuse reegleid ja nende puudumisel Googleboti reegleid. Google loetleb selle oma tavaliste robotite hulgas, mis järgivad automaatsel läbimisel alati robots.txt-d.
robots.txt tunnus
Google-CloudVertexBot
Kuidas päris külastusi kinnitada
Google ütleb, et user agent'i stringe saab võltsida, ja soovitab kaheastmelist DNS-kontrolli. Tee päringu IP-le pöörd-DNS-päring: hostinimi peaks lõppema domeeniga googlebot.com, google.com või googleusercontent.com. Seejärel tee sellele hostinimele edasisuunatud päring ja kinnita, et see tagastab sama IP. Google avaldab ka oma tavaliste robotite IP-vahemikud JSON-ina, nii et saad aadresse automaatselt sobitada.