Google-CloudVertexBot
Google-CloudVertexBot käy sivustoja läpi niiden omistajien pyynnöstä rakentaakseen Vertex AI -agentteja Google Cloudissa. Google kertoo, ettei sen robots.txt-säännöillä ole vaikutusta Google-hakuun tai muihin tuotteisiin. Sen estäminen on merkityksellistä vain, jos sinä tai Google Cloudin asiakas käyttää sivustoasi agentin tietolähteenä.
Mitä se tekee
Google kertoo, että Google-CloudVertexBotille osoitetut läpikäyntiasetukset vaikuttavat sivustojen omistajien pyytämiin läpikäynteihin Vertex AI -agenttien rakentamista varten. Niillä ei ole vaikutusta Google-hakuun tai muihin Googlen tuotteisiin. Sen user agent sisältää merkkijonon Google-CloudVertexBot.
Robots.txt-tiedostossa se noudattaa Google-CloudVertexBot-tunnuksen sääntöjä ja, jos niitä ei ole, Googlebotin sääntöjä. Google luettelee sen yleisten robottiensa joukkoon, jotka noudattavat aina robots.txt-tiedostoa automaattisessa läpikäynnissä.
robots.txt-tunnus
Google-CloudVertexBot
Miten sen sallii
User-agent: Google-CloudVertexBot
Allow: /Miten sen estää
User-agent: Google-CloudVertexBot
Disallow: /Miten aidot käynnit varmistetaan
Google toteaa, että user agent -merkkijonoja voi väärentää, ja suosittelee kaksivaiheista DNS-tarkistusta. Tee käänteinen DNS-haku pyynnön IP-osoitteelle: isäntänimen pitäisi päättyä googlebot.com-, google.com- tai googleusercontent.com-päätteeseen. Tee sitten suora haku tälle isäntänimelle ja varmista, että se palauttaa saman IP:n. Google julkaisee myös yleisten robottiensa IP-alueet JSON-muodossa, joten osoitteita voi verrata automaattisesti.