Google-CloudVertexBot
Google-CloudVertexBot pārmeklē vietnes pēc to īpašnieku pieprasījuma, lai veidotu Vertex AI Agents pakalpojumā Google Cloud. Google norāda, ka tās robots.txt noteikumi neietekmē Google meklēšanu vai citus produktus. Tās bloķēšana ir svarīga tikai tad, ja jūs vai kāds Google Cloud klients izmanto jūsu vietni kā aģenta datu avotu.
Kā to atļaut
User-agent: Google-CloudVertexBot
Allow: / Kā to bloķēt
User-agent: Google-CloudVertexBot
Disallow: / Ko tā dara
Google norāda, ka pārmeklēšanas preferences, kas adresētas Google-CloudVertexBot, ietekmē vietņu īpašnieku pieprasītas pārmeklēšanas Vertex AI Agents veidošanai. Tās neietekmē Google meklēšanu vai citus Google produktus. Tās user-agent satur apakšvirkni Google-CloudVertexBot.
robots.txt tā ievēro Google-CloudVertexBot marķiera noteikumus un, ja tādu nav, Googlebot noteikumus. Google to iekļauj savās kopējās rāpuļprogrammās, kas, automātiski pārmeklējot, vienmēr ievēro robots.txt.
robots.txt marķieris
Google-CloudVertexBot
Kā verificēt īstus apmeklējumus
Google norāda, ka user-agent virknes var viltot, un iesaka divpakāpju DNS pārbaudi. Veiciet pieprasītāja IP reverse DNS uzmeklēšanu: resursdatora nosaukumam jābeidzas ar googlebot.com, google.com vai googleusercontent.com. Pēc tam veiciet šī nosaukuma tiešo uzmeklēšanu un pārliecinieties, ka tā atgriež to pašu IP. Google arī publicē savu kopējo rāpuļprogrammu IP diapazonus JSON formātā, tāpēc adreses var salīdzināt automātiski.