Google-CloudVertexBot
Google-CloudVertexBot prechádza weby na žiadosť ich vlastníkov, aby sa na Google Cloud vytvorili Vertex AI Agents. Google uvádza, že jeho pravidlá robots.txt nemajú vplyv na Vyhľadávanie Google ani iné produkty. Jeho zablokovanie má význam len vtedy, ak váš web ako zdroj dát agenta používate vy alebo zákazník Google Cloud.
Ako ho povoliť
User-agent: Google-CloudVertexBot
Allow: / Ako ho zablokovať
User-agent: Google-CloudVertexBot
Disallow: / Čo robí
Google uvádza, že preferencie prechádzania určené pre Google-CloudVertexBot ovplyvňujú prechádzanie, ktoré si vlastníci webov vyžiadali na vytvorenie Vertex AI Agents. Nemá vplyv na Vyhľadávanie Google ani iné produkty Google. Jeho user agent obsahuje podreťazec Google-CloudVertexBot.
V robots.txt sa riadi pravidlami pre token Google-CloudVertexBot, a ak žiadne nie sú, pravidlami pre Googlebot. Google ho uvádza medzi svojimi bežnými crawlermi, ktoré pri automatickom prechádzaní vždy dodržiavajú robots.txt.
Token robots.txt
Google-CloudVertexBot
Ako overiť skutočné návštevy
Google uvádza, že reťazce user agenta sa dajú podvrhnúť, a odporúča dvojkrokovú kontrolu DNS. Spustite reverzné vyhľadávanie DNS pre IP požiadavky: názov hostiteľa má končiť na googlebot.com, google.com alebo googleusercontent.com. Potom spustite priame vyhľadávanie pre tento názov hostiteľa a overte, že vráti tú istú IP. Google tiež zverejňuje rozsahy IP svojich bežných crawlerov ako JSON, takže adresy môžete porovnávať automaticky.