Google-CloudVertexBot
Google-CloudVertexBot crawlt sites op verzoek van de eigenaren om Vertex AI Agents op Google Cloud te bouwen. Google zegt dat de robots.txt-regels ervoor geen effect hebben op Google Zoeken of andere producten. Blokkeren is alleen relevant als jij of een Google Cloud-klant je site als gegevensbron voor een agent gebruikt.
Wat de crawler doet
Google zegt dat crawlvoorkeuren voor Google-CloudVertexBot gelden voor crawls die siteeigenaren hebben aangevraagd om Vertex AI Agents te bouwen. Het heeft geen effect op Google Zoeken of andere Google-producten. Zijn user agent bevat de deelstring Google-CloudVertexBot.
In robots.txt volgt hij de regels voor het Google-CloudVertexBot-token en, als die er niet zijn, de regels voor Googlebot. Google rekent hem tot zijn gewone crawlers, die robots.txt altijd volgen bij automatisch crawlen.
robots.txt-token
Google-CloudVertexBot
Zo sta je hem toe
User-agent: Google-CloudVertexBot
Allow: /Zo blokkeer je hem
User-agent: Google-CloudVertexBot
Disallow: /Zo verifieer je echte bezoeken
Google zegt dat user-agentstrings kunnen worden vervalst en raadt een DNS-controle in twee stappen aan. Doe een reverse DNS-lookup op het IP van het verzoek: de hostnaam moet eindigen op googlebot.com, google.com of googleusercontent.com. Doe daarna een forward lookup op die hostnaam en controleer of die hetzelfde IP teruggeeft. Google publiceert ook de IP-bereiken van zijn gewone crawlers als JSON, zodat je adressen automatisch kunt matchen.