Google-CloudVertexBot
A Google-CloudVertexBot a webhelytulajdonosok kérésére járja be az oldalakat, hogy Vertex AI Agenteket építsen a Google Cloudon. A Google szerint a robots.txt-szabályai nincsenek hatással a Google Keresőre és más termékekre. A letiltás csak akkor számít, ha Ön vagy egy Google Cloud-ügyfél az Ön webhelyét használja egy ügynök adatforrásaként.
Mit csinál
A Google közli, hogy a Google-CloudVertexBotra címzett bejárási beállítások a webhelytulajdonosok által kért, Vertex AI Agentek építéséhez szükséges bejárásokat érintik. Nincs hatással a Google Keresőre és a Google más termékeire. A user agentje tartalmazza a Google-CloudVertexBot részkarakterláncot.
A robots.txt-ben a Google-CloudVertexBot tokenre vonatkozó szabályokat követi, ezek hiányában pedig a Googlebot szabályait. A Google a gyakori crawlerei között sorolja fel, amelyek automatikus bejáráskor mindig betartják a robots.txt fájlt.
robots.txt token
Google-CloudVertexBot
Hogyan engedélyezheti
User-agent: Google-CloudVertexBot
Allow: /Hogyan tilthatja le
User-agent: Google-CloudVertexBot
Disallow: /Hogyan ellenőrizheti a valódi látogatásokat
A Google szerint a user agent karakterláncok hamisíthatók, ezért kétlépéses DNS-ellenőrzést javasol. Végezzen fordított DNS-lekérdezést a kérő IP-címre: a gazdagépnévnek googlebot.com, google.com vagy googleusercontent.com végződésűnek kell lennie. Ezután végezzen előre irányuló lekérdezést erre a gazdagépnévre, és győződjön meg róla, hogy ugyanazt az IP-címet adja vissza. A Google a szokásos crawlerei IP-tartományait JSON-ként is közzéteszi, így a címeket automatikusan összevetheti.