Google-CloudVertexBot
Google-CloudVertexBot zvarrit sajte me kërkesë të pronarëve të tyre për të ndërtuar Vertex AI Agents në Google Cloud. Google thotë se rregullat e tij në robots.txt nuk kanë efekt në Google Search ose produkte të tjera. Bllokimi i tij ka rëndësi vetëm nëse ju ose një klient i Google Cloud e përdorni sajtin tuaj si burim të dhënash për një agjent.
Si ta lejoni
User-agent: Google-CloudVertexBot
Allow: / Si ta bllokoni
User-agent: Google-CloudVertexBot
Disallow: / Çfarë bën
Google thotë se preferencat e zvarritjes drejtuar Google-CloudVertexBot ndikojnë te zvarritjet e kërkuara nga pronarët e sajteve për ndërtimin e Vertex AI Agents. Nuk ka efekt në Google Search ose produkte të tjera të Google. User agent-i i tij përmban nënvargun Google-CloudVertexBot.
Në robots.txt ndjek rregullat për token-in Google-CloudVertexBot dhe, nëse nuk ka të tilla, rregullat për Googlebot. Google e rendit mes zvarritësve të tij të zakonshëm, që i binden gjithmonë robots.txt kur zvarrisin automatikisht.
Token-i në robots.txt
Google-CloudVertexBot
Si të verifikoni vizitat reale
Google thotë se vargjet e user agent-it mund të falsifikohen dhe rekomandon një kontroll DNS me dy hapa. Bëni një kërkim reverse DNS për IP-në që bën kërkesën: emri i hostit duhet të mbarojë me googlebot.com, google.com ose googleusercontent.com. Pastaj bëni një kërkim të drejtpërdrejtë për atë emër hosti dhe konfirmoni që kthen të njëjtën IP. Google publikon gjithashtu si JSON gamat IP të zvarritësve të tij të zakonshëm, ndaj mund t'i përputhni adresat automatikisht.