Google-CloudVertexBot
Google-CloudVertexBot hupitia tovuti kwa ombi la wamiliki wake ili kujenga Vertex AI Agents kwenye Google Cloud. Google inasema sheria zake za robots.txt hazina athari kwenye Google Search wala bidhaa nyingine. Kuizuia kunajalisha tu kama wewe au mteja wa Google Cloud mnatumia tovuti yako kama chanzo cha data cha wakala.
Jinsi ya kuiruhusu
User-agent: Google-CloudVertexBot
Allow: / Jinsi ya kuizuia
User-agent: Google-CloudVertexBot
Disallow: / Inafanya nini
Google inasema mapendeleo ya upitiaji yanayoelekezwa kwa Google-CloudVertexBot huathiri upitiaji unaoombwa na wamiliki wa tovuti kwa ajili ya kujenga Vertex AI Agents. Haina athari kwenye Google Search wala bidhaa nyingine za Google. User agent yake ina kipande cha maandishi Google-CloudVertexBot.
Kwenye robots.txt inafuata sheria za tokeni ya Google-CloudVertexBot na, kama hazipo, sheria za Googlebot. Google inaiorodhesha miongoni mwa crawler zake za kawaida, ambazo daima hutii robots.txt zinapopitia kiotomatiki.
Tokeni ya robots.txt
Google-CloudVertexBot
Jinsi ya kuthibitisha ziara halisi
Google inasema mifuatano ya user agent inaweza kughushiwa na inapendekeza ukaguzi wa DNS wa hatua mbili. Endesha reverse DNS lookup kwenye IP inayoomba: jina la host linapaswa kuishia na googlebot.com, google.com au googleusercontent.com. Kisha endesha forward lookup kwenye jina hilo la host na uhakikishe linarudisha IP ileile. Google pia inachapisha masafa ya IP ya crawler zake za kawaida kama JSON, kwa hivyo unaweza kulinganisha anwani kiotomatiki.