Google-CloudVertexBot
Kino-crawl ng Google-CloudVertexBot ang mga site sa kahilingan ng mga may-ari nito para bumuo ng mga Vertex AI Agent sa Google Cloud. Sinasabi ng Google na walang epekto ang mga rule nito sa robots.txt sa Google Search o sa ibang produkto. Mahalaga lang ang pag-block dito kung ginagamit mo o ng isang customer ng Google Cloud ang site mo bilang data source ng isang agent.
Paano ito papayagan
User-agent: Google-CloudVertexBot
Allow: / Paano ito iba-block
User-agent: Google-CloudVertexBot
Disallow: / Ano ang ginagawa nito
Sinasabi ng Google na naaapektuhan ng mga crawling preference na nakatuon sa Google-CloudVertexBot ang mga crawl na hiniling ng mga may-ari ng site para bumuo ng mga Vertex AI Agent. Wala itong epekto sa Google Search o sa ibang produkto ng Google. Naglalaman ang user agent nito ng substring na Google-CloudVertexBot.
Sa robots.txt, sinusunod nito ang mga rule para sa token na Google-CloudVertexBot at, kung wala, ang mga rule para sa Googlebot. Inililista ito ng Google kasama ng mga karaniwang crawler nito, na laging sumusunod sa robots.txt kapag awtomatikong nagku-crawl.
Token sa robots.txt
Google-CloudVertexBot
Paano beripikahin ang totoong pagbisita
Sinasabi ng Google na puwedeng pekein ang mga user agent string at inirerekomenda nito ang dalawang-hakbang na DNS check. Magpatakbo ng reverse DNS lookup sa IP na humihiling: dapat magtapos sa googlebot.com, google.com o googleusercontent.com ang hostname. Pagkatapos ay magpatakbo ng forward lookup sa hostname na iyon at tiyaking parehong IP ang ibinabalik nito. Inilalathala rin ng Google bilang JSON ang mga IP range ng mga karaniwang crawler nito, kaya maitutugma mo nang awtomatiko ang mga address.