Google-CloudVertexBot
Google-CloudVertexBot parcurge site-uri la cererea proprietarilor lor pentru a construi Vertex AI Agents în Google Cloud. Google spune că regulile robots.txt pentru el nu au niciun efect asupra Google Search sau a altor produse. Blocarea lui contează doar dacă tu sau un client Google Cloud folosiți site-ul tău ca sursă de date pentru un agent.
Ce face
Google spune că preferințele de parcurgere adresate lui Google-CloudVertexBot afectează parcurgerile cerute de proprietarii de site-uri pentru construirea Vertex AI Agents. Nu are niciun efect asupra Google Search sau a altor produse Google. User agent-ul său conține subșirul Google-CloudVertexBot.
În robots.txt urmează regulile pentru tokenul Google-CloudVertexBot și, dacă nu există, regulile pentru Googlebot. Google îl enumeră printre crawlerele sale comune, care respectă întotdeauna robots.txt când parcurg automat.
Tokenul robots.txt
Google-CloudVertexBot
Cum îl permiți
User-agent: Google-CloudVertexBot
Allow: /Cum îl blochezi
User-agent: Google-CloudVertexBot
Disallow: /Cum verifici vizitele reale
Google spune că șirurile user agent pot fi falsificate și recomandă o verificare DNS în doi pași. Fă o căutare DNS inversă pentru IP-ul care a făcut cererea: numele de host trebuie să se termine în googlebot.com, google.com sau googleusercontent.com. Apoi fă o căutare directă pentru acel nume de host și confirmă că returnează același IP. Google publică și intervalele IP ale crawlerelor sale comune ca JSON, deci poți potrivi adresele automat.