Google-CloudVertexBot
Google-CloudVertexBot crawluje strony na prośbę ich właścicieli, aby budować Vertex AI Agents w Google Cloud. Google podaje, że reguły robots.txt dla niego nie wpływają na Wyszukiwarkę Google ani inne produkty. Jego zablokowanie ma znaczenie tylko wtedy, gdy Ty lub klient Google Cloud używacie swojej strony jako źródła danych agenta.
Co robi
Google podaje, że preferencje crawlowania kierowane do Google-CloudVertexBot dotyczą crawlowania zleconego przez właścicieli stron w celu budowania Vertex AI Agents. Nie ma to wpływu na Wyszukiwarkę Google ani inne produkty Google. Jego user agent zawiera podciąg Google-CloudVertexBot.
W robots.txt stosuje reguły dla tokenu Google-CloudVertexBot, a jeśli ich nie ma, reguły dla Googlebota. Google zalicza go do swoich typowych crawlerów, które zawsze przestrzegają robots.txt przy automatycznym crawlowaniu.
Token robots.txt
Google-CloudVertexBot
Jak go dopuścić
User-agent: Google-CloudVertexBot
Allow: /Jak go zablokować
User-agent: Google-CloudVertexBot
Disallow: /Jak zweryfikować prawdziwe wizyty
Google podaje, że ciągi user agent można podrobić, i zaleca dwuetapowe sprawdzenie DNS. Wykonaj odwrotne wyszukiwanie DNS dla adresu IP żądania: nazwa hosta powinna kończyć się na googlebot.com, google.com lub googleusercontent.com. Następnie wykonaj wyszukiwanie proste dla tej nazwy hosta i potwierdź, że zwraca ten sam adres IP. Google publikuje też zakresy IP swoich typowych crawlerów jako JSON, więc możesz dopasowywać adresy automatycznie.