Google-CloudVertexBot
Το Google-CloudVertexBot ανιχνεύει ιστότοπους κατόπιν αιτήματος των ιδιοκτητών τους για τη δημιουργία Vertex AI Agents στο Google Cloud. Η Google λέει ότι οι κανόνες robots.txt του δεν έχουν επίδραση στην Αναζήτηση Google ή σε άλλα προϊόντα. Το μπλοκάρισμα έχει σημασία μόνο αν εσείς ή πελάτης του Google Cloud χρησιμοποιείτε τον ιστότοπό σας ως πηγή δεδομένων ενός agent.
Τι κάνει
Η Google λέει ότι οι προτιμήσεις ανίχνευσης που απευθύνονται στο Google-CloudVertexBot επηρεάζουν ανιχνεύσεις που ζητούν οι ιδιοκτήτες ιστότοπων για τη δημιουργία Vertex AI Agents. Δεν έχουν επίδραση στην Αναζήτηση Google ή σε άλλα προϊόντα της Google. Το user agent του περιέχει το υποσύνολο συμβολοσειράς Google-CloudVertexBot.
Στο robots.txt ακολουθεί τους κανόνες για το token Google-CloudVertexBot και, αν δεν υπάρχουν, τους κανόνες για το Googlebot. Η Google το συγκαταλέγει στους κοινούς crawlers της, οι οποίοι τηρούν πάντα το robots.txt όταν ανιχνεύουν αυτόματα.
Token robots.txt
Google-CloudVertexBot
Πώς να το επιτρέψετε
User-agent: Google-CloudVertexBot
Allow: /Πώς να το μπλοκάρετε
User-agent: Google-CloudVertexBot
Disallow: /Πώς να επαληθεύσετε τις πραγματικές επισκέψεις
Η Google λέει ότι οι συμβολοσειρές user agent μπορούν να πλαστογραφηθούν και συνιστά έλεγχο DNS σε δύο βήματα. Εκτελέστε αντίστροφη αναζήτηση DNS (reverse DNS) στην IP του αιτήματος: το όνομα host πρέπει να τελειώνει σε googlebot.com, google.com ή googleusercontent.com. Έπειτα εκτελέστε ευθεία αναζήτηση (forward lookup) σε αυτό το όνομα host και επιβεβαιώστε ότι επιστρέφει την ίδια IP. Η Google δημοσιεύει επίσης τα εύρη IP των κοινών crawlers της ως JSON, ώστε να ταιριάζετε τις διευθύνσεις αυτόματα.