Google-Extended
Το Google-Extended είναι token robots.txt και όχι ξεχωριστός crawler. Ελέγχει αν το περιεχόμενο που ανιχνεύει η Google μπορεί να χρησιμοποιηθεί για την εκπαίδευση μελλοντικών μοντέλων Gemini και για grounding στις εφαρμογές Gemini και στο Vertex AI. Η Google λέει ότι δεν επηρεάζει τη συμπερίληψη ενός ιστότοπου στην Αναζήτηση Google.
Τι κάνει
Το Google-Extended δεν έχει δικό του user agent. Η ανίχνευση γίνεται με τα υπάρχοντα user agents της Google και το token Google-Extended λειτουργεί ως μηχανισμός ελέγχου: ενημερώνει την Google αν το περιεχόμενο που έχει ανιχνεύσει μπορεί να χρησιμοποιηθεί για την εκπαίδευση μελλοντικών γενεών μοντέλων Gemini και για grounding στις εφαρμογές Gemini και στο Vertex AI.
Η Google δηλώνει ότι το Google-Extended δεν επηρεάζει τη συμπερίληψη ενός ιστότοπου στην Αναζήτηση Google. Οι λειτουργίες AI της Google στην Αναζήτηση, όπως τα AI Overviews, διέπονται από τους κανόνες του Googlebot και τους ελέγχους αποσπασμάτων, όχι από αυτό το token.
Στη μελέτη μας για τον 2026-11, το 18.1% των δημοφιλών ιστότοπων με robots.txt το μπλόκαρε. →
Token robots.txt
Google-Extended
Πώς να το επιτρέψετε
User-agent: Google-Extended
Allow: /Πώς να το μπλοκάρετε
User-agent: Google-Extended
Disallow: /Πώς να επαληθεύσετε τις πραγματικές επισκέψεις
Δεν υπάρχει κάτι να επαληθεύσετε στα logs σας: το Google-Extended δεν εμφανίζεται ποτέ ως user agent. Τα αιτήματα πίσω από αυτό προέρχονται από τους κανονικούς crawlers της Google, τους οποίους μπορείτε να επαληθεύσετε με αντίστροφη αναζήτηση DNS (googlebot.com, google.com ή googleusercontent.com) ακολουθούμενη από ευθεία αναζήτηση, ή με βάση τα δημοσιευμένα εύρη IP της Google.
Ελέγξτε αν ο ιστότοπός σας το αφήνει να μπει →
robots.txt για AI crawlers: τι να επιτρέψετε, τι να αποκλείσετε →