Googlebot
Το Googlebot είναι ο κύριος crawler της Google για τη δημιουργία των ευρετηρίων αναζήτησής της. Η Google λέει ότι οι κανόνες robots.txt για το Googlebot είναι ο έλεγχος του τρόπου με τον οποίο ανιχνεύεται ένας ιστότοπος για την Αναζήτηση, συμπεριλαμβανομένων λειτουργιών AI όπως τα AI Overviews και το AI Mode. Αν το μπλοκάρετε, οι σελίδες σας αφαιρούνται από την Αναζήτηση Google και από αυτές τις απαντήσεις AI.
Τι κάνει
Το Googlebot χρησιμοποιείται για την εύρεση πληροφοριών ώστε να δημιουργούνται τα ευρετήρια αναζήτησης της Google. Οι προτιμήσεις ανίχνευσης που απευθύνονται στο token Googlebot επηρεάζουν την Αναζήτηση Google και προϊόντα όπως οι Εικόνες Google, το Βίντεο, το Google News και το Discover. Λειτουργεί ως crawler smartphone και ως crawler υπολογιστή· και οι δύο ακολουθούν τους ίδιους κανόνες Googlebot, και η Google λέει ότι οι κοινοί crawlers της τηρούν πάντα το robots.txt όταν ανιχνεύουν αυτόματα.
Η τεκμηρίωση της Google για τις λειτουργίες AI περιγράφει τους κανόνες Googlebot ως τον έλεγχο για την Αναζήτηση, συμπεριλαμβανομένων των AI Overviews και του AI Mode, και παραπέμπει στα nosnippet, data-nosnippet, max-snippet και noindex για τον περιορισμό των όσων εμφανίζονται. Η χρήση για την εκπαίδευση του Gemini ελέγχεται χωριστά από το Google-Extended.
Στη μελέτη μας για τον 2026-11, το 2.7% των δημοφιλών ιστότοπων με robots.txt το μπλόκαρε. →
Token robots.txt
Googlebot
Συμβολοσειρά user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Πώς να το επιτρέψετε
User-agent: Googlebot
Allow: /Πώς να το μπλοκάρετε
User-agent: Googlebot
Disallow: /Πώς να επαληθεύσετε τις πραγματικές επισκέψεις
Η Google λέει ότι οι συμβολοσειρές user agent μπορούν να πλαστογραφηθούν και συνιστά έλεγχο DNS σε δύο βήματα. Εκτελέστε αντίστροφη αναζήτηση DNS (reverse DNS) στην IP του αιτήματος: το όνομα host πρέπει να τελειώνει σε googlebot.com, google.com ή googleusercontent.com. Έπειτα εκτελέστε ευθεία αναζήτηση (forward lookup) σε αυτό το όνομα host και επιβεβαιώστε ότι επιστρέφει την ίδια IP. Η Google δημοσιεύει επίσης τα εύρη IP των κοινών crawlers της ως JSON, ώστε να ταιριάζετε τις διευθύνσεις αυτόματα.
Ελέγξτε αν ο ιστότοπός σας το αφήνει να μπει →
AEO και SEO: τι είναι ίδιο και τι αλλάζει για τις απαντήσεις AI →