Βλέπει το Gemini τον ιστότοπό μου; Πώς θα το ελέγξετε

Δημοσιεύθηκε · Ενημερώθηκε

Σύντομη απάντηση

Το Gemini μπορεί να χρησιμοποιήσει τη σελίδα σας σε μια τεκμηριωμένη (grounded) απάντηση μόνο αν η σελίδα βρίσκεται στο ευρετήριο της Αναζήτησης Google και το robots.txt σας δεν απαγορεύει το token Google-Extended. Η Google λέει ότι το grounding στην εφαρμογή Gemini δίνει στο μοντέλο περιεχόμενο από το ευρετήριο της Αναζήτησης Google και ότι το Google-Extended ελέγχει αν το περιεχόμενό σας μπορεί να χρησιμοποιηθεί γι' αυτό. Ελέγξτε λοιπόν την ευρετηρίαση στο Search Console, ελέγξτε το robots.txt για Googlebot και Google-Extended, και έπειτα κάντε στο Gemini τις ερωτήσεις των πελατών σας και ανοίξτε τις πηγές του.

Το Gemini δεν έχει crawler που μπορείτε να εντοπίσετε στα logs σας, όπως συμβαίνει με άλλους βοηθούς. Η Google σαρώνει με τους υπάρχοντες crawlers της, και ένα token στο robots.txt αποφασίζει τι μπορεί να κάνει το Gemini με το περιεχόμενο. Γι' αυτό ο έλεγχος είναι διαφορετικός: το μεγαλύτερο μέρος του γίνεται στο Google Search Console και στο robots.txt σας, και το τελευταίο βήμα στο ίδιο το Gemini.

Σε αυτή τη σελίδα
  1. Ο έλεγχος 5 λεπτών, βήμα προς βήμα
  2. Πώς παίρνει το Gemini πληροφορίες από ιστότοπους;
  3. Πώς ελέγχω αν η Google έχει ευρετηριάσει τη σελίδα μου;
  4. Εμποδίζει το Google-Extended το Gemini να χρησιμοποιεί τον ιστότοπό μου;
  5. Μπορεί ένα firewall να μπλοκάρει την Google ενώ οι browsers περνούν;
  6. Πώς βλέπω αν το Gemini χρησιμοποιεί ή παραθέτει τον ιστότοπό μου;
  7. Επηρεάζουν το Gemini τα AI Overviews, το AI Mode και οι κανόνες snippet;
  8. Πώς το ελέγχει το AISeeWhy;

Ο έλεγχος 5 λεπτών, βήμα προς βήμα

  1. Αναζητήστε στη Google site: μαζί με τη διεύθυνση της σελίδας σας, ή χρησιμοποιήστε τον Έλεγχο URL στο Search Console, για να επιβεβαιώσετε ότι η σελίδα είναι στο ευρετήριο της Google.
  2. Ανοίξτε το robots.txt σας και βεβαιωθείτε ότι ο Googlebot μπορεί να ανακτήσει τη σελίδα και ότι το Google-Extended δεν απαγορεύεται, εκτός αν επιλέξατε να εξαιρεθείτε.
  3. Τρέξτε έναν δωρεάν έλεγχο της σελίδας στο AISeeWhy ή στείλτε ένα αίτημα με τον user agent Googlebot: πρέπει να πάρει status 200 και το ίδιο κείμενο με έναν browser.
  4. Κάντε στο Gemini μια ερώτηση που απαντά η σελίδα σας και ανοίξτε τις πηγές που δείχνει κάτω από την απάντηση.

Αν η σελίδα δεν είναι στο ευρετήριο, το grounding του Gemini δεν μπορεί να τη χρησιμοποιήσει, οπότε ξεκινήστε από το βήμα 1. Οι παρακάτω ενότητες εξηγούν κάθε βήμα και τι να κάνετε όταν αποτυγχάνει.

Πώς παίρνει το Gemini πληροφορίες από ιστότοπους;

Το Gemini Apps Privacy Hub της Google λέει ότι ορισμένες απαντήσεις του Gemini βασίζονται (grounded) σε αποτελέσματα της Αναζήτησης. Η τεκμηρίωση της Google για τους crawlers ορίζει το grounding ως την παροχή περιεχομένου από το ευρετήριο της Αναζήτησης Google στο μοντέλο τη στιγμή του prompt, για καλύτερη ακρίβεια και συνάφεια. Η ίδια σελίδα λέει ότι το Google-Extended ελέγχει αν το περιεχόμενο που σαρώνει η Google μπορεί να χρησιμοποιηθεί για την εκπαίδευση μοντέλων Gemini και για grounding στις εφαρμογές Gemini και στο Grounding with Google Search του Vertex AI.

Το Google-Extended δεν έχει δικό του user agent string. Η Google λέει ότι η σάρωση γίνεται με τους υπάρχοντες user agents της και ότι το token λειτουργεί μόνο ως ρύθμιση στο robots.txt. Στην πράξη αυτό δίνει δύο προϋποθέσεις για να χρησιμοποιήσει το Gemini τη σελίδα σας: η Google πρέπει να την έχει στο ευρετήριό της και το robots.txt σας δεν πρέπει να απαγορεύει το Google-Extended γι' αυτήν.

Η Google δεν τεκμηριώνει πώς επιλέγει το Gemini ποιες σελίδες του ευρετηρίου θα χρησιμοποιήσει ή θα παραθέσει. Αν πληρούνται και οι δύο προϋποθέσεις, η σελίδα σας είναι διαθέσιμη· δεν είναι εγγυημένο ότι το Gemini θα τη διαλέξει.

Πώς ελέγχω αν η Google έχει ευρετηριάσει τη σελίδα μου;

Χρησιμοποιήστε το εργαλείο Έλεγχος URL στο Google Search Console. Για την ευρετηριασμένη έκδοση δείχνει:

Η Δοκιμή δημοσιευμένης διεύθυνσης URL ανακτά τη σελίδα σε πραγματικό χρόνο και η Προβολή σελίδας που ελέγχθηκε δείχνει ένα στιγμιότυπο και το HTML που έλαβε η Google. Αν το στιγμιότυπο είναι σελίδα πρόκλησης ή στο HTML λείπει το κύριο κείμενό σας, η Google, και μαζί της το Gemini, δεν βλέπει το περιεχόμενό σας. Το Αίτημα ευρετηρίασης ζητά από την Google να σαρώσει ξανά το URL· η Google λέει ότι συνήθως παίρνει περίπου μία ημέρα, χωρίς εγγύηση ευρετηρίασης.

Εμποδίζει το Google-Extended το Gemini να χρησιμοποιεί τον ιστότοπό μου;

Ανοίξτε το robots.txt σας και αναζητήστε ομάδα που ονομάζει το Google-Extended. Ένα Disallow: / εκεί λέει στην Google να μη χρησιμοποιεί τις σελίδες σας για εκπαίδευση του Gemini ή για grounding στις εφαρμογές Gemini. Η Google λέει ότι το token δεν επηρεάζει την παρουσία στην Αναζήτηση Google και δεν είναι σήμα κατάταξης, οπότε αυτός ο αποκλεισμός περνά εύκολα απαρατήρητος: η επισκεψιμότητα από την αναζήτηση φαίνεται κανονική, ενώ το Gemini δεν μπορεί να βασίσει απαντήσεις στις σελίδες σας. Το ξεχωριστό άρθρο μας για τα AI Overviews και το Google-Extended εξηγεί τι ελέγχει και τι δεν ελέγχει το token στην Αναζήτηση.

Επειδή το token δεν εμφανίζεται ποτέ στα αιτήματα, δεν μπορείτε να το δοκιμάσετε με curl ούτε να το βρείτε στα logs. Ο μόνος έλεγχος είναι να διαβάσετε το αρχείο:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Η αντιστοίχιση δεν κάνει διάκριση πεζών-κεφαλαίων, και αν καμία ομάδα δεν ονομάζει το Google-Extended, ισχύει γι' αυτό η ομάδα *. Πολλοί ιστότοποι πρόσθεσαν αυτόν τον αποκλεισμό όταν πρωτοσυζητήθηκε η εκπαίδευση της AI. Στη μελέτη μας για τα 1.000 πιο δημοφιλή domains, 114 από τους 518 ιστότοπους με robots.txt ονόμαζαν το Google-Extended και 94 (18,1%) του απαγόρευαν την αρχική σελίδα. Αποφασίστε αν αυτό εξακολουθεί να είναι αυτό που θέλετε, δεδομένου ότι καλύπτει και το grounding.

Μπορεί ένα firewall να μπλοκάρει την Google ενώ οι browsers περνούν;

Ναι. Αν μια προστασία από bots ή ένα rate limit απαντά στους crawlers της Google με 403, 429 ή σελίδα πρόκλησης, η Google δεν μπορεί να σαρώσει τη σελίδα, και με τον καιρό αυτή μπορεί να βγει από την Αναζήτηση και, μαζί, από το grounding του Gemini. Ο Έλεγχος URL είναι η καλύτερη δοκιμή εδώ, γιατί η Google ανακτά από τις δικές της διευθύνσεις· μια δοκιμή με curl από τον υπολογιστή σας δείχνει μόνο πώς αντιμετωπίζουν οι κανόνες σας τον user agent.

Για να επιτρέψετε την Google με ασφάλεια, επαληθεύστε τον επισκέπτη αντί να εμπιστεύεστε το όνομα. Η Google τεκμηριώνει μια αντίστροφη αναζήτηση DNS ακολουθούμενη από ευθεία αναζήτηση και δημοσιεύει εύρη IP για τους κοινούς crawlers της στο common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Αντικαταστήστε τη διεύθυνση του παραδείγματος με μία από τα logs σας. Αν οι δύο αναζητήσεις δεν ταιριάζουν, το αίτημα απλώς ισχυρίζεται ότι είναι η Google.

Πώς βλέπω αν το Gemini χρησιμοποιεί ή παραθέτει τον ιστότοπό μου;

Κάντε στο Gemini τις ερωτήσεις που κάνουν οι πελάτες σας, χωρίς να ονομάσετε τον ιστότοπό σας, και ανοίξτε τις πηγές. Το κέντρο βοήθειας της Google λέει ότι το κουμπί Πηγές εμφανίζεται στο κάτω μέρος μιας απάντησης ή μέσα στο κείμενο και ανοίγει ένα πλαίσιο με σχετικούς συνδέσμους που μπορεί να περιλαμβάνουν δημόσιους ιστότοπους. Αν δεν υπάρχει κουμπί Πηγές, το Gemini δεν έδωσε συνδέσμους γι' αυτή την απάντηση, και η Google σημειώνει ότι δεν τους περιλαμβάνουν όλες οι απαντήσεις. Καταγράψτε ποια domains εμφανίζονται και επαναλάβετε τις ίδιες ερωτήσεις για μερικές εβδομάδες.

Οι developers μπορούν να κάνουν την ίδια δοκιμή μέσω του Gemini API με Grounding with Google Search. Η Google λέει ότι συνδέει το μοντέλο με περιεχόμενο του web σε πραγματικό χρόνο, και οι grounded απαντήσεις φέρουν παραθέσεις με το URL και τον τίτλο κάθε πηγής, οπότε μπορείτε να ελέγξετε αν εμφανίζεται το domain σας. Οι απαντήσεις του API μπορεί να διαφέρουν από όσα δείχνει η εφαρμογή Gemini.

Ορισμένες ανακτήσεις που σχετίζονται με το Gemini φτάνουν όντως στον server σας. Η Google αναφέρει fetchers που ενεργοποιούνται από χρήστες, όπως ο Google-GeminiNotebook, που ζητά URLs τα οποία οι χρήστες προσθέτουν ως πηγές σε ένα project του Gemini Notebook, και ο Google-Agent, που χρησιμοποιείται από agents στην υποδομή της Google οι οποίοι ενεργούν κατόπιν αιτήματος χρήστη. Η Google λέει ότι αυτοί οι fetchers γενικά αγνοούν το robots.txt, επειδή την ανάκτηση τη ζήτησε ένας χρήστης. Οι επισκέψεις τους δείχνουν ότι άνθρωποι ανοίγουν τις σελίδες σας μέσα από αυτά τα προϊόντα· δεν είναι η διαδρομή grounding που περιγράφεται παραπάνω.

Επηρεάζουν το Gemini τα AI Overviews, το AI Mode και οι κανόνες snippet;

Τα AI Overviews και το AI Mode είναι λειτουργίες της Αναζήτησης Google με δικές τους ρυθμίσεις. Η Google αναφέρει τα nosnippet, data-nosnippet, max-snippet και noindex ως τρόπους να περιορίσετε τι εμφανίζεται από τις σελίδες σας. Η τεκμηρίωσή της για το meta tag robots λέει ότι το nosnippet εμποδίζει επίσης τη χρήση του περιεχομένου ως άμεσης εισόδου για τα AI Overviews και το AI Mode και ότι το max-snippet περιορίζει πόσο μπορεί να χρησιμοποιηθεί. Το Search Console έχει επίσης μια ρύθμιση γενετικής AI στην Αναζήτηση για όλο τον ιστότοπο, που μπορεί να εξαιρέσει έναν ιστότοπο από τα AI Overviews, το AI Mode και τις λειτουργίες γενετικής AI στο Discover.

Καμία από αυτές τις σελίδες δεν αναφέρει την εφαρμογή Gemini. Μην υποθέτετε ότι ένας κανόνας snippet ή η ρύθμιση του Search Console αλλάζει το grounding του Gemini, ή ότι το Google-Extended αλλάζει τα AI Overviews. Το noindex είναι η εξαίρεση: σύμφωνα με τον ορισμό της Google για το grounding, μια σελίδα εκτός του ευρετηρίου της Αναζήτησης δεν μπορεί να χρησιμοποιηθεί γι' αυτό. Για να βρείτε κανόνες snippet που ίσως έχετε ξεχάσει, ελέγξτε το HTML και τις κεφαλίδες:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Πώς το ελέγχει το AISeeWhy;

Ο δωρεάν έλεγχος του AISeeWhy ανακτά τη σελίδα σας ως Googlebot και οι άλλοι AI crawlers και crawlers αναζήτησης δίπλα σε έναν πραγματικό browser, εφαρμόζει το robots.txt σας στον καθένα, μαζί με το token Google-Extended, αναγνωρίζει σελίδες πρόκλησης και δείχνει πόσο κείμενο φτάνει χωρίς JavaScript. Ο έλεγχος ορατότητας στην AI, στα επί πληρωμή πλάνα, κάνει τις ερωτήσεις σας μέσω του Gemini API με grounding στην Αναζήτηση Google, με το δικό σας κλειδί, και δείχνει αν η μάρκα ή το domain σας αναφέρεται ή παρατίθεται. Δεν ελέγχει τα AI Overviews ούτε το AI Mode.

Δωρεάν εργαλεία

Επόμενα βήματα

Crawlers σε αυτό το άρθρο

Συχνές ερωτήσεις

Μπορώ να ελέγξω δωρεάν αν το Gemini βλέπει τον ιστότοπό μου;

Ναι. Το Search Console, μια αναζήτηση site:, το robots.txt σας και μια ερώτηση στο Gemini δεν κοστίζουν τίποτα. Ο δωρεάν έλεγχος του AISeeWhy δοκιμάζει τον Googlebot, τον κανόνα Google-Extended και 14 άλλους crawlers για μία σελίδα την ημέρα.

Έχει το Gemini δικό του crawler;

Όχι για το grounding. Η Google λέει ότι το Google-Extended δεν έχει user agent string και ότι η σάρωση γίνεται με τους υπάρχοντες crawlers της. Ξεχωριστοί fetchers που ενεργοποιούνται από χρήστες, όπως ο Google-GeminiNotebook και ο Google-Agent, επισκέπτονται σελίδες όταν το ζητήσει ένας χρήστης, και η Google λέει ότι γενικά αγνοούν το robots.txt.

Αν μπλοκάρω το Google-Extended, μπορεί το Gemini να αναφέρει ακόμη τη μάρκα μου;

Η Google λέει ότι δεν θα χρησιμοποιεί το περιεχόμενό σας για grounding στις εφαρμογές Gemini. Ο κανόνας αυτός αφορά τις δικές σας σελίδες. Η Google δεν λέει τίποτα για περιεχόμενο σε άλλους ιστότοπους που γράφουν για εσάς, οπότε το Gemini μπορεί ακόμη να ονομάσει τη μάρκα σας από εκείνες τις πηγές.

Σε πόσο χρόνο φτάνει στο Gemini μια αλλαγή στο robots.txt;

Η Google δεν δίνει χρόνο για το Gemini. Η τεκμηρίωσή της για το robots.txt λέει ότι η Google γενικά αποθηκεύει το αρχείο για έως 24 ώρες, οπότε αφήστε τουλάχιστον μία ημέρα πριν δοκιμάσετε ξανά, και περισσότερο για σελίδες που η Google σαρώνει σπάνια.

Χρησιμοποιούν τα AI Overviews και το Gemini τις ίδιες πηγές;

Η Google δεν τεκμηριώνει πώς σχετίζονται. Και τα δύο αντλούν από το ευρετήριο της Google, αλλά έχουν διαφορετικές ρυθμίσεις: κανόνες snippet και τη ρύθμιση του Search Console για τα AI Overviews και το AI Mode, και το Google-Extended για το grounding του Gemini. Ελέγξτε τα χωριστά.

Πώς παρακολουθώ τις απαντήσεις του Gemini με τον καιρό;

Κρατήστε μια σταθερή λίστα ερωτήσεων πελατών, κάντε τες στο Gemini σε τακτά διαστήματα και καταγράψτε ποια domains εμφανίζονται στις πηγές. Ο έλεγχος ορατότητας στην AI του AISeeWhy τρέχει τις ερωτήσεις σας κάθε εβδομάδα μέσω του Gemini API με grounding στην Αναζήτηση Google και δείχνει τις αναφορές δίπλα σε έως τέσσερις ανταγωνιστές. Τα αποτελέσματα του API μπορεί να διαφέρουν από την εφαρμογή Gemini.

Πηγές

Περισσότερα άρθρα