Πώς να αποκλείσετε την εκπαίδευση AI αλλά να μείνετε στις απαντήσεις της AI αναζήτησης

Q: Θα με αφαιρέσει από τις απαντήσεις του ChatGPT ο αποκλεισμός του GPTBot;

Όχι. Η OpenAI λέει ότι ο GPTBot αφορά την εκπαίδευση και ότι κάθε ρύθμιση robots.txt είναι ανεξάρτητη. Η αναζήτηση του ChatGPT χρησιμοποιεί τον OAI-SearchBot· όσο επιτρέπεται και δεν τον αποκλείει το firewall σας, οι σελίδες σας παραμένουν επιλέξιμες.

Q: Υπάρχει μία γραμμή που αποκλείει κάθε εκπαίδευση AI;

Καμία τυπική γραμμή δεν το κάνει. Το Content-Signal: ai-train=no δηλώνει την προτίμηση για όλους τους crawlers, αλλά το αν ένας crawler την τηρεί εξαρτάται από τον φορέα. Οι ονομασμένες ομάδες για κάθε token εκπαίδευσης είναι ο τεκμηριωμένος τρόπος.

Δημοσιεύθηκε 2026-11-12

Σύντομη απάντηση

Οι περισσότεροι πάροχοι AI χρησιμοποιούν ξεχωριστά tokens στο robots.txt για την εκπαίδευση μοντέλων και για την αναζήτηση. Απαγορεύστε τα tokens εκπαίδευσης, όπως GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent και CCBot, και επιτρέψτε τα tokens αναζήτησης και χρηστών, όπως OAI-SearchBot, Claude-SearchBot και PerplexityBot. Προσθέστε μια γραμμή Content-Signal για να δηλώσετε την ίδια προτίμηση με λόγια.

Πολλοί ιδιοκτήτες ιστότοπων θέλουν δύο πράγματα ταυτόχρονα: δεν θέλουν το περιεχόμενό τους να χρησιμοποιείται για την εκπαίδευση μοντέλων AI, αλλά θέλουν οι βοηθοί AI να βρίσκουν, να παραθέτουν και να συνδέουν τις σελίδες τους. Επειδή οι μεγάλοι πάροχοι χωρίζουν πλέον αυτούς τους ρόλους σε διαφορετικούς crawlers ή tokens, το robots.txt μπορεί να εκφράσει και τις δύο επιλογές. Το πρόβλημα είναι ότι τα ονόματα διαφέρουν ανά πάροχο, μερικοί πάροχοι δεν ταιριάζουν στο μοτίβο και μία λάθος γραμμή μπορεί να σας βγάλει από τις απαντήσεις AI αντί από τα δεδομένα εκπαίδευσης.

Σε αυτή τη σελίδα

Ποια είναι η διαφορά ανάμεσα σε crawler εκπαίδευσης και crawler αναζήτησης;
Ποια tokens ελέγχουν την εκπαίδευση και ποια την αναζήτηση;
Πώς μοιάζει το robots.txt;
Πόσοι ιστότοποι το κάνουν ήδη;
Τι προσθέτει το Content-Signal;
Πού δεν λειτουργεί καθαρά ο διαχωρισμός;
Πώς ελέγχω ότι ο διαχωρισμός λειτουργεί;

Ποια είναι η διαφορά ανάμεσα σε crawler εκπαίδευσης και crawler αναζήτησης;

Ένας crawler εκπαίδευσης συλλέγει σελίδες που μπορεί να χρησιμοποιηθούν για τη δημιουργία ή τη βελτίωση μοντέλων AI. Η εκπαίδευση από μόνη της δεν παράγει παράθεση ή σύνδεσμο. Ένας crawler αναζήτησης χτίζει ένα ευρετήριο που χρησιμοποιεί ένας βοηθός AI για να βρει πηγές για μια απάντηση, και αυτές οι πηγές είναι που μπορεί να παραθέσει. Ένας agent που ενεργοποιείται από χρήστη ανοίγει μια σελίδα ζωντανά επειδή κάποιος ρώτησε γι' αυτήν.

Οι πάροχοι τεκμηριώνουν αυτούς τους ρόλους ξεχωριστά και λένε ότι οι ρυθμίσεις είναι ανεξάρτητες. Η OpenAI, για παράδειγμα, λέει ότι κάθε ρύθμιση robots.txt για τους crawlers της είναι ανεξάρτητη από τις άλλες. Έτσι, μια εξαίρεση από την εκπαίδευση, όταν γίνει σωστά, δεν αγγίζει την ορατότητά σας στην αναζήτηση.

Ποια tokens ελέγχουν την εκπαίδευση και ποια την αναζήτηση;

Αυτά είναι τα tokens που τεκμηριώνουν οι πάροχοι, ομαδοποιημένα ανάλογα με το τι ελέγχουν:

OpenAI: ο GPTBot σαρώνει περιεχόμενο που μπορεί να χρησιμοποιηθεί για την εκπαίδευση των θεμελιωδών μοντέλων της. Ο OAI-SearchBot αφορά την αναζήτηση του ChatGPT και ο ChatGPT-User χειρίζεται ενέργειες χρηστών· η OpenAI λέει ότι το robots.txt μπορεί να μην ισχύει για αυτόν.
Anthropic: ο ClaudeBot συλλέγει περιεχόμενο που θα μπορούσε να συμβάλει στην εκπαίδευση. Ο Claude-SearchBot βελτιώνει τα αποτελέσματα αναζήτησης του Claude και ο Claude-User ανακτά σελίδες για χρήστες. Η Anthropic λέει ότι τα bots της τηρούν το robots.txt.
Google: το Google-Extended είναι token του robots.txt χωρίς δικό του crawler. Ελέγχει τη χρήση στην εκπαίδευση μελλοντικών μοντέλων Gemini και στο grounding για τις εφαρμογές Gemini και το Vertex AI. Η Google λέει ότι δεν επηρεάζει την εισαγωγή ή την κατάταξη στην Αναζήτηση Google, η οποία ελέγχεται μέσω του Googlebot.
Apple: το Applebot-Extended δεν σαρώνει· ελέγχει αν το περιεχόμενο που σαρώθηκε από τον Applebot χρησιμοποιείται για την εκπαίδευση των θεμελιωδών μοντέλων της Apple. Η Apple λέει ότι σελίδες που το απαγορεύουν μπορούν και πάλι να εμφανίζονται στα αποτελέσματα αναζήτησής της.
Meta: ο meta-externalagent σαρώνει για χρήσεις όπως η εκπαίδευση θεμελιωδών μοντέλων, ενώ ο meta-webindexer βελτιώνει τα αποτελέσματα αναζήτησης του Meta AI.
Common Crawl: ο CCBot χτίζει το δημόσιο αρχείο του web του Common Crawl. Το managed robots.txt του Cloudflare τον συγκαταλέγει στους crawlers εκπαίδευσης AI που απαγορεύει.
Perplexity: ο PerplexityBot και ο Perplexity-User εξυπηρετούν την αναζήτηση και τα αιτήματα χρηστών. Η Perplexity λέει ότι κανένας από τους δύο δεν χρησιμοποιείται για τη συλλογή δεδομένων εκπαίδευσης, άρα δεν υπάρχει token εκπαίδευσης της Perplexity που να χρειάζεται αποκλεισμό.

Πώς μοιάζει το robots.txt;

Σύμφωνα με το RFC 9309, αρκετές διαδοχικές γραμμές User-agent σχηματίζουν μία ομάδα, ώστε οι κανόνες να ισχύουν για καθεμία. Αυτό το αρχείο εξαιρεί τα παραπάνω tokens εκπαίδευσης, επιτρέπει τους agents αναζήτησης και χρηστών και κρατά μια ιδιωτική διαδρομή κλειστή για όλους:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Δύο λεπτομέρειες έχουν σημασία. Πρώτον, μια ονομασμένη ομάδα δεν κληρονομεί από το *, οπότε οι ιδιωτικές διαδρομές πρέπει να επαναλαμβάνονται στην ομάδα αναζήτησης. Δεύτερον, μην προσθέσετε τον Googlebot ή τον Applebot στην ομάδα εκπαίδευσης: είναι οι crawlers αναζήτησης και ο αποκλεισμός τους σας αφαιρεί από την Αναζήτηση Google και τις λειτουργίες αναζήτησης της Apple. Οι αλλαγές δεν είναι άμεσες: η OpenAI αναφέρει περίπου 24 ώρες για την αναζήτηση και η Perplexity έως και 24 ώρες.

Πόσοι ιστότοποι το κάνουν ήδη;

Λιγότεροι απ' όσο θα περιμένατε. Διαβάσαμε τα robots.txt των 1.000 δημοφιλέστερων domains της λίστας Tranco στις 2026-11-12. Από τους 518 που σέρβιραν robots.txt, οι 155 (29,9%) απαγορεύουν την αρχική σελίδα σε τουλάχιστον έναν crawler εκπαίδευσης AI. Μόνο οι 57 (11,0%) ακολουθούν την επιλεκτική οδό: αποκλείουν crawlers εκπαίδευσης και επιτρέπουν κάθε crawler αναζήτησης και χρηστών AI που δοκιμάσαμε. Συνολικά, 101 ιστότοποι (19,5%) αποκλείουν τουλάχιστον έναν crawler αναζήτησης ή χρηστών AI.

Οι αριθμοί ανά crawler δείχνουν τον ίδιο διαχωρισμό. Ο GPTBot είναι αποκλεισμένος σε 111 ιστότοπους (21,4%) και ο OAI-SearchBot σε 58 (11,2%). Ο ClaudeBot είναι αποκλεισμένος σε 110 (21,2%) και ο Claude-SearchBot σε 67 (12,9%). Το Google-Extended είναι αποκλεισμένο σε 94 (18,1%), ο Googlebot σε 14 (2,7%). Μόνο 18 ιστότοποι (3,5%) χρησιμοποιούν Content-Signal.

Η μελέτη εξετάζει μόνο τους κανόνες robots.txt για την αρχική σελίδα. Δεν μετρά αποκλεισμούς από firewall και δεν δείχνει τι σκόπευε κάθε ιστότοπος.

Τι προσθέτει το Content-Signal;

Το Content Signals είναι μια επέκταση του robots.txt που δημοσιεύει το Cloudflare στο contentsignals.org. Μια γραμμή Content-Signal δηλώνει πώς μπορεί να χρησιμοποιηθεί το περιεχόμενο, με τρία σήματα: search (δημιουργία ευρετηρίου αναζήτησης και εμφάνιση συνδέσμων και σύντομων αποσπασμάτων), ai-input (εισαγωγή περιεχομένου σε μοντέλα AI σε πραγματικό χρόνο, όπως grounding ή ανάκτηση για παραγωγικές απαντήσεις) και ai-train (εκπαίδευση ή fine-tuning μοντέλων).

Σημειώστε ότι ο ορισμός του search εξαιρεί τις περιλήψεις αναζήτησης που παράγονται από AI. Αν θέλετε να εμφανίζεστε στις απαντήσεις AI, ορίστε επίσης ai-input=yes, όπως στο παραπάνω παράδειγμα. Το managed robots.txt του Cloudflare προσθέτει από προεπιλογή search=yes, ai-train=no· ένα σήμα που παραλείπετε ούτε παραχωρεί ούτε περιορίζει αυτή τη χρήση.

Πρόκειται για δηλωμένες προτιμήσεις. Ο ιστότοπος Content Signals λέει ότι δεν εμποδίζουν τη σάρωση σε τεχνικό επίπεδο και το Cloudflare σημειώνει ότι η τήρηση του robots.txt είναι εθελοντική. Καμία από τις σελίδες crawlers της OpenAI, της Anthropic, της Google ή της Perplexity που ελέγξαμε δεν λέει αν διαβάζουν το Content-Signal, οπότε αντιμετωπίστε το ως προσθήκη στις ομάδες ανά crawler και όχι ως αντικατάστασή τους.

Πού δεν λειτουργεί καθαρά ο διαχωρισμός;

Μερικές περιπτώσεις θέλουν προσοχή:

Τα AI Overviews και το AI Mode της Google βασίζονται στο ευρετήριο της Αναζήτησης που χτίζει ο Googlebot, οπότε το Google-Extended δεν σας βγάζει από αυτά. Η βοήθεια του Search Console της Google προσθέτει ότι το Google-Extended περιορίζει την εκπαίδευση των μοντέλων πίσω από τις λειτουργίες γενετικής AI της Αναζήτησης, ένα εύρος που η τεκμηρίωση του crawler δεν αναφέρει. Η Google προσφέρει πλέον ξεχωριστή ρύθμιση στο Search Console για να εξαιρέσετε έναν ιστότοπο από τα AI Overviews και το AI Mode.
Η OpenAI λέει ότι αν ένας ιστότοπος επιτρέπει και τον GPTBot και τον OAI-SearchBot, μπορεί να χρησιμοποιήσει τα αποτελέσματα μιας σάρωσης και για τους δύο σκοπούς. Η απαγόρευση του GPTBot είναι αυτό που δηλώνει ότι το περιεχόμενο δεν πρέπει να χρησιμοποιείται για εκπαίδευση.
Οι εξαιρέσεις ισχύουν προς το μέλλον. Η Anthropic, για παράδειγμα, περιγράφει την απαγόρευση του ClaudeBot ως εξαίρεση του μελλοντικού περιεχομένου του ιστότοπού σας από τα σύνολα δεδομένων εκπαίδευσης.
Οι agents που ενεργοποιούνται από χρήστη βρίσκονται στη μέση. Η OpenAI και η Perplexity λένε ότι το robots.txt μπορεί να μην ισχύει για τον ChatGPT-User και γενικά δεν ισχύει για τον Perplexity-User.
Τα firewalls δεν διαβάζουν το robots.txt. Ένας ευρύς κανόνας αποκλεισμού bots μπορεί να σταματήσει τους crawlers αναζήτησης που επιτρέψατε. Αν επιβάλλετε τον αποκλεισμό της εκπαίδευσης στο firewall, αντιστοιχίστε τους agents εκπαίδευσης με το όνομά τους και επαληθεύστε τους με τα δημοσιευμένα εύρη IP τους.

Πώς ελέγχω ότι ο διαχωρισμός λειτουργεί;

Διαβάστε το robots.txt σας όπως θα το διάβαζε κάθε crawler: βρείτε την ομάδα που τον αναφέρει, καταφύγετε στο * μόνο αν δεν υπάρχει καμία και εφαρμόστε τον μακρύτερο κανόνα που ταιριάζει. Έπειτα ζητήστε μια σελίδα με το user agent κάθε crawler αναζήτησης και επιβεβαιώστε ότι λαμβάνει 200 με το πλήρες περιεχόμενο και όχι 403 ή σελίδα πρόκλησης.

Το AISeeWhy κάνει και τα δύο για 14 crawlers, ομαδοποιημένους ως agents εκπαίδευσης, αναζήτησης και χρηστών, και επισημαίνει το πιο συχνό λάθος: τον αποκλεισμό ενός token αναζήτησης όπως το PerplexityBot ή το Claude-SearchBot ενώ ο στόχος ήταν να αποκλειστεί η εκπαίδευση.

Συχνές ερωτήσεις

Θα με αφαιρέσει από τις απαντήσεις του ChatGPT ο αποκλεισμός του GPTBot;

Όχι. Η OpenAI λέει ότι ο GPTBot αφορά την εκπαίδευση και ότι κάθε ρύθμιση robots.txt είναι ανεξάρτητη. Η αναζήτηση του ChatGPT χρησιμοποιεί τον OAI-SearchBot· όσο επιτρέπεται και δεν τον αποκλείει το firewall σας, οι σελίδες σας παραμένουν επιλέξιμες.

Με αφαιρεί από τα AI Overviews ο αποκλεισμός του Google-Extended;

Όχι σύμφωνα με την τεκμηρίωση της Google. Η Google λέει ότι το Google-Extended δεν επηρεάζει την εισαγωγή στην Αναζήτηση Google και τα AI Overviews βασίζονται στο ευρετήριο της Αναζήτησης. Η Google προσφέρει ξεχωριστό έλεγχο στο Search Console για να εξαιρέσετε έναν ιστότοπο από τα AI Overviews και το AI Mode.

Υπάρχει μία γραμμή που αποκλείει κάθε εκπαίδευση AI;

Καμία τυπική γραμμή δεν το κάνει. Το Content-Signal: ai-train=no δηλώνει την προτίμηση για όλους τους crawlers, αλλά το αν ένας crawler την τηρεί εξαρτάται από τον φορέα. Οι ονομασμένες ομάδες για κάθε token εκπαίδευσης είναι ο τεκμηριωμένος τρόπος.

Πρέπει να αποκλείσω την Perplexity για να σταματήσω την εκπαίδευση AI;

Η Perplexity λέει ότι οι agents της δεν χρησιμοποιούνται για τη συλλογή δεδομένων εκπαίδευσης. Ο αποκλεισμός του PerplexityBot μειώνει την ορατότητά σας στα αποτελέσματα αναζήτησης της Perplexity χωρίς να λειτουργεί ως εξαίρεση από την εκπαίδευση.