Τι είναι το Content-Signal στο robots.txt και το ακολουθεί κανείς;
Το Content-Signal είναι μια προαιρετική γραμμή του robots.txt, που δημοσίευσε το Cloudflare, η οποία δηλώνει πώς μπορεί να χρησιμοποιηθεί το περιεχόμενό σας αφού ανακτηθεί: search για αποτελέσματα αναζήτησης, ai-input για χρήση σε απαντήσεις AI και ai-train για εκπαίδευση μοντέλων, το καθένα με τιμή yes ή no, όπως στο Content-Signal: search=yes, ai-input=yes, ai-train=no. Εκφράζει μια προτίμηση και δεν μπλοκάρει τίποτα. Τον Νοέμβριο του 2026 καμία σελίδα crawlers της OpenAI, της Anthropic, της Google ή της Perplexity δεν λέει ότι τη διαβάζει, ενώ οι μεγάλες εταιρείες AI έχουν υποστηρίξει ένα διαφορετικό token που αφορά μόνο την εκπαίδευση.
Το robots.txt φτιάχτηκε για να λέει πού μπορεί να πάει ένας crawler, όχι τι μπορεί να γίνει με όσα διαβάζει. Όταν η ίδια ανάκτηση άρχισε να τροφοδοτεί ένα ευρετήριο αναζήτησης, μια ζωντανή απάντηση AI και ένα σύνολο εκπαίδευσης, αυτό το κενό απέκτησε σημασία. Το Cloudflare δημοσίευσε την Content Signals Policy στις 24 Σεπτεμβρίου 2025 με άδεια CC0 για να το καλύψει, και είπε τότε ότι οι πελάτες του είχαν ήδη ενεργοποιήσει το managed robots.txt για πάνω από 3,8 εκατομμύρια domains, μια λειτουργία που τώρα προσθέτει τη γραμμή για λογαριασμό τους.
Σε αυτή τη σελίδα
- Τι σημαίνουν τα search, ai-input και ai-train;
- Πώς γράφω μια γραμμή Content-Signal στο robots.txt;
- Τι λέει το κείμενο της πολιτικής πάνω από τη γραμμή;
- Υπάρχει ήδη Content-Signal στο robots.txt μου;
- Ακολουθούν οι AI crawlers το Content-Signal;
- Να προσθέσω Content-Signal στο robots.txt μου;
- Πώς ελέγχω τι λέει το robots.txt μου σε κάθε crawler;
Τι σημαίνουν τα search, ai-input και ai-train;
Η πολιτική ορίζει τρία σήματα. Η διατύπωση παρακάτω ακολουθεί το contentsignals.org και το κείμενο της πολιτικής που δημοσιεύει το Cloudflare:
search: δημιουργία ευρετηρίου αναζήτησης και παροχή αποτελεσμάτων αναζήτησης, για παράδειγμα επιστροφή υπερσυνδέσμων και σύντομων αποσπασμάτων από τις σελίδες σας. Ο ορισμός λέει ότι το search δεν περιλαμβάνει περιλήψεις αναζήτησης που δημιουργεί η AI.ai-input: εισαγωγή περιεχομένου σε ένα ή περισσότερα μοντέλα AI, για παράδειγμα retrieval augmented generation, grounding ή άλλη χρήση περιεχομένου σε πραγματικό χρόνο για απαντήσεις γενετικής αναζήτησης AI.ai-train: εκπαίδευση ή fine-tuning μοντέλων AI.
Κάθε σήμα παίρνει yes ή no. Με τους όρους της πολιτικής, το yes σημαίνει ότι το περιεχόμενο μπορεί να συλλεχθεί για αυτή τη χρήση, το no ότι δεν μπορεί, και ένα σήμα που παραλείπετε ούτε επιτρέπει ούτε περιορίζει αυτή τη χρήση. Η προεπιλογή του Cloudflare ορίζει τα search και ai-train και αφήνει το ai-input κενό, επειδή, όπως λέει, δεν γνωρίζει την προτίμηση κάθε πελάτη γι' αυτό το σήμα και δεν θέλει να μαντέψει.
Ο διαχωρισμός μεταξύ search και ai-input είναι αυτός που οι περισσότεροι χάνουν. Αν θέλετε οι σελίδες σας να χρησιμοποιούνται σε απαντήσεις AI, το search=yes μόνο του δεν το λέει. Το ai-input=yes το λέει.
Πώς γράφω μια γραμμή Content-Signal στο robots.txt;
Το Content-Signal μπαίνει μέσα σε μια ομάδα user agent, δίπλα στα Allow και Disallow, με τα σήματα χωρισμένα με κόμματα. Το contentsignals.org δείχνει επίσης μια μορφή που ξεκινά με διαδρομή, ώστε ένα τμήμα του ιστότοπου να έχει διαφορετικά σήματα από τα υπόλοιπα:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Τα Allow και Disallow λειτουργούν ακριβώς όπως πριν, και το Content-Signal δεν τα αντικαθιστά. Το RFC 9309 επιτρέπει στους crawlers να ερμηνεύουν εγγραφές που δεν ανήκουν στο πρωτόκολλο, εφόσον αυτό δεν παρεμβαίνει στους καθορισμένους κανόνες, οπότε ένας parser που δεν γνωρίζει τη γραμμή πρέπει να την παραλείψει.
Αξίζει να ξέρετε δύο λεπτομέρειες. Πρώτον, η γραμμή ανήκει σε μια ομάδα. Κατά το RFC 9309 ένας crawler που έχει ομάδα με το δικό του όνομα αγνοεί εντελώς την ομάδα User-agent: *, και οι σελίδες των Content Signals δεν περιγράφουν καμία εξαίρεση για αυτή τη γραμμή. Αν δώσετε στον Googlebot ή στον OAI-SearchBot δική τους ομάδα, επαναλάβετε εκεί τη γραμμή Content-Signal, όπως κάνει το contentsignals.org στο παράδειγμά του ανά crawler. Δεύτερον, το Google Search Console μπορεί να αναφέρει Syntax not understood για τη γραμμή. Η τεκμηρίωση του Cloudflare το αναφέρει και λέει ότι δεν έχει παρατηρήσει επίδραση στη σάρωση ή στο SEO. Η τεκμηρίωση της Google για το robots.txt αναφέρει ως υποστηριζόμενα πεδία μόνο τα user-agent, allow, disallow και sitemap.
Τι λέει το κείμενο της πολιτικής πάνω από τη γραμμή;
Η Content Signals Policy είναι κάτι περισσότερο από μία γραμμή. Η γεννήτρια του Cloudflare στο contentsignals.org και το managed robots.txt του βάζουν ένα μπλοκ σχολίων πάνω από τα σήματα. Ξεκινά λέγοντας ότι, ως προϋπόθεση για την πρόσβαση στον ιστότοπο, συμφωνείτε να τηρείτε τα content signals, και έπειτα ορίζει τα τρία σήματα και τις περιπτώσεις yes, no και απουσίας.
Κλείνει με μια πρόταση σε κεφαλαία που δηλώνει ότι κάθε περιορισμός που εκφράζεται μέσω content signals αποτελεί ρητή επιφύλαξη δικαιωμάτων βάσει του άρθρου 4 της Οδηγίας (ΕΕ) 2019/790 για τα δικαιώματα πνευματικής ιδιοκτησίας στην ψηφιακή ενιαία αγορά. Η ανακοίνωση του Cloudflare προσθέτει ότι τα σήματα μπορεί να έχουν νομική βαρύτητα σε διάφορες δικαιοδοσίες.
Το ίδιο το contentsignals.org προειδοποιεί ότι δικαστήρια και ρυθμιστικές αρχές μπορεί να καταλήξουν πως τα αρχεία robots.txt δεν επιβάλλουν εκτελεστές νομικές υποχρεώσεις και προτείνει να συμβουλευτείτε δικηγόρο. Θεωρήστε το μπλοκ σχολίων γραπτή δήλωση της θέσης σας, όχι σύμβαση.
Υπάρχει ήδη Content-Signal στο robots.txt μου;
Αν ο ιστότοπός σας είναι στο Cloudflare, μπορεί να υπάρχει, με έναν από δύο τρόπους:
- Managed robots.txt. Όταν το Bot Preference Sync είναι ενεργό και τουλάχιστον μία AI Crawler and Agent access policy είναι ρυθμισμένη σε Block, Block on pages with ads ή, για το Training, Disallow, το Cloudflare προτάσσει ένα διαχειριζόμενο μπλοκ στο robots.txt που στέλνει ο server σας. Αυτό περιέχει το κείμενο της πολιτικής, το
Content-signal: search=yes, ai-train=no, use=referenceκάτω από τοUser-Agent: *, καιDisallow: /για τουςAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotκαιmeta-externalagent. - Καθόλου robots.txt. Το Cloudflare λέει ότι τα domains στο πλάνο Free που δεν έχουν δικό τους robots.txt και δεν χρησιμοποιούν τη διαχειριζόμενη λειτουργία εμφανίζουν την Content Signals Policy όταν ένας crawler ζητά το
/robots.txt. Αυτή η έκδοση περιέχει τους ορισμούς αλλά δεν δηλώνει καμία προτίμηση.
Το τμήμα use=reference είναι πρόσφατο. Το Cloudflare περιγράφει το use ως ένα προαιρετικό τέταρτο πεδίο που δοκιμάζει, με τρεις τιμές: immediate (αλληλεπίδραση χωρίς αποθήκευση ή επαναχρησιμοποίηση), reference (ευρετηρίαση, απόσπασμα και σύνδεσμος προς την πηγή) και full (σύνοψη και αναπαραγωγή). Δεν είναι ένα από τα τρία αρχικά σήματα, και καμία τεκμηρίωση crawlers που ελέγξαμε δεν το αναφέρει.
Επειδή το Cloudflare προσθέτει αυτές τις γραμμές στο edge, το αρχείο στο repository σας μπορεί να φαίνεται αμετάβλητο ενώ το αρχείο που λαμβάνουν οι crawlers είναι διαφορετικό. Ανακτήστε το ζωντανό https://yourdomain.com/robots.txt πριν προσθέσετε δική σας γραμμή, ώστε η απόκριση να μη δηλώνει δύο διαφορετικές πολιτικές.
Η υιοθέτηση παραμένει χαμηλή στους μεγάλους ιστότοπους. Στη μελέτη μας του Νοεμβρίου 2026 για τα 1.000 πιο δημοφιλή domains, 18 από τους 518 ιστότοπους που είχαν robots.txt (3,5%) χρησιμοποιούσαν Content-Signal.
Ακολουθούν οι AI crawlers το Content-Signal;
Όχι σύμφωνα με όποια τεκμηρίωση μπορέσαμε να βρούμε. Στις 17 Νοεμβρίου 2026 ελέγξαμε τις σελίδες crawlers της OpenAI, της Anthropic, της Google και της Perplexity, και καμία δεν αναφέρει το Content-Signal. Το ίδιο το Cloudflare περιγράφει τα σήματα ως προτιμήσεις, όχι ως τεχνικά αντίμετρα κατά του scraping, και λέει ότι ορισμένες εταιρείες μπορεί απλώς να τα αγνοήσουν.
Αυτό που έχουν τεκμηριώσει αντ' αυτού οι εταιρείες AI είναι ένας ξεχωριστός μηχανισμός βασισμένος στη δουλειά της ομάδας εργασίας AI Preferences του IETF: ένα token πολιτικής, το __usage_ai-training, γραμμένο ως συνηθισμένη ομάδα User-Agent. Καλύπτει μόνο την εκπαίδευση, και το Internet-Draft που το ορίζει λέει ότι μια ομάδα User-Agent: * δεν μετρά ως χρήση του token:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Η υποστήριξη είναι άνιση και εν μέρει ακόμη μελλοντική. Η Anthropic λέει ότι αναγνωρίζει ένα γενικό μηχαναγνώσιμο σήμα εκπαίδευσης από τις 30 Οκτωβρίου 2026, ότι το εφαρμόζει σταδιακά και ότι ένας κανόνας που ονομάζει τον ClaudeBot έχει προτεραιότητα. Η Microsoft τεκμηριώνει το token __usage_ai-training για το Bing, με τις νέες προτιμήσεις να ισχύουν καθώς οι σελίδες σαρώνονται από την 1η Φεβρουαρίου 2027. Η Google λέει ότι στοχεύει να υποστηρίξει τον κοινό μηχανισμό το 2027 και σχεδιάζει να αντιμετωπίζει μια εξαίρεση από την εκπαίδευση μέσω αυτού ως απαγόρευση του Google-Extended όταν αυτό το token δεν ονομάζεται. Η OpenAI δημοσίευσε την ίδια ημέρα ανακοίνωση ότι θα τηρεί το κοινό σήμα, χωρίς ημερομηνία.
Άρα το ai-train=no και το __usage_ai-training λένε παρόμοια πράγματα, αλλά μόνο το δεύτερο έχει τεκμηριωμένη υποστήριξη από εταιρείες AI. Τα tokens ανά crawler, όπως ο GPTBot και ο ClaudeBot, παραμένουν οι ρυθμίσεις που εφαρμόζει σήμερα κάθε πάροχος.
Να προσθέσω Content-Signal στο robots.txt μου;
Προσθέστε το αν θέλετε η πολιτική χρήσης σας να είναι γραμμένη σε ένα σημείο που μπορούν να διαβάσουν μηχανές και άνθρωποι. Δηλώνει επίσης μια προτίμηση ai-input για κάθε crawler σε μία γραμμή, κάτι που τα tokens των παρόχων μπορούν να εκφράσουν μόνο crawler προς crawler. Κοστίζει μία γραμμή, και οι parsers που δεν τη γνωρίζουν την παραλείπουν.
Μη βασίζεστε μόνο σε αυτό. Για να κρατήσετε το περιεχόμενο εκτός εκπαίδευσης, απαγορεύστε επίσης τα τεκμηριωμένα tokens εκπαίδευσης και σκεφτείτε το κοινό token εκπαίδευσης· ο οδηγός μας για τον αποκλεισμό της εκπαίδευσης AI με παραμονή στην αναζήτηση AI παραθέτει τα tokens ανά πάροχο. Για ό,τι αγνοεί το robots.txt, μόνο ένας κανόνας firewall επιβάλλει αποκλεισμό.
Τέλος, ελέγξτε ότι η γραμμή συμφωνεί με το υπόλοιπο αρχείο. Ένα ai-input=no δίπλα σε ομάδα Allow για τον OAI-SearchBot ή τον PerplexityBot στέλνει αντιφατικά μηνύματα: αφήνετε μέσα τους AI crawlers αναζήτησης ενώ λέτε ότι οι απαντήσεις τους δεν μπορούν να χρησιμοποιήσουν όσα ανακτούν.
Πώς ελέγχω τι λέει το robots.txt μου σε κάθε crawler;
Ο δωρεάν έλεγχος robots.txt του AISeeWhy δέχεται τη διεύθυνση μιας σελίδας ή ένα robots.txt που επικολλάτε και δείχνει, για κάθε AI crawler και crawler αναζήτησης, αν η σελίδα μπορεί να ανακτηθεί, ώστε να επιβεβαιώσετε ότι το ζωντανό αρχείο, μαζί με ό,τι πρόταξε το Cloudflare, λέει αυτό που εννοούσατε. Η δωρεάν γεννήτρια robots.txt γράφει ένα αρχείο από τις επιλογές σας.
Επόμενα βήματα
- robots.txt tester και έλεγχος για crawlers AI
- Δείτε ένα παράδειγμα πλήρους αναφοράς
- Παρακολούθηση crawlers AI
- Πλάνα και τιμές
Crawlers σε αυτό το άρθρο
Συχνές ερωτήσεις
Είναι το Content-Signal μέρος του προτύπου robots.txt;
Όχι. Το RFC 9309 ορίζει τα User-agent, Allow και Disallow και επιτρέπει στους crawlers να ερμηνεύουν άλλες εγγραφές. Το Content-Signal προέρχεται από την Content Signals Policy του Cloudflare, που κυκλοφόρησε με άδεια CC0. Χωριστά, η ομάδα εργασίας AI Preferences του IETF συντάσσει τον δικό της κανόνα Content-Usage για το robots.txt, ο οποίος είναι ακόμη Internet-Draft, όχι πρότυπο.
Σταματά το ai-train=no τον GPTBot ή τον ClaudeBot;
Όχι σύμφωνα με όσα τεκμηριώνουν οι πάροχοι. Η OpenAI και η Anthropic περιγράφουν τον έλεγχο μέσω κανόνων robots.txt που ονομάζουν τον GPTBot και τον ClaudeBot, και καμία από τις σελίδες των crawlers δεν αναφέρει το Content-Signal. Για να εξαιρεθείτε από την εκπαίδευση σε οποιονδήποτε από τους δύο, απαγορεύστε το token ονομαστικά.
Ποια η διαφορά μεταξύ Content-Signal και __usage_ai-training;
Το Content-Signal είναι μια γραμμή μέσα σε μια ομάδα και καλύπτει αναζήτηση, είσοδο σε AI και εκπαίδευση. Το __usage_ai-training είναι token πολιτικής που χρησιμοποιείται ως δική του ομάδα User-Agent και καλύπτει μόνο την εκπαίδευση. Οι Anthropic, Microsoft, Google και OpenAI έχουν δημοσιεύσει δηλώσεις για το κοινό σήμα εκπαίδευσης· καμία δεν τεκμηριώνει το Content-Signal.
Γιατί το Google Search Console λέει Syntax not understood;
Η τεκμηρίωση της Google για το robots.txt υποστηρίζει μόνο τα user-agent, allow, disallow και sitemap, οπότε άλλες γραμμές μπορεί να επισημανθούν. Το Cloudflare λέει ότι δεν έχει παρατηρήσει επίδραση από αυτές τις αναφορές στον ρυθμό σάρωσης ή στο SEO.
Τι σημαίνει το use=reference;
Είναι ένα τέταρτο πεδίο που δοκιμάζει το Cloudflare. Το reference σημαίνει ευρετηρίαση, απόσπασμα και σύνδεσμο προς την πηγή. Το Cloudflare το προσθέτει στα managed αρχεία robots.txt, και καμία τεκμηρίωση crawlers που ελέγξαμε δεν το αναφέρει.
Πηγές
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11