Διαβάσαμε το robots.txt των 10.000 δημοφιλέστερων ιστότοπων. Δείτε τι κάνουν για τους AI crawlers
Από τα 6.192 domains του Tranco top 10.000 που σερβίρουν robots.txt, το 23,2% μπλοκάρει τουλάχιστον έναν crawler εκπαίδευσης AI και το 12,3% μπλοκάρει τουλάχιστον έναν crawler αναζήτησης ή χρήστη AI. Το 51,6% των ιστότοπων που μπλοκάρουν την εκπαίδευση μπλοκάρει και την αναζήτηση AI. Μόνο το 11,2% εξαιρείται από την εκπαίδευση επιτρέποντας όλους τους crawlers αναζήτησης AI.
Τον Νοέμβριο διαβάσαμε το robots.txt των 1.000 δημοφιλέστερων domains. Αυτή τη φορά διαβάσαμε 10.000, με την ίδια μέθοδο, και προσθέσαμε έναν έλεγχο για το πώς αλλάζει η εικόνα όσο οι ιστότοποι μικραίνουν. Το βασικό συμπέρασμα ισχύει: το μπλοκάρισμα της εκπαίδευσης και το μπλοκάρισμα της αναζήτησης αντιμετωπίζονται ως μία απόφαση, ενώ είναι δύο.
Σε αυτή τη σελίδα
Πώς το μετρήσαμε;
Πήραμε τα 10.000 κορυφαία domains της λίστας Tranco (ID λίστας JZWZY) και ανακτήσαμε μία φορά για κάθε domain την αρχική σελίδα, το robots.txt και το llms.txt, στις 21 Νοεμβρίου 2026, με το δικό μας user agent του AISeeWhy. Αξιολογήσαμε κάθε robots.txt σύμφωνα με το RFC 9309 για την αρχική σελίδα (/) και για 16 crawlers AI και αναζήτησης.
Τα 6.192 από τα 10.000 domains σέρβιραν robots.txt (επιτυχής απόκριση που δεν είναι σελίδα HTML). Τα 1.121 απάντησαν με 4xx, που σημαίνει ότι δεν υπάρχουν κανόνες και επιτρέπονται όλοι οι crawlers, και τα 2.687 δεν σέρβιραν robots.txt (χωρίς HTTPS ιστότοπο, σφάλματα, timeouts ή σελίδα HTML αντί για αρχείο). Όλα τα ποσοστά παρακάτω αφορούν τα 6.192. Η λίστα περιλαμβάνει CDN και API που δεν σερβίρουν ιστότοπο.
Τι βρήκαμε;
- Το 23,2% (1.437 domains) μπλοκάρει τουλάχιστον έναν crawler εκπαίδευσης AI.
- Το 12,3% (762) μπλοκάρει τουλάχιστον έναν crawler αναζήτησης ή χρήστη AI, άρα οι σελίδες δεν πρέπει να χρησιμοποιούνται ούτε να αναφέρονται στις απαντήσεις που βασίζονται σε αυτόν.
- Το 51,6% των domains που μπλοκάρουν crawler εκπαίδευσης (742 από 1.437) μπλοκάρει και τουλάχιστον έναν crawler αναζήτησης ή χρήστη AI.
- Μόνο το 11,2% (695) ακολουθεί την επιλεκτική διαδρομή: μπλοκάρει τους crawlers εκπαίδευσης και επιτρέπει όλους τους crawlers αναζήτησης και χρήστη AI.
- Το 6,5% (401) δηλώνει τις προτιμήσεις του για AI με
Content-Signal. - Το 12,4% του συνόλου των 10.000 domains (1.240) δημοσιεύει
llms.txt. - Για σύγκριση, το 2,0% (124) μπλοκάρει το
Googlebotστην αρχική σελίδα.
Ποιοι crawlers μπλοκάρονται συχνότερα;
Ποσοστό των 6.192 domains των οποίων το robots.txt απαγορεύει την αρχική σελίδα για τον crawler:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.- Το
PerplexityBot10,4% είναι ο crawler αναζήτησης AI που μπλοκάρεται συχνότερα, μπροστά από ταOAI-SearchBot7,0% καιClaude-SearchBot7,0%. - Οι crawlers που ανοίγουν μια σελίδα όταν ρωτά ένας άνθρωπος:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Μπλοκάρουν περισσότερο οι μεγαλύτεροι ιστότοποι;
Ναι, και μπερδεύουν πιο συχνά την εκπαίδευση με την αναζήτηση. Χωρίσαμε τη λίστα ανά κατάταξη:
- Θέσεις 1 έως 1.000 (560 domains με robots.txt): 28,6% μπλοκάρουν την εκπαίδευση, 18,6% μπλοκάρουν την αναζήτηση AI και το 63,1% όσων μπλοκάρουν την εκπαίδευση μπλοκάρει και την αναζήτηση AI.
- Θέσεις 1.001 έως 3.000 (1.256 domains): 23,5%, 13,5% και 55,6%.
- Θέσεις 3.001 έως 10.000 (4.376 domains): 22,4%, 11,2% και 48,6%.
Η επιλεκτική διαδρομή είναι σπάνια σε κάθε μέγεθος: 10,5%, 10,4% και 11,5% των domains στις τρεις ομάδες.
Άλλαξε κάτι από την αναφορά μας της 12ης Νοεμβρίου;
Επαναλάβαμε τον έλεγχο για τα πρώτα 1.000 domains με την ίδια λίστα. Το αποτέλεσμα είναι σταθερό με απόκλιση περίπου μίας μονάδας: 28,6% μπλοκάρουν την εκπαίδευση (29,9% στις 12 Νοεμβρίου), 18,6% μπλοκάρουν την αναζήτηση AI (19,5%) και το 63,1% όσων μπλοκάρουν την εκπαίδευση μπλοκάρει και την αναζήτηση AI (63,2%). Οι παρονομαστές διαφέρουν ελαφρώς (560 domains με robots.txt τώρα, 518 τότε), επειδή αυτή τη φορά ακολουθούμε την ανακατεύθυνση ενός domain προς τον κύριο host πριν την ανάκτηση.
Τι σημαίνει αυτό για το δικό σας robots.txt;
Οι περισσότερες εταιρείες AI τεκμηριώνουν ξεχωριστούς crawlers για την εκπαίδευση και για την αναζήτηση και δηλώνουν ότι οι ρυθμίσεις είναι ανεξάρτητες. Η απαγόρευση του GPTBot δεν επηρεάζει το OAI-SearchBot και η απαγόρευση του ClaudeBot δεν επηρεάζει το Claude-SearchBot. Αν θέλετε να εξαιρεθείτε από την εκπαίδευση και να συνεχίσετε να αναφέρεστε, μπλοκάρετε τα tokens εκπαίδευσης και επιτρέψτε τα tokens αναζήτησης και χρήστη. Επαναλάβετε τυχόν ιδιωτικές διαδρομές σε κάθε ομάδα, γιατί μια ονομασμένη ομάδα δεν κληρονομεί από το *.
Πόσο αξιόπιστα είναι αυτά τα νούμερα;
Είναι κανόνες robots.txt για την αρχική σελίδα, που διαβάστηκαν από έναν parser σε μία ημέρα. Δεν μετρούν μπλοκαρίσματα από firewall, τα οποία μπορούν να αποκλείσουν έναν crawler που το robots.txt επιτρέπει. Δεν μπορούν να δείξουν ποια ήταν η πρόθεση κάθε ιστότοπου και η λίστα Tranco περιλαμβάνει domains που δεν σερβίρουν ιστότοπο. Ένας κανόνας που μπλοκάρει crawler αναζήτησης δεν αποδεικνύει λάθος, μόνο μια επιλογή που συχνά γίνεται χωρίς να είναι γνωστή η διαφορά. Μπορείτε να αναφέρετε τα στοιχεία με σύνδεσμο προς αυτή τη σελίδα.
Επόμενα βήματα
- robots.txt tester και έλεγχος για crawlers AI
- Έλεγχος και επικυρωτής llms.txt
- Δείτε ένα παράδειγμα πλήρους αναφοράς
- Παρακολούθηση crawlers AI
- Πλάνα και τιμές
Crawlers σε αυτό το άρθρο
Συχνές ερωτήσεις
Ποιο ποσοστό των δημοφιλών ιστότοπων μπλοκάρει AI crawlers;
Από τα 6.192 domains του Tranco top 10.000 που σερβίρουν robots.txt, το 23,2% μπλοκάρει τουλάχιστον έναν crawler εκπαίδευσης AI και το 12,3% μπλοκάρει τουλάχιστον έναν crawler αναζήτησης ή χρήστη AI.
Οι ιστότοποι που μπλοκάρουν την εκπαίδευση AI μπλοκάρουν και την αναζήτηση AI;
Συχνά. Το 51,6% των ιστότοπων που μπλοκάρουν έναν crawler εκπαίδευσης μπλοκάρει και τουλάχιστον έναν crawler αναζήτησης ή χρήστη AI, παρότι οι πάροχοι τους τεκμηριώνουν ως ξεχωριστούς crawlers με ανεξάρτητες ρυθμίσεις.
Ποιος AI crawler μπλοκάρεται συχνότερα;
Ανάμεσα στους crawlers εκπαίδευσης, το Bytespider (18,7%) και το CCBot (18,5%), μετά το GPTBot (17,4%). Ανάμεσα στους crawlers αναζήτησης AI, το PerplexityBot μπλοκάρεται συχνότερα, στο 10,4% των domains.
Γιατί τα νούμερα διαφέρουν από την αναφορά σας για 1.000 ιστότοπους;
Τα πρώτα 1.000 domains δίνουν σχεδόν τα ίδια ποσοστά (28,6% και 18,6% έναντι 29,9% και 19,5%). Τα στοιχεία για τους 10.000 ιστότοπους είναι χαμηλότερα, επειδή οι μικρότεροι ιστότοποι μπλοκάρουν λιγότερο.
Πηγές
- AISeeWhy: Έκθεση πρόσβασης AI crawlers, 2026-11
- Tranco: μια ερευνητική κατάταξη κορυφαίων ιστότοπων
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Επισκόπηση των crawlers της OpenAI
- Anthropic: Κάνει crawl δεδομένων από το διαδίκτυο η Anthropic και πώς μπορούν οι ιδιοκτήτες ιστότοπων να μπλοκάρουν τον crawler;
- Perplexity: Οι crawlers της Perplexity