Τέσσερις στις δέκα εταιρικές ιστοσελίδες αποκλείουν τους AI crawlers
Στους ελέγχους μας σε 165 εταιρικούς ιστότοπους σε ΗΠΑ, ΗΒ και Γαλλία, το 38% απέκλεισε στον διακομιστή τουλάχιστον έναν AI crawler, σχεδόν πάντα bot εκπαίδευσης ή scraper. Περίπου ένας στους δέκα ιστότοπους απέρριψε και έναν crawler AI search, όπως το PerplexityBot ή το OAI-SearchBot, δηλαδή τους crawlers που μπορούν να οδηγήσουν σε παράθεση της σελίδας σας. Ελέγξτε τον δικό σας με ένα αίτημα ανά crawler.
Ρωτάτε το ChatGPT για το δικό σας προϊόν και αυτό αναφέρει έναν ανταγωνιστή, έναν ιστότοπο κριτικών και ένα νήμα συζήτησης σε φόρουμ. Κάποιες φορές φταίει το περιεχόμενο. Συχνά όμως φταίει ένα firewall που απαντά «όχι» στους AI crawlers, κάτι που κανείς στην ομάδα σας δεν είδε ποτέ, επειδή ο ιστότοπος λειτουργεί κανονικά σε έναν browser.
Σε αυτή τη σελίδα
Τι δοκιμάσαμε;
Ζητάμε μια σελίδα πολλές φορές από την ίδια διεύθυνση: μία φορά ως απλός browser και μία φορά ως καθένας από 14 AI και search crawlers, μεταξύ των οποίων τα GPTBot, OAI-SearchBot και ChatGPT-User της OpenAI, τα ClaudeBot και Claude-SearchBot της Anthropic και το PerplexityBot της Perplexity. Αν ο browser παίρνει τη σελίδα και ένας crawler παίρνει 401, 403, 406, 429, 451, 503 ή σελίδα challenge, ο ιστότοπος αποκλείει αυτόν τον crawler.
Το δείγμα είναι 218 εταιρικοί ιστότοποι σε ΗΠΑ, ΗΒ και Γαλλία, που ελέγχθηκαν από τις 18 έως τις 21 Νοεμβρίου 2026. Την πλήρη δοκιμή μπορέσαμε να την εκτελέσουμε σε 165. Οι άλλοι 53 απέρριψαν ακόμη και το απλό αίτημα browser ή δεν απάντησαν, γι' αυτό τους αφήσαμε εκτός αντί να κάνουμε εικασίες.
Τι βρήκαμε;
- Το 38% των ιστότοπων που μπορούσαμε να δοκιμάσουμε (63 από 165) απέκλεισε τουλάχιστον έναν AI crawler.
- Καθένας από αυτούς τους ιστότοπους απέρριψε τουλάχιστον έναν crawler εκπαίδευσης ή scraper. Το
Bytespiderαποκλείστηκε από το 35% όλων των ιστότοπων, τοClaudeBotαπό το 13% και τοGPTBotαπό το 11%. - Το 10% των ιστότοπων (16) απέκλεισε επίσης τουλάχιστον έναν crawler AI search και το 5% (8) απέκλεισε crawler που ανοίγει μια σελίδα τη στιγμή που κάποιος ρωτά τον βοηθό γι' αυτήν.
- Οι crawlers αναζήτησης με το μεγαλύτερο βάρος ήταν το
PerplexityBot(11 ιστότοποι) και τοOAI-SearchBot(5 ιστότοποι). - Η Cloudflare βρισκόταν πίσω από 32 από τους 66 ιστότοπους που απέκλεισαν οποιονδήποτε crawler δοκιμάσαμε. Για άλλους 30 δεν μπορέσαμε να πούμε ποιο firewall απάντησε.
Γιατί συμβαίνει και πότε είναι επιλογή;
Πολλά από αυτά είναι πιθανότατα εσκεμμένα. Πολλοί ιδιοκτήτες δεν θέλουν το περιεχόμενό τους να χρησιμοποιείται για την εκπαίδευση μοντέλων και οι ρυθμίσεις προστασίας από bots που μπλοκάρουν scrapers ενεργοποιούνται εύκολα. Είναι δίκαιη επιλογή.
Το πρόβλημα είναι ότι οι εταιρείες AI χρησιμοποιούν ξεχωριστούς crawlers για εκπαίδευση και για αναζήτηση. Ο αποκλεισμός του crawler εκπαίδευσης δεν απαιτεί αποκλεισμό του crawler αναζήτησης, και ο crawler αναζήτησης είναι αυτός που μπορεί να οδηγήσει στην παράθεση της σελίδας σας σε μια απάντηση.
Τα μεγαλύτερα sites τα πάνε καλύτερα;
Όχι πραγματικά. Στην αναφορά μας για το robots.txt στα 1.000 δημοφιλέστερα domains, το 29,9% των ιστότοπων με robots.txt αποκλείει τουλάχιστον έναν AI crawler εκπαίδευσης και το 63,2% αυτών αποκλείει επίσης τουλάχιστον έναν AI search ή user crawler. Μόνο το 11,0% αποκλείει την εκπαίδευση αφήνοντας ελεύθερους όλους τους AI search crawlers, που είναι η ρύθμιση που πιθανότατα ήθελαν οι περισσότεροι.
Πώς ελέγχω τον δικό μου ιστότοπο σε δέκα λεπτά;
- Ανοίξτε το
yoursite.com/robots.txt. Για κάθε AI crawler που σας ενδιαφέρει, δείτε αν το κατονομάζει κάποια ομάδα και τι λέει. Μια ομάδα που κατονομάζει έναν crawler αντικαθιστά πλήρως τη γενική ομάδα*. - Δοκιμάστε τι κάνει ο διακομιστής, όχι τι λέει το αρχείο. Ζητήστε την κύρια σελίδα σας ως browser και ως ο crawler. Ένα 403, ένα 429, μια σελίδα με τίτλο
Just a moment...ή μια απάντηση πολύ μικρότερη από του browser είναι το χαρακτηριστικό ενός αποκλεισμού από firewall. - Ρωτήστε τον βοηθό. Με ενεργή την αναζήτηση, κάντε στο ChatGPT ή στο Perplexity τις ερωτήσεις που κάνουν οι πελάτες σας και δείτε ποιους ιστότοπους παραθέτει. Αν η πρόσβαση είναι εντάξει και εσείς εξακολουθείτε να λείπετε, το πρόβλημα είναι το περιεχόμενο, όχι η πρόσβαση.
Πόσο αξιόπιστοι είναι αυτοί οι αριθμοί;
Δείτε τους ως μοτίβο, όχι ως απογραφή. Το δείγμα δεν είναι τυχαίο: πρόκειται για εταιρείες που βρέθηκαν μέσω βιβλιοθηκών διαφημίσεων, πλατφορμών αγγελιών εργασίας και καταχωρίσεων χαρτών. Δοκιμάζουμε με user agent από μία διεύθυνση, ενώ οι πραγματικοί crawlers έρχονται από τις διευθύνσεις που δημοσιεύουν οι πάροχοί τους, οπότε κάποια firewalls θα αντιμετώπιζαν διαφορετικά τους πραγματικούς. Και ένας αποκλεισμός δεν είναι πάντα λάθος.
Επόμενα βήματα
- robots.txt tester και έλεγχος για crawlers AI
- Δείτε ένα παράδειγμα πλήρους αναφοράς
- Παρακολούθηση crawlers AI
- Πλάνα και τιμές
Crawlers σε αυτό το άρθρο
Συχνές ερωτήσεις
Ποιο ποσοστό των ιστότοπων αποκλείει τους AI crawlers;
Στον έλεγχό μας σε 165 εταιρικούς ιστότοπους που μπορούσαμε να δοκιμάσουμε, το 38% απέκλεισε στον διακομιστή τουλάχιστον έναν AI crawler, κυρίως bots εκπαίδευσης και scrapers. Περίπου το 10% απέρριψε και έναν crawler AI search.
Αν αποκλείσω το GPTBot, μένει ο ιστότοπός μου εκτός της αναζήτησης του ChatGPT;
Όχι. Η OpenAI αναφέρει ότι κάθε ρύθμιση robots.txt για τους crawlers της είναι ανεξάρτητη: το GPTBot αφορά την εκπαίδευση και το OAI-SearchBot την αναζήτηση του ChatGPT. Ο αποκλεισμός του ενός δεν αποκλείει τον άλλο.
Πώς μπορεί ένας ιστότοπος να αποκλείσει έναν crawler χωρίς robots.txt;
Ένας κανόνας firewall, CDN ή προστασίας από bots μπορεί να απαντήσει σε έναν crawler με 403, 429 ή σελίδα challenge. Το robots.txt δεν το δείχνει ποτέ αυτό, γι' αυτό πρέπει να δοκιμάζεται ζητώντας τη σελίδα ως ο crawler.
Είναι πάντα λάθος ο αποκλεισμός ενός crawler;
Όχι. Πολλοί ιδιοκτήτες θέλουν να κρατούν έξω τους crawlers εκπαίδευσης και τους scrapers. Το λάθος είναι να αποκλείονται κατά λάθος οι crawlers αναζήτησης, γιατί αυτοί μπορούν να παραθέσουν τη σελίδα σας.
Πηγές
- AISeeWhy: Αναφορά πρόσβασης AI crawlers, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Επισκόπηση των crawlers της OpenAI
- Perplexity: Οι crawlers της Perplexity
- Cloudflare: Διαχείριση AI crawlers (AI Crawl Control)