Γιατί ο ιστότοπός μου μπλοκάρει ξαφνικά τους AI crawlers;
Ένας ιστότοπος που αρχίζει να μπλοκάρει τους AI crawlers έχει σχεδόν πάντα αλλάξει σε ένα από πέντε σημεία: το robots.txt που πραγματικά σερβίρεται, μια ρύθμιση του CDN όπως οι πολιτικές AI crawlers του Cloudflare, η προστασία από bots ή ένα rate limit, μια προεπιλογή του hosting, ή ένα robots.txt που τώρα απαντά με σφάλμα. Ανακτήστε το σημερινό robots.txt και μια σελίδα ως κάθε crawler, συγκρίνετέ τα με έναν browser και με ό,τι είχατε πριν, και ελέγξτε αυτά τα επίπεδα με αυτή τη σειρά.
Κανείς δεν αποφασίζει να εξαφανιστεί από τις απαντήσεις της AI. Συμβαίνει ως παρενέργεια μιας ενημέρωσης θέματος, μιας ρύθμισης ασφαλείας, μιας μετάβασης ή μιας αλλαγμένης προεπιλογής σε έναν πάροχο. Ένας browser βλέπει ακόμη τον ιστότοπο κανονικά, οπότε η αλλαγή μπορεί να περάσει απαρατήρητη μέχρι κάποιος να ρωτήσει το ChatGPT ή την Perplexity για το προϊόν και να πάρει έναν ανταγωνιστή. Κάθε επίπεδο αφήνει ίχνη που μπορείτε να ελέγξετε από έξω ή στα logs σας.
Σε αυτή τη σελίδα
- Άλλαξε το robots.txt που λαμβάνουν οι crawlers;
- Άλλαξαν οι πολιτικές AI crawlers του Cloudflare για το 2026 τι επιτρέπει ο ιστότοπός μου;
- Πιάνει τους crawlers η προστασία από bots ή ένα rate limit;
- Άλλαξε ο πάροχος hosting τις προεπιλογές του;
- Απαντά το robots.txt με σφάλμα;
- Πώς βρίσκω πότε ξεκίνησε;
- Πώς θα το εντοπίσω νωρίτερα την επόμενη φορά;
Άλλαξε το robots.txt που λαμβάνουν οι crawlers;
Ανακτήστε το https://yourdomain.com/robots.txt και συγκρίνετέ το με το αρχείο στο repository ή στο αντίγραφο ασφαλείας σας. Κοιτάξτε το αρχείο που σερβίρεται, όχι αυτό στον δίσκο, γιατί αρκετά επίπεδα μπορούν να το αλλάξουν στη διαδρομή:
- Ένα deploy ανεβάζει το robots.txt του staging με
Disallow: /, ή μια μετάβαση αφήνει στη θέση της την προεπιλογή της πλατφόρμας. - Μια ρύθμιση του site builder προσθέτει κανόνες για AI crawlers. Το Squarespace, για παράδειγμα, έχει την επιλογή Block known artificial intelligence crawlers, που γράφει 26 ονόματα bots στο robots.txt και λέει ότι μπορεί να προστεθούν κι άλλα με τον καιρό. Είναι ανενεργή από προεπιλογή, οπότε κάποιος πρέπει να την ενεργοποιήσει, αλλά η λίστα μπορεί να μεγαλώσει αργότερα.
- Μια ενημέρωση plugin SEO ή ασφαλείας γράφει νέους κανόνες ή προσθέτει μια νέα επιλογή που κάποιος ενεργοποιεί.
- Το Cloudflare προτάσσει το managed robots.txt του στο αρχείο σας όταν το Bot Preference Sync είναι ενεργό και μια πολιτική AI είναι ρυθμισμένη σε Block ή Disallow. Το αρχείο που σερβίρεται ξεκινά τότε με
Disallow: /για τουςClaudeBot,GPTBotκαι έξι ακόμη tokens εκπαίδευσης, παρόλο που το δικό σας αρχείο δεν άλλαξε. - Ένας κανόνας που προοριζόταν για crawler εκπαίδευσης αντιγράφηκε και σε άλλους, μεταξύ αυτών και σε crawlers αναζήτησης όπως ο
OAI-SearchBot, οClaude-SearchBotή οPerplexityBot.
Η αναφορά robots.txt του Google Search Console δείχνει τις εκδόσεις που ανέκτησε η Google τις τελευταίες 30 ημέρες, με νέα εγγραφή κάθε φορά που άλλαξε το αρχείο ή το αποτέλεσμα της ανάκτησης. Καλύπτει μόνο όσα είδε η Google, αλλά εκτός αν ο server σας διαφοροποιεί το robots.txt ανά user agent, οι AI crawlers πήραν το ίδιο αρχείο.
Άλλαξαν οι πολιτικές AI crawlers του Cloudflare για το 2026 τι επιτρέπει ο ιστότοπός μου;
Το Cloudflare έχει αλλάξει αρκετές φορές τις ρυθμίσεις του για τους AI crawlers, και ορισμένες αλλαγές τροποποιούν τη συμπεριφορά μιας zone χωρίς να την επεξεργαστεί κανείς. Την 1η Ιουλίου 2025 άρχισε να ρωτά τα νέα domains κατά την εγγραφή αν θα επιτρέπουν τους AI crawlers, με τον αποκλεισμό ως αρχική κατάσταση. Την 1η Ιουλίου 2026 αντικατέστησε τον ενιαίο διακόπτη Block AI bots με ξεχωριστές πολιτικές Search, Agent και Training, για όλα τα πλάνα, και το Free.
Η λεπτομέρεια που πιάνει τους περισσότερους ιστότοπους είναι οι crawlers μικτού σκοπού. Η τεκμηρίωση του Cloudflare λέει ότι οι ενέργειες Training ισχύουν και για crawlers που χρησιμοποιούνται τόσο για αναζήτηση όσο και για εκπαίδευση. Η ανακοίνωσή του του Ιουλίου 2026 έλεγε ότι από τις 15 Σεπτεμβρίου 2026 crawlers πολλαπλού σκοπού όπως οι Googlebot, Applebot και BingBot θα μπλοκάρονται για πελάτες που επέλεξαν να μπλοκάρουν το Training, είτε μέσω των νέων επιλογών είτε μέσω της παλιάς ρύθμισης Block AI bots. Μια εξαίρεση από την εκπαίδευση που ορίστηκε πριν από έναν χρόνο μπορεί επομένως τώρα να φτάνει και τους crawlers αναζήτησης.
Οι προεπιλογές για νέα domains έχουν περιγραφεί διαφορετικά με τον καιρό. Η ίδια ανακοίνωση έλεγε ότι από τις 15 Σεπτεμβρίου 2026 τα νέα domains θα έχουν μπλοκαρισμένα τα Training και Agent σε σελίδες που εμφανίζουν διαφημίσεις, ενώ η τεκμηρίωση της πολιτικής που ενημερώθηκε στις 2 Νοεμβρίου 2026 λέει ότι τα νέα domains ξεκινούν και με τις τρεις σε Allow. Ανοίξτε Security, έπειτα Settings, φιλτράρετε με Bot traffic και διαβάστε τις AI Crawler and Agent access policies για τη δική σας zone. Ο οδηγός μας για το Cloudflare AI Crawl Control εξηγεί κάθε ρύθμιση.
Πιάνει τους crawlers η προστασία από bots ή ένα rate limit;
Η προστασία από bots κρίνει κάθε αίτημα, και οι crawlers ανακτούν πολλές σελίδες γρήγορα από data centers, που είναι ακριβώς αυτό που κάνουν τα bots. Ένας crawler που περνούσε τον προηγούμενο μήνα μπορεί να αρχίσει να λαμβάνει σελίδες πρόκλησης αφού ο διαχειριστής του αλλάξει εύρη IP ή ρυθμό σάρωσης, ή αφού ενημερωθούν οι κανόνες προστασίας. Το Bot Fight Mode του Cloudflare είναι συχνή αιτία, και το Cloudflare λέει ότι δεν μπορεί να παρακαμφθεί ούτε να εξαιρεθεί με προσαρμοσμένους κανόνες WAF ή Page Rules, οπότε ένας κανόνας επιτρεπόμενης πρόσβασης που προστίθεται αργότερα δεν θα βοηθήσει όσο είναι ενεργό. Ένα νέο rate limit που απαντά σε ριπές με 429 έχει το ίδιο αποτέλεσμα σε έναν απασχολημένο crawler.
Δοκιμάστε από έξω: ζητήστε μια σελίδα ως browser και ως δύο AI crawlers αναζήτησης, και έπειτα ζητήστε το robots.txt ως crawler.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Ένα 403, 429 ή 503 μόνο για έναν crawler, μια σελίδα με τίτλο Just a moment... ή ένα σώμα πολύ μικρότερο από του browser σημαίνει ότι ο crawler αντιμετωπίζεται διαφορετικά. Η δοκιμή έρχεται από τη δική σας IP, όχι του παρόχου, οπότε κανόνες που βασίζονται στην κατάσταση επαληθευμένου bot μπορεί ακόμη να αντιμετωπίζουν τον πραγματικό crawler διαφορετικά. Το αρχείο συμβάντων του firewall δείχνει ποιος κανόνας απάντησε.
Άλλαξε ο πάροχος hosting τις προεπιλογές του;
Ορισμένοι hosts φιλτράρουν την κίνηση από AI στον server, πριν εκτελεστούν οι δικοί σας κανόνες. Η SiteGround, για παράδειγμα, έγραψε τον Αύγουστο του 2025 ότι μπλοκάρει από προεπιλογή τους AI crawlers που έχουν σχεδιαστεί για συλλογή δεδομένων εκπαίδευσης και επιτρέπει τους crawlers που επισκέπτονται όταν κάποιος ρωτά έναν AI βοηθό για μια σελίδα. Τέτοιοι κανόνες δεν εμφανίζονται στο robots.txt σας και μπορούν να αλλάξουν όταν ο host ενημερώνει τις λίστες bots του.
Αν ένας αποκλεισμός εμφανιστεί ταυτόχρονα σε αρκετούς ιστότοπους στον ίδιο host, ή σε αποκρίσεις που δεν φτάνουν ποτέ στα logs της εφαρμογής σας, ρωτήστε τον host ποιοι κανόνες bots ισχύουν για τον λογαριασμό σας και αν μπορείτε να εξαιρέσετε τους crawlers που θέλετε να κρατήσετε.
Απαντά το robots.txt με σφάλμα;
Ένα robots.txt που αποτυγχάνει μπορεί να μπλοκάρει περισσότερα από οποιαδήποτε γραμμή Disallow. Κατά το RFC 9309, μια απόκριση 4xx σημαίνει ότι ο crawler μπορεί να ανακτήσει τα πάντα, αλλά ένα σφάλμα server (5xx) ή η πλήρης έλλειψη απάντησης σημαίνει ότι πρέπει να υποθέσει πως ολόκληρος ο ιστότοπος απαγορεύεται. Η Google σταματά τη σάρωση για τις πρώτες 12 ώρες τέτοιων σφαλμάτων και έπειτα χρησιμοποιεί το τελευταίο καλό αντίγραφό της για έως 30 ημέρες.
Έτσι μια αιχμή φόρτου, ένας κανόνας firewall που βάζει πρόκληση στο /robots.txt ή ένα rate limit που το περιλαμβάνει μπορεί να αποκλείσει τους καλά συμπεριφερόμενους crawlers χωρίς να αλλάξει ούτε ένας κανόνας. Η τελευταία εντολή της παραπάνω δοκιμής πρέπει να επιστρέφει 200 και text/plain. Ένα 5xx, ένα timeout ή μια σελίδα πρόκλησης εκεί είναι το πρώτο που πρέπει να διορθώσετε.
Πώς βρίσκω πότε ξεκίνησε;
Μια ημερομηνία μετατρέπει ένα μυστήριο σε σύγκριση. Στα access logs σας φιλτράρετε τα αιτήματα από user agents AI crawlers και βρείτε την ημέρα που οι κωδικοί κατάστασής τους πέρασαν από 200 σε 403, 429 ή 503, ή την ημέρα που σταμάτησαν να ζητούν σελίδες αφού διάβασαν το robots.txt· ο οδηγός μας για τον έλεγχο των logs για AI crawlers έχει τις εντολές. Τα αιτήματα που μπλόκαρε το CDN δεν φτάνουν ποτέ στον origin, οπότε ελέγξτε και το CDN. Στο Cloudflare, το AI Crawl Control δείχνει την κατανομή των κωδικών κατάστασης στον χρόνο, με φίλτρο ανά crawler.
Έπειτα αντιστοιχίστε αυτή την ημερομηνία με deploys, ενημερώσεις plugins και θεμάτων, αλλαγές ρυθμίσεων στο CDN και ανακοινώσεις παρόχων. Πριν ενεργήσετε, επιβεβαιώστε ότι οι IP προέλευσης ανήκουν στον πάροχο, ώστε να εξετάζετε τον πραγματικό crawler και όχι έναν απατεώνα που χρησιμοποιεί το όνομά του.
Πώς θα το εντοπίσω νωρίτερα την επόμενη φορά;
Ελέγχετε την πρόσβαση μετά από κάθε deploy, αλλαγή στο CDN και ενημέρωση plugin, όχι μόνο όταν πέφτει η επισκεψιμότητα. Ο δωρεάν έλεγχος του AISeeWhy ανακτά μια σελίδα ως 16 AI crawlers και crawlers αναζήτησης δίπλα σε έναν πραγματικό browser, εφαρμόζει το robots.txt σας ανά crawler και αναγνωρίζει σελίδες πρόκλησης firewall. Ο δωρεάν έλεγχος robots.txt δείχνει, ανά crawler, αν μια σελίδα μπορεί να ανακτηθεί σύμφωνα με το αρχείο που ισχύει σήμερα.
Επόμενα βήματα
- robots.txt tester και έλεγχος για crawlers AI
- Έλεγχος IP των crawlers AI
- Δείτε ένα παράδειγμα πλήρους αναφοράς
- Παρακολούθηση crawlers AI
- Πλάνα και τιμές
Crawlers σε αυτό το άρθρο
Συχνές ερωτήσεις
Γιατί το ChatGPT σταμάτησε να δείχνει τον ιστότοπό μου;
Συχνά επειδή ο OAI-SearchBot, ο crawler πίσω από την αναζήτηση του ChatGPT, μπλοκαρίστηκε από μια αλλαγή στο robots.txt, μια πολιτική του CDN ή την προστασία από bots. Η OpenAI λέει ότι οι ιστότοποι που τον μπλοκάρουν δεν εμφανίζονται στις απαντήσεις αναζήτησης του ChatGPT. Ελέγξτε κάθε επίπεδο για αυτόν τον crawler και αφήστε περίπου 24 ώρες μετά από μια διόρθωση στο robots.txt, όσο λέει η OpenAI ότι χρειάζονται τα συστήματά της για να προσαρμοστούν.
Άρχισε το Cloudflare να μπλοκάρει τον Googlebot στον ιστότοπό μου;
Μπορεί να συμβεί. Το Cloudflare είπε ότι από τις 15 Σεπτεμβρίου 2026 οι πελάτες που μπλοκάρουν το Training μπλοκάρουν και crawlers πολλαπλού σκοπού όπως οι Googlebot, Applebot και BingBot. Η τεκμηρίωσή του λέει ότι η επιλογή Training Disallow μπλοκάρει τους crawlers εκπαίδευσης στο edge αλλά αφήνει έξω τους crawlers μικτής χρήσης, οπότε ελέγξτε ποια επιλογή χρησιμοποιεί η zone σας.
Μπορεί ένας site builder ή ένα plugin να αλλάξει το robots.txt για μένα;
Ναι. Οι site builders και τα plugins SEO ή ασφαλείας μπορούν να γράφουν κανόνες για AI crawlers στο robots.txt, και ορισμένα επεκτείνουν τις λίστες bots τους με τον καιρό. Μετά από κάθε ενημέρωση ανακτήστε το ζωντανό αρχείο και διαβάστε τις ομάδες που ισχύουν για τους crawlers αναζήτησης που σας ενδιαφέρουν.
Γιατί το ζωντανό robots.txt μου διαφέρει από το αρχείο στον server μου;
Κάτι μπροστά από τον server σας το αλλάζει. Το managed robots.txt του Cloudflare, για παράδειγμα, προτάσσει τους δικούς του κανόνες και content signals στο αρχείο σας στην ίδια απόκριση. Ένα CMS που δημιουργεί το robots.txt κατά το αίτημα ή μια ρύθμιση σε επίπεδο host μπορεί επίσης να το αντικαταστήσει ή να το επεκτείνει.
Σε πόσο χρόνο επιστρέφουν οι AI crawlers αφού το διορθώσω;
Το RFC 9309 λέει ότι οι crawlers δεν πρέπει να χρησιμοποιούν αποθηκευμένο robots.txt για περισσότερες από 24 ώρες, η OpenAI λέει περίπου 24 ώρες και η Perplexity έως 24 ώρες. Οι αλλαγές στο firewall ισχύουν μόλις τις εφαρμόσει ο πάροχός σας, αλλά οι crawlers επιστρέφουν με το δικό τους πρόγραμμα.
Πηγές
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers