Πώς να ελέγξετε αν ένας ιστότοπος αποκλείει AI crawlers

Επικολλήστε οποιαδήποτε διεύθυνση και δείτε αν αποκλείει τους GPTBot, ClaudeBot, PerplexityBot και τους υπόλοιπους AI crawlers: στο robots.txt, στο firewall ή και στα δύο.

Δωρεάν · Χωρίς εγγραφή · Αποτελέσματα σε 30 δευτερόλεπτα

Ποιοι crawlers αποκλείονται

Οι crawlers εκπαίδευσης, αναζήτησης και χρήστη εμφανίζονται χωριστά, γιατί ο αποκλεισμός του GPTBot δεν αποκλείει τον OAI-SearchBot και ο αποκλεισμός του ClaudeBot δεν αποκλείει τον Claude-SearchBot.

Η γραμμή που αποφασίζει

Για κάθε crawler, το robots.txt διαβάζεται με τους κανόνες του RFC 9309: η ομάδα που τον κατονομάζει ή, αλλιώς, η User-agent: *, και ο κανόνας που υπερισχύει.

Απορρίψεις από το firewall

Η σελίδα ζητείται ως 14 crawlers και ως κανονικός browser. Οι αποκλεισμοί και οι σελίδες πρόκλησης επισημαίνονται και κατονομάζεται το firewall που απάντησε.

Λύση για κάθε εύρημα

Κάθε εύρημα συνοδεύεται από την αλλαγή που πρέπει να κάνετε. Ο δωρεάν έλεγχος δείχνει τη βαθμολογία σας και το πρώτο εύρημα· η πλήρης αναφορά κοστίζει $29, εφάπαξ.

Σύντομη απάντηση

Ένας ιστότοπος μπορεί να αποκλείσει AI crawlers σε δύο σημεία: στο robots.txt, που ζητά από τους crawlers να μείνουν μακριά, και στον server ή στο firewall, που πράγματι τους απορρίπτει. Στο robots.txt βρείτε την ομάδα για το token κάθε crawler και, αν δεν υπάρχει, την ομάδα User-agent: *. Έπειτα ανακτήστε τη σελίδα ως ο crawler και συγκρίνετέ τη με ό,τι λαμβάνει ένας browser. Μια επέκταση browser κάνει το κομμάτι του robots.txt για 16 AI crawlers με ένα κλικ.

Ελέγξτε χειροκίνητα σε 3 βήματα

  1. Διαλέξτε τον crawler

    Κάθε εταιρεία AI διαθέτει χωριστούς crawlers. Εκπαίδευση: GPTBot, ClaudeBot. Αναζήτηση: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Έπειτα από αίτημα χρήστη: ChatGPT-User, Claude-User, Perplexity-User.

  2. Διαβάστε το robots.txt για αυτόν

    Ανοίξτε το https://example.com/robots.txt και βρείτε την ομάδα που κατονομάζει τον crawler. Αν δεν υπάρχει τέτοια ομάδα, ισχύει η ομάδα User-agent: *· αν δεν υπάρχει καμία από τις δύο, επιτρέπονται όλα.

  3. Ανακτήστε τη σελίδα ως ο crawler

    Ζητήστε τη σελίδα με το user agent του crawler και συγκρίνετε την κατάσταση και το μέγεθος με αυτά ενός browser. Ένα 403, μια σελίδα πρόκλησης ή ένα πολύ μικρότερο 200 σημαίνει ότι το firewall τον απορρίπτει.

Συχνές ερωτήσεις

Είναι ένας ιστότοπος χωρίς robots.txt ανοιχτός στους AI crawlers;

Ναι, όσον αφορά το robots.txt. Ένα 404 για το robots.txt σημαίνει ότι δεν υπάρχουν κανόνες, άρα κάθε crawler μπορεί να ανακτήσει κάθε σελίδα. Ένα firewall μπορεί ωστόσο να αποκλείσει crawlers.

Δείχνει η επέκταση αποκλεισμούς από firewall;

Όχι. Διαβάζει το robots.txt από τον browser σας, που δείχνει τι ζητά ο ιστότοπος από τους crawlers. Για αποκλεισμούς από firewall και προστασία από bots χρειάζεται αίτημα που στέλνεται ως ο crawler, και αυτό κάνει ο πλήρης έλεγχος στο aiseewhy.com.

Μπορώ να ελέγξω έναν ιστότοπο που δεν είναι δικός μου;

Ναι. Το robots.txt είναι δημόσιο και η επέκταση διαβάζει μόνο τα αρχεία robots.txt και llms.txt που δημοσιεύει ο ιστότοπος, τα ίδια αρχεία που διαβάζει κάθε crawler.

Διαβάστε τον πλήρη οδηγό

Είτε ελέγχετε τον δικό σας ιστότοπο μετά από μια αλλαγή είτε εξετάζετε τον ιστότοπο κάποιου άλλου πριν βασιστείτε σε αυτόν, η ερώτηση «αποκλείει αυτός ο ιστότοπος τους AI crawlers;» έχει ακριβή απάντηση. Εξαρτάται από τον crawler που εννοείτε, γιατί οι εταιρείες AI έχουν ξεχωριστούς crawlers για εκπαίδευση, για αναζήτηση και για ζωντανές επισκέψεις, και ένας ιστότοπος μπορεί να χειρίζεται τον καθένα διαφορετικά. Αυτός ο οδηγός δείχνει τρεις ελέγχους, από τον πιο γρήγορο ως τον πιο πλήρη.

Πού μπορεί ένας ιστότοπος να αποκλείσει AI crawlers;

Υπάρχουν τρία επίπεδα και ένας crawler πρέπει να περάσει από όλα για να χρησιμοποιήσει μια σελίδα.

  • robots.txt: ένα δημόσιο αρχείο κανόνων που οι crawlers που συμπεριφέρονται σωστά διαβάζουν πριν ανακτήσουν οτιδήποτε. Είναι αίτημα, όχι κλειδαριά.
  • Ο server, το CDN ή το firewall: αποφασίζει τι επιστρέφεται πραγματικά. Ένας κανόνας προστασίας από bots μπορεί να απαντήσει σε έναν crawler με 403, 429 ή σελίδα πρόκλησης ακόμη κι όταν το robots.txt τον επιτρέπει.
  • Η ίδια η σελίδα: αν το κύριο κείμενο εμφανίζεται μόνο αφού εκτελεστεί JavaScript, ένας crawler που διαβάζει το αρχικό HTML λαμβάνει μια σχεδόν άδεια σελίδα, παρόλο που τίποτα δεν τον απέκλεισε.

Οι περισσότεροι γρήγοροι έλεγχοι κοιτούν μόνο το πρώτο επίπεδο. Είναι καλή αρχή, αρκεί να θυμάστε και τα άλλα δύο.

Πώς διαβάζω το robots.txt για έναν AI crawler;

Ανοίξτε το https://example.com/robots.txt σε έναν browser και βρείτε την ομάδα που ισχύει για τον crawler. Μια ομάδα ξεκινά με μία ή περισσότερες γραμμές User-agent. Ο crawler χρησιμοποιεί την ομάδα που αναφέρει το token του, για παράδειγμα GPTBot· η αντιστοίχιση δεν κάνει διάκριση πεζών-κεφαλαίων. Αν καμία ομάδα δεν τον αναφέρει, χρησιμοποιεί την ομάδα User-agent: *. Αν δεν υπάρχει ούτε αυτή, επιτρέπονται όλα.

Μέσα στην ομάδα υπερισχύει ο κανόνας με τη μεγαλύτερη διαδρομή που ταιριάζει, και όταν ένα Allow και ένα Disallow έχουν το ίδιο μήκος, υπερισχύει το Allow. Έτσι το παρακάτω αρχείο αποκλείει τον GPTBot από ολόκληρο τον ιστότοπο, αλλά αφήνει μέσα όλους τους άλλους crawlers:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Δείτε επίσης πώς απαντά το αρχείο. Σύμφωνα με το RFC 9309, ένα 404 σημαίνει ότι δεν υπάρχουν κανόνες, άρα επιτρέπονται όλα. Ένα σφάλμα server (5xx) ή η απουσία απάντησης σημαίνει ότι ο crawler πρέπει να θεωρήσει ολόκληρο τον ιστότοπο απαγορευμένο. Συχνό λάθος είναι μια διεύθυνση robots.txt που επιστρέφει σελίδα HTML: οι crawlers δεν βρίσκουν σε αυτήν έγκυρους κανόνες.

Πώς ελέγχω όλους τους AI crawlers μαζί;

Η ανάγνωση του αρχείου με το χέρι γίνεται αργή μόλις σας ενδιαφέρουν περισσότεροι από ένας crawlers. Κάθε εταιρεία AI έχει αρκετούς, με διαφορετικές δουλειές:

  • Οι crawlers εκπαίδευσης συλλέγουν περιεχόμενο για την εκπαίδευση μοντέλων: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, καθώς και τα tokens Google-Extended και Applebot-Extended, που εμφανίζονται μόνο στο robots.txt.
  • Οι crawlers αναζήτησης ευρετηριάζουν σελίδες ώστε οι απαντήσεις AI να μπορούν να τις παραθέτουν: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Οι crawlers χρηστών ανακτούν μια σελίδα όταν ένας άνθρωπος το ζητήσει από τον βοηθό: ChatGPT-User, Claude-User, Perplexity-User.

Η δωρεάν επέκταση Έλεγχος ανιχνευτών AI για Chrome το κάνει με ένα κλικ. Ανοίξτε οποιαδήποτε σελίδα, πατήστε το εικονίδιο και η επέκταση διαβάζει το robots.txt του ιστότοπου και δείχνει, για καθέναν από τους 16 crawlers, αν η σελίδα επιτρέπεται και ποια γραμμή το αποφασίζει. Δείχνει επίσης τις προτιμήσεις Content-Signal, αν ο ιστότοπος έχει llms.txt και τα sitemaps που αναφέρονται στο robots.txt. Λειτουργεί στον browser σας, δεν χρειάζεται λογαριασμό και διαβάζει μόνο τον ιστότοπο στον οποίο την πατάτε.

Χωρίς Chrome, ο δωρεάν έλεγχος robots.txt στο aiseewhy.com δίνει την ίδια απάντηση για ένα URL που επικολλάτε.

Πώς ελέγχω αν το firewall τους αφήνει να περάσουν;

Το robots.txt δείχνει τι ζητά ο ιστότοπος. Για να δείτε τι λαμβάνει πραγματικά ένας crawler, ζητήστε τη σελίδα δύο φορές, μία ως browser και μία με το user agent του crawler, και συγκρίνετε τον κωδικό κατάστασης και το μέγεθος της απάντησης:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Αν ο browser λάβει 200 και ο crawler 403, 429 ή 503, ή μια πολύ μικρότερη σελίδα, ένα firewall ή η προστασία από bots χειρίζεται τον crawler διαφορετικά. Κάθε εξωτερικός έλεγχος έχει έναν περιορισμό: προέρχεται από το δικό σας δίκτυο, όχι από το δίκτυο της εταιρείας AI. Ένα firewall που εμπιστεύεται τους crawlers βάσει των δημοσιευμένων διευθύνσεων IP τους μπορεί να χειριστεί τον πραγματικό crawler διαφορετικά, οπότε την τελευταία λέξη έχουν τα αρχεία καταγραφής του server σας.

Ο πλήρης έλεγχος στο aiseewhy.com ανακτά τη σελίδα ως καθένας από τους 16 crawlers δίπλα σε έναν πραγματικό browser, κατονομάζει το firewall ή τον κανόνα που αποκλείει έναν crawler και συγκρίνει το κείμενο που έλαβε ο καθένας.

Ποιο αποτέλεσμα πρέπει να επιδιώκετε;

Εξαρτάται από το τι θέλετε. Αν θέλετε να παρατίθεστε στην αναζήτηση του ChatGPT, στο Claude και στο Perplexity, οι crawlers αναζήτησης και χρηστών πρέπει να επιτρέπονται στο robots.txt και να λαμβάνουν την πραγματική σελίδα από τον server. Αν δεν θέλετε το περιεχόμενό σας να χρησιμοποιείται για εκπαίδευση, αποκλείστε μόνο τα tokens εκπαίδευσης. Πρόκειται για ξεχωριστές επιλογές: ο αποκλεισμός του GPTBot δεν αποκλείει τον OAI-SearchBot και ο αποκλεισμός του ClaudeBot δεν αποκλείει τον Claude-SearchBot.

Πολλοί ιστότοποι τα μπερδεύουν. Στην αναφορά μας του Νοεμβρίου 2026 για τα 1.000 δημοφιλέστερα domains, το 63% των ιστότοπων που αποκλείουν έναν crawler εκπαίδευσης αποκλείει επίσης τουλάχιστον έναν crawler αναζήτησης AI ή crawler χρηστών, κάτι που κρατά τις σελίδες τους έξω από αυτές τις απαντήσεις AI.

Δωρεάν εργαλεία

Επόμενα βήματα

Crawlers σε αυτό το άρθρο

Πηγές

Περισσότερα άρθρα

Δημοσιεύθηκε