Πώς διαβάζετε την αναφορά AI Crawl Control της Cloudflare και βλέπετε ποιοι AI crawlers μπαίνουν

Δημοσιεύθηκε

Σύντομη απάντηση

Ανοίξτε το AI Crawl Control στον πίνακα ελέγχου της Cloudflare: η λίστα crawlers δείχνει κάθε AI crawler που έχει δει η Cloudflare στον τομέα σας, τα αιτήματά του, τις παραβιάσεις του robots.txt και αν η ενέργειά του είναι Allow ή Block. Για να κρατήσετε την αναζήτηση AI αλλά να αρνηθείτε την εκπαίδευση, επιτρέψτε τους crawlers αναζήτησης και τους agents και μπλοκάρετε ή απαγορέψτε τους crawlers εκπαίδευσης εκεί ή στις πολιτικές AI Crawler and Agent access. Έπειτα επιβεβαιώστε από έξω με curl, γιατί άλλες λειτουργίες της Cloudflare μπορούν ακόμη να μπλοκάρουν έναν crawler που επιτρέψατε.

Η Cloudflare έχει πλέον δύο σημεία που αποφασίζουν τι λαμβάνουν οι AI crawlers: το AI Crawl Control, την αναφορά και τον πίνακα ρυθμίσεων ανά crawler που παλιότερα λεγόταν AI Audit, και τις πολιτικές AI Crawler and Agent access για ολόκληρη τη ζώνη στις ρυθμίσεις Security. Και τα δύο είναι διαθέσιμα στο πλάνο Free, και τα δύο άλλαξαν μέσα στο 2026, και κανένα δεν σας ενημερώνει για όλες τις άλλες λειτουργίες που μπορούν ακόμη να απαντήσουν σε έναν crawler με 403. Αυτός ο οδηγός περνά την αναφορά στήλη προς στήλη, δείχνει πού ορίζετε το επιτρέπεται και το μπλοκάρεται και τελειώνει με έναν έλεγχο που τρέχετε από τον δικό σας υπολογιστή.

Σε αυτή τη σελίδα
  1. Πού είναι η αναφορά AI crawlers στο Cloudflare;
  2. Τι σημαίνει κάθε στήλη και μέτρηση στην αναφορά AI Crawl Control;
  3. Πώς επιτρέπω τους crawlers αναζήτησης AI και μπλοκάρω τους crawlers εκπαίδευσης στο Cloudflare;
  4. Τι άλλαξε στις προεπιλογές της Cloudflare για τους AI crawlers;
  5. Γιατί η Cloudflare μπλοκάρει ακόμη τους AI crawlers αφού τους επέτρεψα;
  6. Πώς επιβεβαιώνω από έξω ποιους AI crawlers αφήνει να περάσουν η Cloudflare;
  7. Πώς ελέγχει το AISeeWhy τι στέλνει η Cloudflare στους AI crawlers;

Πού είναι η αναφορά AI crawlers στο Cloudflare;

Στον πίνακα ελέγχου, επιλέξτε τον λογαριασμό και τον τομέα σας και ανοίξτε το AI Crawl Control. Η Cloudflare λέει ότι λειτουργεί χωρίς ρυθμίσεις και είναι διαθέσιμο σε όλα τα πλάνα, αρκεί η κίνηση του τομέα σας να περνά μέσω του proxy της Cloudflare. Έχει τέσσερις περιοχές:

Δύο όρια των πλάνων μετρούν όταν διαβάζετε τους αριθμούς. Στο πλάνο Free το AI Crawl Control αναγνωρίζει τους crawlers μόνο από τη συμβολοσειρά user agent, οπότε βλέπει μόνο crawlers που δηλώνουν ποιοι είναι, και η καρτέλα Metrics καλύπτει τις τελευταίες 24 ώρες. Τα πληρωμένα πλάνα προσθέτουν ανίχνευση μέσω του detection ID του Bot Management, και το Enterprise με Bot Management έχει ρυθμιζόμενα χρονικά διαστήματα.

Τι σημαίνει κάθε στήλη και μέτρηση στην αναφορά AI Crawl Control;

Η Cloudflare τεκμηριώνει τα πεδία ως εξής. Οι ορισμοί έχουν σημασία, γιατί αρκετοί αριθμοί μετρούν περισσότερα από όσα θα περιμένατε.

Διαβάστε την αναφορά ξεκινώντας από την ενέργεια που επιλέξατε. Ένας crawler σε Allow πρέπει να δείχνει κυρίως επιτρεπόμενα αιτήματα και κωδικούς 2xx. Αν δείχνει πολλά ανεπιτυχή αιτήματα, ανοίξτε την κατανομή κωδικών κατάστασης φιλτραρισμένη για αυτόν τον crawler και ελέγξτε το Security Analytics για να βρείτε τον κανόνα που απάντησε.

Πώς επιτρέπω τους crawlers αναζήτησης AI και μπλοκάρω τους crawlers εκπαίδευσης στο Cloudflare;

Μπορείτε να το κάνετε ανά crawler ή ανά συμπεριφορά. Ανά crawler, ανοίξτε το AI Crawl Control και ορίστε το Action σε κάθε γραμμή. Η Cloudflare λέει ότι το μπλοκάρισμα εκεί δημιουργεί ή ενημερώνει έναν προσαρμοσμένο κανόνα WAF στη ζώνη σας, τον οποίο μπορείτε να επεκτείνετε στο WAF με εξαιρέσεις διαδρομών. Στα πληρωμένα πλάνα μπορείτε να επιλέξετε αν οι μπλοκαρισμένοι crawlers θα παίρνουν 403 ή 402 και να ορίσετε σώμα απόκρισης σε απλό κείμενο.

Ανά συμπεριφορά, πηγαίνετε στο Security, μετά στο Settings, φιλτράρετε κατά Bot traffic και ανοίξτε τις AI Crawler and Agent access policies. Η Cloudflare χωρίζει την κίνηση AI σε τρεις συμπεριφορές, και κάθε πολιτική ισχύει για τα επαληθευμένα bots με αυτή τη συμπεριφορά και για τα αντίστοιχα μη επαληθευμένα:

Κάθε συμπεριφορά μπορεί να οριστεί σε Block, Block on pages with ads ή Allow (do not block). Το Training έχει επίσης το Disallow, που απλώς ζητά από τους crawlers μέσω του robots.txt. Με ενεργό το Bot Preference Sync, η Cloudflare προσθέτει στην αρχή του robots.txt σας διαχειριζόμενους κανόνες που απαγορεύουν τους Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot και meta-externalagent, προσθέτει μια γραμμή Content Signals και μπλοκάρει επίσης τους AI crawlers εκπαίδευσης στο edge, εκτός από crawlers που χρησιμοποιούνται και για αναζήτηση και για εκπαίδευση.

Για τους περισσότερους ιστότοπους που θέλουν παραθέσεις σε AI, ο ασφαλής συνδυασμός είναι Search και Agent σε Allow και Training σε Disallow, και μετά μεμονωμένες ενέργειες Block στο AI Crawl Control για crawlers μόνο εκπαίδευσης που θέλετε να σταματήσετε στο edge.

Τι άλλαξε στις προεπιλογές της Cloudflare για τους AI crawlers;

Την 1η Ιουλίου 2025 η Cloudflare ανακοίνωσε ότι αλλάζει την προεπιλογή ώστε να μπλοκάρει τους AI crawlers εκτός αν πληρώνουν τους δημιουργούς. Την 1η Ιουλίου 2026 αντικατέστησε τον ενιαίο διακόπτη Block AI bots με τις ξεχωριστές πολιτικές Search, Agent και Training που περιγράφονται παραπάνω, για όλα τα πλάνα μαζί με το Free. Η ίδια ανακοίνωση έλεγε ότι οι νέοι τομείς που εντάσσονται από τις 15 Σεπτεμβρίου 2026 θα έχουν μπλοκαρισμένα το Training και το Agent σε σελίδες με διαφημίσεις, με το Search επιτρεπόμενο.

Η τρέχουσα τεκμηρίωση πολιτικών της Cloudflare, που ενημερώθηκε τελευταία στις 2 Νοεμβρίου 2026, λέει ότι οι νέοι τομείς έχουν από προεπιλογή Allow (do not block) και για τις τρεις συμπεριφορές. Επειδή οι ίδιες οι σελίδες της Cloudflare έχουν περιγράψει διαφορετικές προεπιλογές σε διαφορετικές στιγμές, μη βασίζεστε σε καμία από αυτές για τη ζώνη σας: ανοίξτε τη σελίδα πολιτικών και δείτε τι είναι ρυθμισμένο.

Γιατί η Cloudflare μπλοκάρει ακόμη τους AI crawlers αφού τους επέτρεψα;

Η ενέργεια Allow στο AI Crawl Control απλώς σταματά το AI Crawl Control από το να μπλοκάρει. Άλλες λειτουργίες εξακολουθούν να δρουν στο αίτημα. Συνηθισμένες αιτίες:

Πώς επιβεβαιώνω από έξω ποιους AI crawlers αφήνει να περάσουν η Cloudflare;

Ζητήστε την ίδια σελίδα με user agent browser και με τον user agent κάθε crawler και συγκρίνετε κατάσταση και μέγεθος. Οι συμβολοσειρές της OpenAI, της Perplexity και της Google παρακάτω είναι αυτές που δημοσιεύουν οι ίδιες οι εταιρείες.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Μια γραμμή crawler με 403, 429 ή 503, ή με πολύ μικρότερο μέγεθος από τη γραμμή του browser, σημαίνει ότι κάτι μπροστά από τον origin server σας απάντησε διαφορετικά. Στο πλάνο Free το AI Crawl Control ανιχνεύει τους crawlers από τον user agent, οπότε αυτός ο έλεγχος είναι λογικός τρόπος να επαληθεύσετε τα μπλοκαρίσματά του. Κανόνες που βασίζονται στην κατάσταση επαληθευμένου bot ή σε bot scores μπορεί να αντιμετωπίσουν το αίτημά σας διαφορετικά από τον πραγματικό crawler, γιατί έρχεται από τη δική σας διεύθυνση IP και όχι από τα δημοσιευμένα εύρη του φορέα. Μετά τον έλεγχο, βρείτε τα δικά σας αιτήματα στο Security Analytics για να δείτε ποιος κανόνας ταίριαξε.

Πώς ελέγχει το AISeeWhy τι στέλνει η Cloudflare στους AI crawlers;

Ο δωρεάν έλεγχος του AISeeWhy ζητά τη σελίδα σας ως 16 AI crawlers και crawlers μηχανών αναζήτησης δίπλα σε έναν πραγματικό browser, εφαρμόζει το robots.txt σας ανά crawler και αναγνωρίζει σελίδες πρόκλησης firewall, ώστε να βλέπετε αν το αποτέλεσμα στον πίνακα ελέγχου της Cloudflare συμφωνεί με αυτό που πραγματικά λαμβάνουν οι crawlers.

Διορθώσεις για αυτό το πρόβλημα

Δωρεάν εργαλεία

Επόμενα βήματα

Crawlers σε αυτό το άρθρο

Συχνές ερωτήσεις

Είναι δωρεάν το Cloudflare AI Crawl Control;

Ναι. Η Cloudflare αναφέρει το AI Crawl Control ως διαθέσιμο σε όλα τα πλάνα. Το πλάνο Free ανιχνεύει crawlers μόνο από τον user agent και δείχνει τις τελευταίες 24 ώρες στο Metrics· τα δεδομένα παραπομπών και οι προσαρμοσμένες αποκρίσεις μπλοκαρίσματος χρειάζονται πληρωμένο πλάνο.

Τι απέγινε το Cloudflare AI Audit;

Μετονομάστηκε. Η τεκμηρίωση της Cloudflare περιγράφει το AI Crawl Control ως το πρώην AI Audit, με τον ίδιο σκοπό: να βλέπετε ποιοι AI crawlers επισκέπτονται και να ορίζετε ενέργεια για τον καθένα.

Αλλάζει το robots.txt μου αν μπλοκάρω έναν crawler στο AI Crawl Control;

Όχι. Μια ενέργεια Block δημιουργεί ή ενημερώνει έναν προσαρμοσμένο κανόνα WAF. Το robots.txt αλλάζει μόνο αν χρησιμοποιήσετε την επιλογή Disallow για το Training με το Bot Preference Sync, που προσθέτει τους διαχειριζόμενους κανόνες της Cloudflare στην αρχή του αρχείου σας.

Τι μετρά ως παραβίαση του robots.txt στο Cloudflare;

Ένα αίτημα από AI crawler σε διαδρομή που απαγορεύει το robots.txt σας. Η Cloudflare συγκρίνει παλαιότερα αιτήματα με τους τρέχοντες κανόνες σας, οπότε ένας νέος κανόνας μπορεί να επισημάνει παλαιότερα αιτήματα που τότε επιτρέπονταν.

Τι είναι το pay per crawl;

Μια ενέργεια Charge που ζητά από τους AI crawlers να πληρώνουν ανά αίτημα, απαντώντας διαφορετικά με HTTP 402 και μια τιμή. Η Cloudflare την περιγράφει ως κλειστή beta, και τα μπλοκαρίσματα του WAF ή του Bot Management έχουν προτεραιότητα έναντι αυτής.

Πηγές

Περισσότερα άρθρα