AISeeWhy
EL
Έναρξη δωρεάν δοκιμής

Αποκλείει το Cloudflare τους AI crawlers; Πώς θα το βρείτε και θα το διορθώσετε

Δημοσιεύθηκε

Σύντομη απάντηση

Το Cloudflare και άλλα firewalls μπορούν να απαντούν στους AI crawlers με 403, 429 ή σελίδα πρόκλησης «Just a moment...», ενώ οι browsers λαμβάνουν την κανονική σελίδα, ακόμη κι όταν το robots.txt επιτρέπει τον crawler. Ελέγξτε το ζητώντας τη σελίδα με το user agent του crawler και έπειτα επιτρέψτε τους AI crawlers αναζήτησης στο AI Crawl Control ή με έναν κανόνα παράκαμψης στο WAF.

Η προστασία από bots υπάρχει για να σταματά scrapers και κατάχρηση και το κάνει καλά. Το πρόβλημα είναι ότι και οι AI crawlers αναζήτησης είναι bots. Μια ρύθμιση ασφαλείας που ενεργοποιήθηκε πριν από χρόνια, ένα όριο ρυθμού ή ένας ευρύς κανόνας κατά άγνωστων user agents μπορεί να κρατά αθόρυβα έξω τους crawlers που σας παραθέτουν, ενώ οι δικές σας επισκέψεις φαίνονται τέλειες.

Σε αυτή τη σελίδα
  1. Γιατί ένα firewall θα αποκλείσει AI crawlers;
  2. Πώς ξεχωρίζω έναν αποκλεισμό από firewall από έναν αποκλεισμό από robots.txt;
  3. Πώς επιτρέπω τους AI crawlers αναζήτησης στο Cloudflare;
  4. Τι γίνεται με το Bot Fight Mode;
  5. Ποιους crawlers να αφήσω να περάσουν;
  6. Πώς εντοπίζει το AISeeWhy τους αποκλεισμούς από firewall;

Γιατί ένα firewall θα αποκλείσει AI crawlers;

Τα firewalls κρίνουν κάθε αίτημα. Ένας crawler δεν εκτελεί προκλήσεις JavaScript, δεν κρατά cookies όπως ένας browser και συχνά ζητά πολλές σελίδες στη σειρά, οπότε μπορεί να μοιάζει ακριβώς με την κίνηση που έχει σχεδιαστεί να σταματά η προστασία από bots. Οι συνηθισμένες αιτίες είναι:

Πώς ξεχωρίζω έναν αποκλεισμό από firewall από έναν αποκλεισμό από robots.txt;

Ο αποκλεισμός μέσω robots.txt είναι ένα ευγενικό αίτημα: ο crawler διαβάζει τους κανόνες σας και δεν ανακτά τη σελίδα. Ο αποκλεισμός από firewall είναι μια απάντηση: ο crawler ζητά τη σελίδα και λαμβάνει κάτι άλλο. Το δεύτερο το βλέπετε άμεσα. Ζητήστε τη σελίδα δύο φορές, μία με user agent browser και μία με του crawler, και συγκρίνετε.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Ενδείξεις αποκλεισμού από firewall: κατάσταση 403, 429 ή 503 μόνο για τον crawler· σελίδα με τίτλο Just a moment... ή Attention Required! | Cloudflare· σώμα που περιέχει /cdn-cgi/challenge-platform· ή απάντηση 200 πολύ μικρότερη από αυτή του browser. Να έχετε υπόψη ότι το τεστ σας προέρχεται από τη δική σας IP και όχι από το επαληθευμένο εύρος IP του crawler, άρα δείχνει πώς αντιμετωπίζει το firewall το user agent, όχι κάθε λεπτομέρεια του πώς αντιμετωπίζει τον πραγματικό crawler.

Πώς επιτρέπω τους AI crawlers αναζήτησης στο Cloudflare;

Το AI Crawl Control του Cloudflare, διαθέσιμο σε όλα τα πακέτα, παραθέτει τους AI crawlers που επισκέπτονται το domain σας και σας επιτρέπει να ορίσετε μια ενέργεια για τον καθένα. Στο dashboard, ανοίξτε το AI Crawl Control, πηγαίνετε στη λίστα Crawlers και επιλέξτε Allow ή Block στη στήλη Action για κάθε crawler. Το Cloudflare αναφέρει ότι ο αποκλεισμός εκεί δημιουργεί ή ενημερώνει έναν προσαρμοσμένο κανόνα WAF στη ζώνη σας.

Αν αυτό που αποκλείει τον crawler είναι ένας προσαρμοσμένος κανόνας WAF, το Super Bot Fight Mode ή ο περιορισμός ρυθμού, προσθέστε έναν προσαρμοσμένο κανόνα που παρακάμπτει αυτές τις λειτουργίες για επαληθευμένα bots και για το token του crawler:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Τοποθετήστε τον κανόνα πρώτο. Σημειώστε ότι το ταίριασμα με το user agent αφήνει να περάσει και όποιον πλαστογραφεί αυτό το user agent. Όπου γίνεται, προτιμήστε το πεδίο επαληθευμένου bot (cf.client.bot) ή τα εύρη IP που δημοσιεύει ο πάροχος.

Τι γίνεται με το Bot Fight Mode;

Η τεκμηρίωση του Cloudflare αναφέρει ρητά ότι το Bot Fight Mode δεν μπορεί να παρακαμφθεί ούτε να αγνοηθεί με προσαρμοσμένους κανόνες WAF ή Page Rules. Αν αυτή η λειτουργία είναι που θέτει πρόκληση στους crawlers, ένας κανόνας παράκαμψης δεν θα βοηθήσει. Οι επιλογές είναι να απενεργοποιήσετε το Bot Fight Mode ή να χρησιμοποιήσετε το Super Bot Fight Mode σε πακέτο που το διαθέτει, το οποίο τρέχει στο Ruleset Engine και υποστηρίζει κανόνες παράκαμψης.

Ποιους crawlers να αφήσω να περάσουν;

Ξεχωρίστε τους crawlers ανάλογα με το τι κάνουν. Οι crawlers αναζήτησης και ανάκτησης από χρήστη καθορίζουν αν οι απαντήσεις AI μπορούν να σας βρουν και να σας παραθέσουν. Οι crawlers εκπαίδευσης συλλέγουν δεδομένα για μοντέλα και ο αποκλεισμός τους είναι θεμιτή επιλογή που δεν σας αφαιρεί από την AI αναζήτηση.

Οι ρυθμίσεις πολιτικής του ίδιου του Cloudflare χρησιμοποιούν τον ίδιο διαχωρισμό σε Search, Agent και Training, οπότε μπορείτε να επιτρέψετε τα δύο πρώτα και να αποφασίσετε χωριστά για το τρίτο. Αν χρησιμοποιείτε άλλο firewall ή CDN, η αρχή είναι η ίδια: προσθέστε στη λίστα επιτρεπόμενων το token του crawler, επαληθευμένο με τα δημοσιευμένα εύρη IP του παρόχου ή με reverse DNS όπου προσφέρεται, ώστε να λαμβάνει την ίδια απάντηση με έναν browser.

Πώς εντοπίζει το AISeeWhy τους αποκλεισμούς από firewall;

Το AISeeWhy ζητά τη σελίδα σας ως 14 crawlers και ως κανονικός browser, συγκρίνει κατάσταση, μέγεθος και ανακατευθύνσεις, αναγνωρίζει σελίδες πρόκλησης και ονομάζει το firewall ή το CDN που απάντησε. Όταν το robots.txt επιτρέπει έναν crawler αλλά ο server τον αποκλείει, η αναφορά δείχνει τη σύγκρουση και δίνει τον κανόνα του Cloudflare ή το βήμα της λίστας επιτρεπόμενων που τη διορθώνει.

Συχνές ερωτήσεις

Αποκλείει το Cloudflare τους AI crawlers από προεπιλογή;

Εξαρτάται από τον λογαριασμό σας, το πακέτο και τις ρυθμίσεις της ζώνης σας, και το Cloudflare έχει αλλάξει αυτές τις επιλογές με τον καιρό. Ελέγξτε το AI Crawl Control και τις ρυθμίσεις bots και δοκιμάστε με το user agent του crawler αντί να υποθέτετε.

Γιατί ο ιστότοπός μου λειτουργεί σε browser αλλά όχι για crawlers;

Τα firewalls κρίνουν κάθε αίτημα. Ένας browser περνά τις προκλήσεις JavaScript και κρατά cookies· ένας crawler όχι, οπότε μπορεί να λάβει σελίδα πρόκλησης ή 403 που εσείς δεν βλέπετε ποτέ.

Είναι ασφαλές να επιτρέψω AI crawlers μέσω του WAF;

Η άδεια σε έναν ονομαστικό crawler έχει χαμηλό ρίσκο αν τον επαληθεύετε με τα εύρη IP του παρόχου ή με το σήμα επαληθευμένου bot του Cloudflare. Οι κανόνες που εμπιστεύονται μόνο το user agent δέχονται και όποιον το αντιγράφει.

Επηρεάζει η λειτουργία απόκρυψης email του Cloudflare τους AI crawlers;

Αντικαθιστά τις διευθύνσεις email με έναν σύνδεσμο που αποκωδικοποιείται μόνο από script, οπότε οι crawlers βλέπουν ένα σύμβολο κράτησης θέσης αντί για τη διεύθυνση. Αν θέλετε το email επικοινωνίας σας να είναι αναγνώσιμο, απενεργοποιήστε το Email Address Obfuscation στο Scrape Shield και δείξτε τη διεύθυνση ως απλό κείμενο.

Πηγές

Περισσότερα άρθρα