AISeeWhy
EL
Έναρξη δωρεάν δοκιμής

Οι crawlers της Anthropic: ClaudeBot, Claude-SearchBot και Claude-User

Δημοσιεύθηκε

Σύντομη απάντηση

Η Anthropic τρέχει τρεις agents: ο ClaudeBot συλλέγει περιεχόμενο που μπορεί να εκπαιδεύσει τα μοντέλα της, ο Claude-SearchBot σαρώνει για να βελτιώνει τα αποτελέσματα αναζήτησης του Claude και ο Claude-User ανακτά σελίδες όταν τις χρειάζεται η ερώτηση ενός χρήστη. Ο καθένας έχει δικό του token στο robots.txt και η Anthropic λέει ότι και οι τρεις το τηρούν. Ο αποκλεισμός μόνο του ClaudeBot δεν σταματά την αναζήτηση ούτε τις ανακτήσεις χρηστών.

Η Anthropic τεκμηριώνει τους crawlers της σε μία σελίδα βοήθειας και η δομή θυμίζει άλλους παρόχους AI: ένας agent για εκπαίδευση, ένας για αναζήτηση και ένας για ζωντανές ανακτήσεις εκ μέρους του χρήστη. Αν θέλετε το Claude να μπορεί να βρίσκει και να παραθέτει τις σελίδες σας, οι δύο τελευταίοι έχουν τη μεγαλύτερη σημασία.

Σε αυτή τη σελίδα
  1. Τι κάνει ο ClaudeBot;
  2. Τι κάνει ο Claude-SearchBot;
  3. Τι κάνει ο Claude-User;
  4. Πώς γράφω κανόνες robots.txt για το Claude;
  5. Πώς συγκρίνεται η προσέγγιση της Anthropic με της OpenAI και της Perplexity;
  6. Να αποκλείσω την Anthropic με βάση τη διεύθυνση IP;
  7. Γιατί μπορεί το Claude να μη διαβάζει τη σελίδα μου;

Τι κάνει ο ClaudeBot;

Ο ClaudeBot συλλέγει περιεχόμενο του web που θα μπορούσε να συμβάλει στην εκπαίδευση των μοντέλων γενετικής AI της Anthropic. Σύμφωνα με την Anthropic, η απαγόρευσή του σηματοδοτεί ότι το μελλοντικό περιεχόμενο του ιστότοπού σας πρέπει να εξαιρεθεί από τα σύνολα δεδομένων εκπαίδευσης.

Η Anthropic λέει επίσης ότι τηρεί ένα μηχανικά αναγνώσιμο σήμα μη εκπαίδευσης AI που βασίζεται σε προσχέδιο του IETF και ότι οι κανόνες που αναφέρουν τον ClaudeBot στο robots.txt υπερισχύουν αυτής της γενικής ρύθμισης. Όπως με τους άλλους crawlers εκπαίδευσης, ο αποκλεισμός του είναι επιλογή πολιτικής.

Τι κάνει ο Claude-SearchBot;

Ο Claude-SearchBot σαρώνει το web για να βελτιώσει τη συνάφεια και την ακρίβεια των αποτελεσμάτων αναζήτησης στο Claude. Η Anthropic λέει ότι ο αποκλεισμός του εμποδίζει την ευρετηρίαση του περιεχομένου σας για αναζήτηση, κάτι που μπορεί να μειώσει την ορατότητα και την ακρίβεια της παρουσίας σας στα αποτελέσματα αναζήτησης των χρηστών.

Αυτόν τον agent πρέπει να επιτρέψετε αν θέλετε οι λειτουργίες αναζήτησης του Claude να γνωρίζουν τις σελίδες σας πριν ρωτήσει κανείς γι' αυτές. Επειδή είναι crawler αναζήτησης, ωφελείται από ό,τι και κάθε crawler αναζήτησης: ένα sitemap που δηλώνεται στο robots.txt, καθαρούς εσωτερικούς συνδέσμους και σελίδες που επιστρέφουν το περιεχόμενό τους στην πρώτη απάντηση.

Τι κάνει ο Claude-User;

Ο Claude-User επισκέπτεται έναν ιστότοπο όταν ένας χρήστης του Claude κάνει μια ερώτηση που το απαιτεί, για παράδειγμα όταν κάποιος μοιράζεται ένα URL ή ζητά από το Claude να αναζητήσει κάτι. Η Anthropic λέει ότι ο αποκλεισμός του εμποδίζει την ανάκτηση ως απάντηση σε ερωτήματα χρηστών, κάτι που μπορεί να μειώσει την ορατότητά σας στην αναζήτηση στο web που κατευθύνει ο χρήστης.

Σημειώστε μια διαφορά από ορισμένους άλλους παρόχους. Η Anthropic δηλώνει ότι τα bots της τηρούν τις οδηγίες του robots.txt και περιγράφει τον αποκλεισμό του Claude-User μέσω robots.txt. Αντίθετα, η OpenAI και η Perplexity λένε ότι οι μηχανισμοί ανάκτησης που ζητούν οι χρήστες τους μπορεί να μην ακολουθούν το robots.txt.

Πώς γράφω κανόνες robots.txt για το Claude;

Κάθε agent έχει δικό του token και μια ομάδα που αναφέρει έναν crawler αντικαθιστά την ομάδα * για αυτόν τον crawler σύμφωνα με το RFC 9309. Μια συνηθισμένη επιλογή είναι να επιτρέπονται η αναζήτηση και οι ανακτήσεις από χρήστες και να εξαιρείται η εκπαίδευση:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Η Anthropic υποστηρίζει επίσης το Crawl-delay ως μη τυπική επέκταση, για παράδειγμα Crawl-delay: 1 κάτω από το User-agent: ClaudeBot, αν θέλετε να επιβραδύνετε τη σάρωση αντί να την αποκλείσετε. Οι κανόνες πρέπει να βρίσκονται στο robots.txt του καταλόγου ανώτατου επιπέδου κάθε host, οπότε προσθέστε τους σε κάθε υποτομέα που θέλετε να καλύψετε.

Πώς συγκρίνεται η προσέγγιση της Anthropic με της OpenAI και της Perplexity;

Οι τρεις πάροχοι ακολουθούν το ίδιο μοτίβο με διαφορετικά ονόματα, κάτι που κάνει ένα κοινό robots.txt εύκολο να το σκεφτεί κανείς. Η βασική διαφορά είναι το πώς αντιμετωπίζει ο καθένας το robots.txt στις ζωντανές ανακτήσεις κατόπιν αιτήματος χρήστη.

Αν γράψετε ένα robots.txt για και τους τρεις, βάλτε τα tokens αναζήτησης και χρηστών σε μία ομάδα και τα tokens εκπαίδευσης σε άλλη. Έτσι η πολιτική μένει ευανάγνωστη και είναι προφανές τι επιλέξατε για κάθε σκοπό.

Να αποκλείσω την Anthropic με βάση τη διεύθυνση IP;

Η Anthropic το αποθαρρύνει. Η τεκμηρίωσή της λέει ότι ο αποκλεισμός διευθύνσεων IP μπορεί να μη λειτουργεί σωστά ούτε να εγγυάται μόνιμα την εξαίρεση, επειδή εμποδίζει επίσης τον crawler να διαβάσει το robots.txt σας. Χρησιμοποιήστε το robots.txt για να δηλώσετε την πολιτική σας.

Η Anthropic δημοσιεύει τις διευθύνσεις IP των crawlers της στο claude.com/crawling/bots.json. Ο χρήσιμος τρόπος να αξιοποιήσετε αυτή τη λίστα είναι το αντίθετο του αποκλεισμού: αφήστε το firewall σας να επαληθεύει ότι ένα αίτημα που δηλώνει Claude-SearchBot ή Claude-User προέρχεται πράγματι από την Anthropic και αφήστε το να περάσει.

Γιατί μπορεί το Claude να μη διαβάζει τη σελίδα μου;

Ακόμη και με επιτρεπτικό robots.txt, το firewall ή το CDN σας μπορεί να απαντά στους agents της Anthropic με 403 ή σελίδα πρόκλησης. Η Anthropic λέει ότι τα bots της σέβονται τις τεχνολογίες κατά της παράκαμψης και δεν θα προσπαθήσουν να παρακάμψουν CAPTCHAs, οπότε μια σελίδα πρόκλησης απλώς τελειώνει την επίσκεψη. Σελίδες των οποίων το κείμενο εμφανίζεται μόνο αφού τρέξει η JavaScript μπορεί επίσης να φτάσουν σχεδόν άδειες.

Το AISeeWhy ζητά τη σελίδα σας ως ClaudeBot, Claude-SearchBot και Claude-User δίπλα σε έναν browser και ελέγχει τους κανόνες του robots.txt σας για καθέναν, ώστε να δείτε αν η πολιτική που γράψατε είναι αυτή που εφαρμόζει ο server σας.

Συχνές ερωτήσεις

Αφαιρεί ο αποκλεισμός του ClaudeBot τον ιστότοπό μου από τις απαντήσεις του Claude;

Όχι από μόνος του. Η ευρετηρίαση για αναζήτηση και οι ανακτήσεις κατόπιν αιτήματος χρήστη χρησιμοποιούν τους Claude-SearchBot και Claude-User, που έχουν δικά τους tokens στο robots.txt.

Ακολουθεί ο Claude-User το robots.txt;

Η Anthropic λέει ότι τα bots της τηρούν το robots.txt και περιγράφει τον αποκλεισμό του Claude-User εκεί, με αποτέλεσμα το Claude να μην μπορεί να ανακτά τις σελίδες σας για ερωτήσεις χρηστών.

Θα λύσουν CAPTCHA οι crawlers της Anthropic;

Όχι. Η Anthropic λέει ότι τα bots της σέβονται τις τεχνολογίες κατά της παράκαμψης και δεν θα επιχειρήσουν να παρακάμψουν CAPTCHAs.

Μπορώ να επιβραδύνω τον ClaudeBot αντί να τον αποκλείσω;

Ναι. Η Anthropic υποστηρίζει το Crawl-delay ως μη τυπική επέκταση, για παράδειγμα Crawl-delay: 1 στην ομάδα ClaudeBot του robots.txt σας.

Πώς επαληθεύω ότι ένα αίτημα προέρχεται πράγματι από την Anthropic;

Συγκρίνετε την IP προέλευσης με τη λίστα που δημοσιεύει η Anthropic στο claude.com/crawling/bots.json. Ένα user agent μόνο του μπορεί να αντιγραφεί από οποιονδήποτε.

Πηγές

Περισσότερα άρθρα