ClaudeBot
Το ClaudeBot είναι ο crawler της Anthropic για περιεχόμενο του ιστού που μπορεί να χρησιμοποιηθεί για την εκπαίδευση των γενετικών μοντέλων AI της. Αν το απαγορεύσετε στο robots.txt, δηλώνετε ότι το μελλοντικό περιεχόμενο του ιστότοπού σας πρέπει να εξαιρεθεί από την εκπαίδευση. Το μπλοκάρισμα από μόνο του δεν σταματά το Claude-SearchBot ή το Claude-User, που εξυπηρετούν την αναζήτηση και τις ζωντανές απαντήσεις.
Τι κάνει
Η Anthropic λέει ότι το ClaudeBot συλλέγει περιεχόμενο του ιστού που μπορεί να συμβάλει στην εκπαίδευση των μοντέλων της, ώστε να βελτιωθεί η χρησιμότητα και η ασφάλειά τους. Η απαγόρευση του ClaudeBot δηλώνει ότι τα μελλοντικά υλικά του ιστότοπού σας πρέπει να εξαιρεθούν από τα σύνολα δεδομένων εκπαίδευσης.
Η Anthropic υποστηρίζει επίσης την μη τυπική οδηγία Crawl-delay, ώστε να επιβραδύνετε το ClaudeBot αντί να το μπλοκάρετε. Οι κανόνες που κατονομάζουν το ClaudeBot στο robots.txt υπερισχύουν του γενικού σήματος της Anthropic κατά της εκπαίδευσης AI. Οι κανόνες του robots.txt ισχύουν ανά host, γι' αυτό προσθέστε τους σε κάθε υποτομέα που θέλετε να καλύψετε.
Στη μελέτη μας για τον 2026-11, το 21.2% των δημοφιλών ιστότοπων με robots.txt το μπλόκαρε. →
Token robots.txt
ClaudeBot
Πώς να το επιτρέψετε
User-agent: ClaudeBot
Allow: /Πώς να το μπλοκάρετε
User-agent: ClaudeBot
Disallow: /Πώς να επαληθεύσετε τις πραγματικές επισκέψεις
Η Anthropic δημοσιεύει τις διευθύνσεις IP των crawlers της στο claude.com/crawling/bots.json και λέει ότι ένας crawler του οποίου η IP βρίσκεται σε αυτή τη λίστα προέρχεται από την Anthropic. Συγκρίνετε την IP προέλευσης με τη λίστα αντί να εμπιστεύεστε το user agent. Η Anthropic συνιστά να μη χρησιμοποιείτε μπλοκάρισμα IP για αποκλεισμό, επειδή εμποδίζει τον crawler να διαβάσει και το robots.txt.
Ελέγξτε αν ο ιστότοπός σας το αφήνει να μπει →
Οι crawlers της Anthropic: ClaudeBot, Claude-SearchBot και Claude-User →