Claude-SearchBot
Το Claude-SearchBot ανιχνεύει τον ιστό για να βελτιώσει τη συνάφεια και την ακρίβεια των αποτελεσμάτων αναζήτησης στο Claude. Η Anthropic λέει ότι το μπλοκάρισμά του εμποδίζει την ευρετηρίαση του περιεχομένου σας για αναζήτηση, κάτι που μπορεί να μειώσει την ορατότητά σας και την ακρίβεια στα αποτελέσματα αναζήτησης των χρηστών. Επιτρέψτε το αν θέλετε το Claude να βρίσκει και να παραθέτει τις σελίδες σας.
Τι κάνει
Η Anthropic χρησιμοποιεί το Claude-SearchBot για να περιηγείται στον ιστό και να βελτιώνει την ποιότητα των αποτελεσμάτων αναζήτησης για τους χρήστες του Claude. Είναι ξεχωριστό από το ClaudeBot, τον crawler εκπαίδευσης, οπότε μπορείτε να επιτρέψετε την αναζήτηση και να αποκλείσετε την εκπαίδευση.
Η Anthropic λέει ότι η απενεργοποίηση του Claude-SearchBot εμποδίζει την ευρετηρίαση του περιεχομένου σας για βελτιστοποίηση αναζήτησης, κάτι που μπορεί να μειώσει την ορατότητα του ιστότοπού σας και την ακρίβεια στα αποτελέσματα αναζήτησης των χρηστών. Τα bots της Anthropic τηρούν το robots.txt και σέβονται τα μέτρα κατά της παράκαμψης, οπότε ένα CAPTCHA ή μια σελίδα πρόκλησης τερματίζει την επίσκεψη.
Στη μελέτη μας για τον 2026-11, το 12.9% των δημοφιλών ιστότοπων με robots.txt το μπλόκαρε. →
Token robots.txt
Claude-SearchBot
Πώς να το επιτρέψετε
User-agent: Claude-SearchBot
Allow: /Πώς να το μπλοκάρετε
User-agent: Claude-SearchBot
Disallow: /Πώς να επαληθεύσετε τις πραγματικές επισκέψεις
Η Anthropic δημοσιεύει τις διευθύνσεις IP των crawlers της στο claude.com/crawling/bots.json και λέει ότι ένας crawler του οποίου η IP βρίσκεται σε αυτή τη λίστα προέρχεται από την Anthropic. Συγκρίνετε την IP προέλευσης με τη λίστα αντί να εμπιστεύεστε το user agent. Η Anthropic συνιστά να μη χρησιμοποιείτε μπλοκάρισμα IP για αποκλεισμό, επειδή εμποδίζει τον crawler να διαβάσει και το robots.txt.
Ελέγξτε αν ο ιστότοπός σας το αφήνει να μπει →
Οι crawlers της Anthropic: ClaudeBot, Claude-SearchBot και Claude-User →