CCBot
Το CCBot είναι ο crawler του Common Crawl, ενός μη κερδοσκοπικού οργανισμού που διατηρεί ένα δωρεάν, ανοιχτό αρχείο δεδομένων ανίχνευσης του ιστού. Το αρχείο χρησιμοποιείται ευρέως από ερευνητές και προγραμματιστές AI, οπότε το μπλοκάρισμα του CCBot είναι κυρίως απόφαση για την εκπαίδευση. Δεν επηρεάζει άμεσα καμία μηχανή αναζήτησης ή προϊόν αναζήτησης AI.
Τι κάνει
Το Common Crawl είναι μη κερδοσκοπικός οργανισμός που παράγει και διατηρεί ένα ανοιχτό αρχείο δεδομένων ανίχνευσης του ιστού, διαθέσιμο σε όλους δωρεάν. Το CCBot συλλέγει αυτά τα δεδομένα. Το Common Crawl λέει ότι ελέγχει το robots.txt πριν ανακτήσει μια σελίδα, τηρεί το Crawl-delay και δεν εκτελεί JavaScript.
Για να το μπλοκάρετε, το Common Crawl τεκμηριώνει μια ομάδα robots.txt για το token CCBot με Disallow: /. Για να το επιβραδύνετε αντί γι' αυτό, προτείνει μια γραμμή Crawl-delay στην ίδια ομάδα.
Στη μελέτη μας για τον 2026-11, το 24.1% των δημοφιλών ιστότοπων με robots.txt το μπλόκαρε. →
Token robots.txt
CCBot
Συμβολοσειρά user agent
CCBot/2.0 (https://commoncrawl.org/faq/)Πώς να το επιτρέψετε
User-agent: CCBot
Allow: /Πώς να το μπλοκάρετε
User-agent: CCBot
Disallow: /Πώς να επαληθεύσετε τις πραγματικές επισκέψεις
Το Common Crawl εκτελεί το CCBot σε αποκλειστικά εύρη IP με αντίστροφο DNS, ώστε να μπορείτε να ελέγξετε αν ένα καταγεγραμμένο αίτημα προήλθε από το πραγματικό CCBot. Δημοσιεύει τα εύρη IPv4 και IPv6 ως JSON και προειδοποιεί ότι άλλοι crawlers δηλώνουν ψευδώς ότι είναι το CCBot.
Ελέγξτε αν ο ιστότοπός σας το αφήνει να μπει →
robots.txt για AI crawlers: τι να επιτρέψετε, τι να αποκλείσετε →