CCBot
CCBot este crawlerul Common Crawl, o organizație nonprofit care întreține un depozit gratuit și deschis de date de parcurgere a web-ului. Arhiva este folosită pe scară largă de cercetători și de dezvoltatori de AI, așa că blocarea lui CCBot este în principal o decizie legată de antrenare. Nu afectează direct niciun motor de căutare sau produs de căutare AI.
Ce face
Common Crawl este o organizație nonprofit care produce și întreține un depozit deschis de date de parcurgere a web-ului, disponibil oricui, gratuit. CCBot colectează aceste date. Common Crawl spune că verifică robots.txt înainte de a prelua o pagină, respectă Crawl-delay și nu execută JavaScript.
Pentru a-l bloca, Common Crawl documentează un grup robots.txt pentru tokenul CCBot cu Disallow: /. Pentru a-l încetini în schimb, sugerează o linie Crawl-delay în același grup.
În studiul nostru din 2026-11, 24.1% dintre site-urile populare cu robots.txt îl blocau. →
Tokenul robots.txt
CCBot
Șirul user agent
CCBot/2.0 (https://commoncrawl.org/faq/)Cum îl permiți
User-agent: CCBot
Allow: /Cum îl blochezi
User-agent: CCBot
Disallow: /Cum verifici vizitele reale
Common Crawl rulează CCBot pe intervale IP dedicate, cu DNS invers, așa că poți verifica dacă o cerere din loguri a venit de la CCBot real. Publică intervalele IPv4 și IPv6 ca JSON și avertizează că alte crawlere se identifică fals drept CCBot.