CCBot
CCBot pulsuz, açıq veb gəzinti məlumatları arxivini saxlayan qeyri-kommersiya təşkilatı Common Crawl-un botudur. Arxivdən tədqiqatçılar və AI tərtibatçıları geniş istifadə edir, buna görə CCBot-u bloklamaq əsasən təlimlə bağlı qərardır. O, heç bir axtarış sisteminə və ya AI axtarış məhsuluna birbaşa təsir etmir.
Ona necə icazə vermək olar
User-agent: CCBot
Allow: / Onu necə bloklamaq olar
User-agent: CCBot
Disallow: / Nə edir
Common Crawl hər kəs üçün pulsuz olan açıq veb gəzinti məlumatları arxivini yaradan və saxlayan qeyri-kommersiya təşkilatıdır. CCBot bu məlumatları toplayır. Common Crawl bildirir ki, səhifəni yükləməzdən əvvəl robots.txt-i yoxlayır, Crawl-delay-ə əməl edir və JavaScript işlətmir.
Onu bloklamaq üçün Common Crawl CCBot tokeni üçün Disallow: / ilə robots.txt qrupunu təsvir edir. Onu bloklamaq əvəzinə yavaşlatmaq üçün isə eyni qrupda Crawl-delay sətri təklif edir.
2026-11 tədqiqatımızda robots.txt-i olan populyar saytların 24.1% hissəsi onu bloklayırdı. →
robots.txt tokeni
CCBot
User-agent sətri
CCBot/2.0 (https://commoncrawl.org/faq/) Real ziyarətləri necə yoxlamaq olar
Common Crawl CCBot-u reverse DNS-i olan ayrılmış IP diapazonlarında işlədir, buna görə loglarda qeydə alınmış sorğunun real CCBot-dan gəlib-gəlmədiyini yoxlaya bilərsiniz. O, IPv4 və IPv6 diapazonlarını JSON kimi dərc edir və digər botların özlərini yalandan CCBot kimi təqdim etdiyi barədə xəbərdarlıq edir.
Saytınızın onu buraxıb-buraxmadığını yoxlayın →
AI botları üçün robots.txt: nəyə icazə verməli, nəyi bloklamalı →