CCBot

Common Crawl · AI təlimi

CCBot pulsuz, açıq veb gəzinti məlumatları arxivini saxlayan qeyri-kommersiya təşkilatı Common Crawl-un botudur. Arxivdən tədqiqatçılar və AI tərtibatçıları geniş istifadə edir, buna görə CCBot-u bloklamaq əsasən təlimlə bağlı qərardır. O, heç bir axtarış sisteminə və ya AI axtarış məhsuluna birbaşa təsir etmir.

Ona necə icazə vermək olar

User-agent: CCBot
Allow: /

Onu necə bloklamaq olar

User-agent: CCBot
Disallow: /

Nə edir

Common Crawl hər kəs üçün pulsuz olan açıq veb gəzinti məlumatları arxivini yaradan və saxlayan qeyri-kommersiya təşkilatıdır. CCBot bu məlumatları toplayır. Common Crawl bildirir ki, səhifəni yükləməzdən əvvəl robots.txt-i yoxlayır, Crawl-delay-ə əməl edir və JavaScript işlətmir.

Onu bloklamaq üçün Common Crawl CCBot tokeni üçün Disallow: / ilə robots.txt qrupunu təsvir edir. Onu bloklamaq əvəzinə yavaşlatmaq üçün isə eyni qrupda Crawl-delay sətri təklif edir.

2026-11 tədqiqatımızda robots.txt-i olan populyar saytların 24.1% hissəsi onu bloklayırdı. →

robots.txt tokeni

CCBot

User-agent sətri

CCBot/2.0 (https://commoncrawl.org/faq/)

Real ziyarətləri necə yoxlamaq olar

Common Crawl CCBot-u reverse DNS-i olan ayrılmış IP diapazonlarında işlədir, buna görə loglarda qeydə alınmış sorğunun real CCBot-dan gəlib-gəlmədiyini yoxlaya bilərsiniz. O, IPv4 və IPv6 diapazonlarını JSON kimi dərc edir və digər botların özlərini yalandan CCBot kimi təqdim etdiyi barədə xəbərdarlıq edir.

Saytınızın onu buraxıb-buraxmadığını yoxlayın →

AI botları üçün robots.txt: nəyə icazə verməli, nəyi bloklamalı →