CCBot

Common Crawl · MI apmācība

CCBot ir Common Crawl rāpuļprogramma; Common Crawl ir bezpeļņas organizācija, kas uztur bezmaksas, atvērtu tīmekļa pārmeklēšanas datu krātuvi. Arhīvu plaši izmanto pētnieki un MI izstrādātāji, tāpēc CCBot bloķēšana galvenokārt ir lēmums par apmācību. Tā tieši neietekmē nevienu meklētājprogrammu vai MI meklēšanas produktu.

Kā to atļaut

User-agent: CCBot
Allow: /

Kā to bloķēt

User-agent: CCBot
Disallow: /

Ko tā dara

Common Crawl ir bezpeļņas organizācija, kas veido un uztur atvērtu tīmekļa pārmeklēšanas datu krātuvi, kas jebkuram pieejama bez maksas. CCBot vāc šos datus. Common Crawl norāda, ka pirms lapas ielādes tā pārbauda robots.txt, ievēro Crawl-delay un neizpilda JavaScript.

Lai to bloķētu, Common Crawl dokumentē robots.txt grupu CCBot marķierim ar Disallow: /. Lai to tikai palēninātu, tā iesaka Crawl-delay rindu tajā pašā grupā.

Mūsu 2026-11 pētījumā 24.1% populāru vietņu ar robots.txt to bloķēja. →

robots.txt marķieris

CCBot

User-agent virkne

CCBot/2.0 (https://commoncrawl.org/faq/)

Kā verificēt īstus apmeklējumus

Common Crawl darbina CCBot no atvēlētiem IP diapazoniem ar reverse DNS, tāpēc varat pārbaudīt, vai žurnālā ierakstītais pieprasījums nāca no īstās CCBot. Tā publicē IPv4 un IPv6 diapazonus JSON formātā un brīdina, ka citas rāpuļprogrammas nepatiesi uzdodas par CCBot.

Pārbaudiet, vai jūsu vietne to ielaiž →

robots.txt MI rāpuļprogrammām: ko atļaut, ko bloķēt →