CCBot

Common Crawl · Trajnim AI

CCBot është zvarritësi i Common Crawl, një organizate jofitimprurëse që mban një depo të lirë dhe të hapur të të dhënave nga zvarritja e web-it. Arkivi përdoret gjerësisht nga studiuesit dhe zhvilluesit e AI, ndaj bllokimi i CCBot është kryesisht vendim për trajnimin. Nuk ndikon drejtpërdrejt në asnjë motor kërkimi ose produkt kërkimi AI.

Si ta lejoni

User-agent: CCBot
Allow: /

Si ta bllokoni

User-agent: CCBot
Disallow: /

Çfarë bën

Common Crawl është një organizatë jofitimprurëse që krijon dhe mban një depo të hapur të të dhënave nga zvarritja e web-it, e disponueshme falas për këdo. CCBot i mbledh këto të dhëna. Common Crawl thotë se e kontrollon robots.txt para se të marrë një faqe, i bindet Crawl-delay dhe nuk ekzekuton JavaScript.

Për ta bllokuar, Common Crawl dokumenton një grup në robots.txt për token-in CCBot me Disallow: /. Për ta ngadalësuar në vend të kësaj, sugjeron një rresht Crawl-delay në të njëjtin grup.

Në studimin tonë të 2026-11, 24.1% e sajteve të njohura me robots.txt e bllokonin. →

Token-i në robots.txt

CCBot

Vargu i user agent-it

CCBot/2.0 (https://commoncrawl.org/faq/)

Si të verifikoni vizitat reale

Common Crawl e ekzekuton CCBot në gama IP të dedikuara me reverse DNS, ndaj mund të kontrolloni nëse një kërkesë e regjistruar erdhi nga CCBot real. Publikon gamat IPv4 dhe IPv6 si JSON dhe paralajmëron se zvarritës të tjerë identifikohen rrejshëm si CCBot.

Kontrolloni nëse sajti juaj e lë të hyjë →

robots.txt për zvarritësit AI: çfarë të lejoni, çfarë të bllokoni →