CCBot

Common Crawl · Обука на AI

CCBot е краулерот на Common Crawl, непрофитна организација што одржува бесплатно, отворено складиште на податоци од обиколување на интернетот. Архивата ја користат многу истражувачи и AI развивачи, па блокирањето на CCBot е главно одлука за обуката. Не влијае директно на ниту еден пребарувач или производ за AI пребарување.

Како да се дозволи

User-agent: CCBot
Allow: /

Како да се блокира

User-agent: CCBot
Disallow: /

Што прави

Common Crawl е непрофитна организација што создава и одржува отворено складиште на податоци од обиколување на интернетот, достапно за секого бесплатно. CCBot ги собира тие податоци. Common Crawl вели дека го проверува robots.txt пред да преземе страница, го почитува Crawl-delay и не извршува JavaScript.

За негово блокирање, Common Crawl документира група во robots.txt за ознаката CCBot со Disallow: /. За да го забавите наместо тоа, предлага ред Crawl-delay во истата група.

Во нашата студија од 2026-11, 24.1% од популарните сајтови со robots.txt го блокираа. →

Ознака за robots.txt

CCBot

User-agent низа

CCBot/2.0 (https://commoncrawl.org/faq/)

Како да се потврдат вистинските посети

Common Crawl го извршува CCBot на наменски IP опсези со обратен DNS, па можете да проверите дали барањето во дневникот дошло од вистинскиот CCBot. Ги објавува IPv4 и IPv6 опсезите како JSON и предупредува дека други краулери лажно се претставуваат како CCBot.

Проверете дали вашиот сајт го пушта →

robots.txt за AI краулери: што да дозволите, што да блокирате →