CCBot

Common Crawl · Обучение на AI

CCBot е ботът на Common Crawl, организация с нестопанска цел, която поддържа безплатно отворено хранилище с данни от обхождане на мрежата. Архивът се използва широко от изследователи и разработчици на AI, така че блокирането на CCBot е главно решение за обучението. То не засяга пряко никоя търсачка или продукт за AI търсене.

Как да го допуснете

User-agent: CCBot
Allow: /

Как да го блокирате

User-agent: CCBot
Disallow: /

Какво прави

Common Crawl е организация с нестопанска цел, която създава и поддържа отворено хранилище с данни от обхождане на мрежата, достъпно безплатно за всеки. CCBot събира тези данни. Common Crawl казва, че той проверява robots.txt, преди да изтегли страница, спазва Crawl-delay и не изпълнява JavaScript.

За блокирането му Common Crawl документира група в robots.txt за токена CCBot с Disallow: /. За да го забавите вместо това, тя предлага ред Crawl-delay в същата група.

В нашето проучване от 2026-11 24.1% от популярните сайтове с robots.txt са го блокирали. →

Токен за robots.txt

CCBot

Низ на user agent

CCBot/2.0 (https://commoncrawl.org/faq/)

Как да проверите истинските посещения

Common Crawl изпълнява CCBot от отделни IP диапазони с обратен DNS, така че можете да проверите дали записана заявка идва от истинския CCBot. Тя публикува диапазоните за IPv4 и IPv6 като JSON и предупреждава, че други ботове фалшиво се представят като CCBot.

Проверете дали сайтът ви го допуска →

robots.txt за AI ботове: какво да разрешите и какво да блокирате →