CCBot
CCBot е ботът на Common Crawl, организация с нестопанска цел, която поддържа безплатно отворено хранилище с данни от обхождане на мрежата. Архивът се използва широко от изследователи и разработчици на AI, така че блокирането на CCBot е главно решение за обучението. То не засяга пряко никоя търсачка или продукт за AI търсене.
Как да го допуснете
User-agent: CCBot
Allow: / Как да го блокирате
User-agent: CCBot
Disallow: / Какво прави
Common Crawl е организация с нестопанска цел, която създава и поддържа отворено хранилище с данни от обхождане на мрежата, достъпно безплатно за всеки. CCBot събира тези данни. Common Crawl казва, че той проверява robots.txt, преди да изтегли страница, спазва Crawl-delay и не изпълнява JavaScript.
За блокирането му Common Crawl документира група в robots.txt за токена CCBot с Disallow: /. За да го забавите вместо това, тя предлага ред Crawl-delay в същата група.
В нашето проучване от 2026-11 24.1% от популярните сайтове с robots.txt са го блокирали. →
Токен за robots.txt
CCBot
Низ на user agent
CCBot/2.0 (https://commoncrawl.org/faq/) Как да проверите истинските посещения
Common Crawl изпълнява CCBot от отделни IP диапазони с обратен DNS, така че можете да проверите дали записана заявка идва от истинския CCBot. Тя публикува диапазоните за IPv4 и IPv6 като JSON и предупреждава, че други ботове фалшиво се представят като CCBot.
Проверете дали сайтът ви го допуска →
robots.txt за AI ботове: какво да разрешите и какво да блокирате →