CCBot
CCBot — краулер Common Crawl, некоммерческой организации, которая ведёт бесплатный открытый архив данных веб-обхода. Архив широко используют исследователи и разработчики AI, поэтому блокировка CCBot — это прежде всего решение об обучении. Она напрямую не влияет ни на одну поисковую систему или AI-поиск.
Что он делает
Common Crawl — некоммерческая организация, которая создаёт и ведёт открытый архив данных веб-обхода, доступный всем бесплатно. Эти данные собирает CCBot. Common Crawl сообщает, что проверяет robots.txt перед загрузкой страницы, соблюдает Crawl-delay и не выполняет JavaScript.
Чтобы заблокировать его, Common Crawl описывает группу robots.txt для токена CCBot с Disallow: /. Чтобы вместо этого замедлить его, предлагается строка Crawl-delay в той же группе.
В нашем исследовании за 2026-11 24.1% популярных сайтов с файлом robots.txt блокировали его. →
Токен robots.txt
CCBot
Строка user agent
CCBot/2.0 (https://commoncrawl.org/faq/)Как его разрешить
User-agent: CCBot
Allow: /Как его заблокировать
User-agent: CCBot
Disallow: /Как проверить настоящие визиты
Common Crawl запускает CCBot на выделенных диапазонах IP с обратным DNS, поэтому можно проверить, пришёл ли записанный в логе запрос от настоящего CCBot. Диапазоны IPv4 и IPv6 опубликованы в виде JSON; Common Crawl предупреждает, что другие краулеры ложно выдают себя за CCBot.