CCBot
CCBot — краулер Common Crawl, неприбуткової організації, яка підтримує вільний відкритий репозиторій даних вебобходу. Архів широко використовують дослідники й розробники ШІ, тож блокування CCBot здебільшого стосується навчання. Воно не впливає безпосередньо ні на жодну пошукову систему, ні на жоден продукт ШІ-пошуку.
Що він робить
Common Crawl — неприбуткова організація, яка створює й підтримує відкритий репозиторій даних вебобходу, доступний усім безкоштовно. Ці дані збирає CCBot. Common Crawl каже, що перевіряє robots.txt перед завантаженням сторінки, дотримується Crawl-delay і не виконує JavaScript.
Щоб заблокувати його, Common Crawl описує групу robots.txt для токена CCBot із Disallow: /. Щоб натомість уповільнити його, вона пропонує рядок Crawl-delay у тій самій групі.
У нашому дослідженні за 2026-11 його заблокували 24.1% популярних сайтів із robots.txt. →
Токен robots.txt
CCBot
Рядок user agent
CCBot/2.0 (https://commoncrawl.org/faq/)Як його дозволити
User-agent: CCBot
Allow: /Як його заблокувати
User-agent: CCBot
Disallow: /Як перевірити справжні візити
Common Crawl запускає CCBot на окремих діапазонах IP із зворотним DNS, тож можна перевірити, чи зафіксований у журналі запит надійшов від справжнього CCBot. Вона публікує діапазони IPv4 та IPv6 у форматі JSON і застерігає, що інші краулери помилково видають себе за CCBot.