CCBot

Common Crawl · ЖИ-ді оқыту

CCBot — веб-краулинг деректерінің тегін, ашық репозиторийін жүргізетін коммерциялық емес ұйым Common Crawl-дың краулері. Мұрағатты зерттеушілер мен ЖИ әзірлеушілері кеңінен пайдаланады, сондықтан CCBot-ты бұғаттау негізінен оқыту туралы шешім. Ол ешбір іздеу жүйесіне немесе ЖИ іздеу өніміне тікелей әсер етпейді.

Оны қалай өткізуге болады

User-agent: CCBot
Allow: /

Оны қалай бұғаттауға болады

User-agent: CCBot
Disallow: /

Ол не істейді

Common Crawl — кез келген адамға тегін қолжетімді веб-краулинг деректерінің ашық репозиторийін жасап, жүргізетін коммерциялық емес ұйым. CCBot сол деректерді жинайды. Common Crawl бетті алмас бұрын robots.txt-ті тексеретінін, Crawl-delay-ге бағынатынын және JavaScript орындамайтынын айтады.

Оны бұғаттау үшін Common Crawl CCBot токеніне арналған Disallow: / бар robots.txt тобын сипаттайды. Оның орнына баяулату үшін ол сол топқа Crawl-delay жолын қосуды ұсынады.

2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 24.1% бөлігі оны бұғаттаған. →

robots.txt токені

CCBot

User-agent жолы

CCBot/2.0 (https://commoncrawl.org/faq/)

Нақты кірулерді қалай тексеруге болады

Common Crawl CCBot-ты reverse DNS бар арнайы IP ауқымдарында іске қосады, сондықтан журналға жазылған сұраудың нақты CCBot-тан келгенін тексеруге болады. Ол IPv4 және IPv6 ауқымдарын JSON ретінде жариялайды және басқа краулерлер өздерін жалған түрде CCBot деп көрсететінін ескертеді.

Сайтыңыз оны өткізетінін тексеріңіз →

ЖИ краулерлеріне арналған robots.txt: нені өткізу, нені бұғаттау керек →