CCBot
CCBot — веб-краулинг деректерінің тегін, ашық репозиторийін жүргізетін коммерциялық емес ұйым Common Crawl-дың краулері. Мұрағатты зерттеушілер мен ЖИ әзірлеушілері кеңінен пайдаланады, сондықтан CCBot-ты бұғаттау негізінен оқыту туралы шешім. Ол ешбір іздеу жүйесіне немесе ЖИ іздеу өніміне тікелей әсер етпейді.
Оны қалай өткізуге болады
User-agent: CCBot
Allow: / Оны қалай бұғаттауға болады
User-agent: CCBot
Disallow: / Ол не істейді
Common Crawl — кез келген адамға тегін қолжетімді веб-краулинг деректерінің ашық репозиторийін жасап, жүргізетін коммерциялық емес ұйым. CCBot сол деректерді жинайды. Common Crawl бетті алмас бұрын robots.txt-ті тексеретінін, Crawl-delay-ге бағынатынын және JavaScript орындамайтынын айтады.
Оны бұғаттау үшін Common Crawl CCBot токеніне арналған Disallow: / бар robots.txt тобын сипаттайды. Оның орнына баяулату үшін ол сол топқа Crawl-delay жолын қосуды ұсынады.
2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 24.1% бөлігі оны бұғаттаған. →
robots.txt токені
CCBot
User-agent жолы
CCBot/2.0 (https://commoncrawl.org/faq/) Нақты кірулерді қалай тексеруге болады
Common Crawl CCBot-ты reverse DNS бар арнайы IP ауқымдарында іске қосады, сондықтан журналға жазылған сұраудың нақты CCBot-тан келгенін тексеруге болады. Ол IPv4 және IPv6 ауқымдарын JSON ретінде жариялайды және басқа краулерлер өздерін жалған түрде CCBot деп көрсететінін ескертеді.
Сайтыңыз оны өткізетінін тексеріңіз →
ЖИ краулерлеріне арналған robots.txt: нені өткізу, нені бұғаттау керек →