CCBot
CCBot — veb-skanerlash maʼlumotlarining bepul, ochiq omborini yuritadigan notijorat tashkilot Common Crawlʼning krauleri. Arxivdan tadqiqotchilar va AI ishlab chiquvchilari keng foydalanadi, shuning uchun CCBotʼni bloklash asosan oʻqitish bilan bogʻliq qaror. U hech qanday qidiruv tizimi yoki AI qidiruv mahsulotiga bevosita taʼsir qilmaydi.
Unga qanday ruxsat berish mumkin
User-agent: CCBot
Allow: / Uni qanday bloklash mumkin
User-agent: CCBot
Disallow: / U nima qiladi
Common Crawl — veb-skanerlash maʼlumotlarining hamma uchun bepul ochiq omborini yaratadigan va yuritadigan notijorat tashkilot. CCBot shu maʼlumotlarni toʻplaydi. Common Crawl aytishicha, u sahifani yuklashdan oldin robots.txt ni tekshiradi, Crawl-delay ga amal qiladi va JavaScriptʼni ishga tushirmaydi.
Uni bloklash uchun Common Crawl CCBot tokeni uchun Disallow: / bilan robots.txt guruhini hujjatlashtiradi. Uning oʻrniga sekinlashtirish uchun u xuddi shu guruhga Crawl-delay qatorini qoʻshishni taklif qiladi.
Tadqiqotimizda (2026-11) robots.txt fayli bor mashhur saytlarning 24.1% qismi uni bloklagan. →
robots.txt tokeni
CCBot
User-agent satri
CCBot/2.0 (https://commoncrawl.org/faq/) Haqiqiy tashriflarni qanday tasdiqlash mumkin
Common Crawl CCBotʼni reverse DNSʼga ega maxsus IP diapazonlarida ishlatadi, shuning uchun logdagi soʻrov haqiqiy CCBotʼdan kelganini tekshirishingiz mumkin. U IPv4 va IPv6 diapazonlarini JSON sifatida eʼlon qiladi va boshqa kraulerlar oʻzini yolgʻondan CCBot deb atashi haqida ogohlantiradi.
Saytingiz unga ruxsat berishini tekshiring →
AI kraulerlari uchun robots.txt: nimaga ruxsat berish, nimani bloklash →