CCBot

Common Crawl · AI oʻqitish

CCBot — veb-skanerlash maʼlumotlarining bepul, ochiq omborini yuritadigan notijorat tashkilot Common Crawlʼning krauleri. Arxivdan tadqiqotchilar va AI ishlab chiquvchilari keng foydalanadi, shuning uchun CCBotʼni bloklash asosan oʻqitish bilan bogʻliq qaror. U hech qanday qidiruv tizimi yoki AI qidiruv mahsulotiga bevosita taʼsir qilmaydi.

Unga qanday ruxsat berish mumkin

User-agent: CCBot
Allow: /

Uni qanday bloklash mumkin

User-agent: CCBot
Disallow: /

U nima qiladi

Common Crawl — veb-skanerlash maʼlumotlarining hamma uchun bepul ochiq omborini yaratadigan va yuritadigan notijorat tashkilot. CCBot shu maʼlumotlarni toʻplaydi. Common Crawl aytishicha, u sahifani yuklashdan oldin robots.txt ni tekshiradi, Crawl-delay ga amal qiladi va JavaScriptʼni ishga tushirmaydi.

Uni bloklash uchun Common Crawl CCBot tokeni uchun Disallow: / bilan robots.txt guruhini hujjatlashtiradi. Uning oʻrniga sekinlashtirish uchun u xuddi shu guruhga Crawl-delay qatorini qoʻshishni taklif qiladi.

Tadqiqotimizda (2026-11) robots.txt fayli bor mashhur saytlarning 24.1% qismi uni bloklagan. →

robots.txt tokeni

CCBot

User-agent satri

CCBot/2.0 (https://commoncrawl.org/faq/)

Haqiqiy tashriflarni qanday tasdiqlash mumkin

Common Crawl CCBotʼni reverse DNSʼga ega maxsus IP diapazonlarida ishlatadi, shuning uchun logdagi soʻrov haqiqiy CCBotʼdan kelganini tekshirishingiz mumkin. U IPv4 va IPv6 diapazonlarini JSON sifatida eʼlon qiladi va boshqa kraulerlar oʻzini yolgʻondan CCBot deb atashi haqida ogohlantiradi.

Saytingiz unga ruxsat berishini tekshiring →

AI kraulerlari uchun robots.txt: nimaga ruxsat berish, nimani bloklash →