CCBot
CCBot خزنده Common Crawl است، یک سازمان غیرانتفاعی که مخزنی رایگان و باز از دادههای خزش وب نگهداری میکند. این آرشیو بهطور گسترده توسط پژوهشگران و توسعهدهندگان هوش مصنوعی استفاده میشود، پس مسدود کردن CCBot بیشتر یک تصمیم درباره آموزش است. مستقیماً روی هیچ موتور جستجو یا محصول جستجوی هوش مصنوعی اثری ندارد.
چطور به آن اجازه دهید
User-agent: CCBot
Allow: / چطور آن را مسدود کنید
User-agent: CCBot
Disallow: / چه کاری میکند
Common Crawl یک سازمان غیرانتفاعی است که مخزنی باز از دادههای خزش وب تولید و نگهداری میکند که برای همه بهرایگان در دسترس است. CCBot این دادهها را جمعآوری میکند. Common Crawl میگوید پیش از دریافت هر صفحه robots.txt را بررسی میکند، از Crawl-delay پیروی میکند و JavaScript اجرا نمیکند.
برای مسدود کردن آن، Common Crawl یک گروه robots.txt برای توکن CCBot با Disallow: / را مستند کرده است. برای کم کردن سرعت آن بهجای مسدود کردن، یک خط Crawl-delay در همان گروه را پیشنهاد میکند.
در پژوهش 2026-11 ما، 24.1% از سایتهای پربازدیدی که robots.txt داشتند آن را مسدود کرده بودند. ←
توکن robots.txt
CCBot
رشته user agent
CCBot/2.0 (https://commoncrawl.org/faq/) چطور بازدیدهای واقعی را تأیید کنید
Common Crawl خزنده CCBot را روی محدودههای IP اختصاصی با DNS معکوس اجرا میکند، پس میتوانید بررسی کنید که آیا درخواست ثبتشده در لاگ از CCBot واقعی آمده است. محدودههای IPv4 و IPv6 را بهصورت JSON منتشر میکند و هشدار میدهد که خزندههای دیگر به دروغ خود را CCBot معرفی میکنند.
بررسی کنید که آیا سایت شما به آن اجازه ورود میدهد ←
robots.txt برای خزندههای هوش مصنوعی: چه چیزی را مجاز و چه چیزی را مسدود کنیم ←