CCBot
CCBot არის Common Crawl-ის კრაულერი. Common Crawl არაკომერციული ორგანიზაციაა, რომელიც ვების დაკრაულვის მონაცემების უფასო, ღია საცავს ინახავს. არქივს ფართოდ იყენებენ მკვლევრები და AI დეველოპერები, ამიტომ CCBot-ის დაბლოკვა ძირითადად სწავლებასთან დაკავშირებული გადაწყვეტილებაა. ის პირდაპირ არცერთ საძიებო სისტემაზე ან AI საძიებო პროდუქტზე არ მოქმედებს.
როგორ დავუშვათ
User-agent: CCBot
Allow: / როგორ დავბლოკოთ
User-agent: CCBot
Disallow: / რას აკეთებს
Common Crawl არაკომერციული ორგანიზაციაა, რომელიც ქმნის და ინახავს ვების დაკრაულვის მონაცემების ღია საცავს, ყველასთვის უფასოდ ხელმისაწვდომს. CCBot ამ მონაცემებს აგროვებს. Common Crawl-ის თქმით, ის გვერდის მიღებამდე robots.txt-ს ამოწმებს, Crawl-delay-ს ემორჩილება და JavaScript-ს არ ასრულებს.
მის დასაბლოკად Common Crawl აღწერს robots.txt-ის ჯგუფს CCBot ტოკენისთვის Disallow: /-ით. მის შესანელებლად კი იმავე ჯგუფში Crawl-delay ხაზს გთავაზობთ.
ჩვენს 2026-11-ის კვლევაში robots.txt-ის მქონე პოპულარული საიტების 24.1% მას ბლოკავდა. →
robots.txt ტოკენი
CCBot
User-agent სტრიქონი
CCBot/2.0 (https://commoncrawl.org/faq/) როგორ გადავამოწმოთ რეალური ვიზიტები
Common Crawl CCBot-ს გამოყოფილ IP დიაპაზონებზე reverse DNS-ით უშვებს, ამიტომ შეგიძლიათ შეამოწმოთ, ლოგში დაფიქსირებული მოთხოვნა რეალური CCBot-ისგან მოვიდა თუ არა. ის IPv4 და IPv6 დიაპაზონებს JSON-ად აქვეყნებს და აფრთხილებს, რომ სხვა კრაულერები თავს ცრუდ CCBot-ად აცხადებენ.
შეამოწმეთ, უშვებს თუ არა მას თქვენი საიტი →
robots.txt AI კრაულერებისთვის: რა დავუშვათ და რა დავბლოკოთ →