CCBot
A CCBot a Common Crawl crawlere; a Common Crawl egy nonprofit szervezet, amely ingyenes, nyílt webbejárási adattárat tart fenn. Az archívumot széles körben használják kutatók és AI-fejlesztők, ezért a CCBot letiltása elsősorban tanítási döntés. Nincs közvetlen hatással egyetlen keresőmotorra vagy AI-keresési termékre sem.
Mit csinál
A Common Crawl egy nonprofit szervezet, amely nyílt webbejárási adattárat hoz létre és tart fenn, amely bárki számára ingyenesen elérhető. Az adatokat a CCBot gyűjti. A Common Crawl közli, hogy az oldalak lekérése előtt ellenőrzi a robots.txt fájlt, betartja a Crawl-delay direktívát, és nem futtat JavaScriptet.
A letiltáshoz a Common Crawl a CCBot tokenre vonatkozó robots.txt-csoportot dokumentál Disallow: / sorral. A lassításhoz ugyanebbe a csoportba felvehető egy Crawl-delay sor.
A 2026-11 havi vizsgálatunkban a robots.txt-vel rendelkező népszerű webhelyek 24.1% letiltotta. →
robots.txt token
CCBot
User-agent karakterlánc
CCBot/2.0 (https://commoncrawl.org/faq/)Hogyan engedélyezheti
User-agent: CCBot
Allow: /Hogyan tilthatja le
User-agent: CCBot
Disallow: /Hogyan ellenőrizheti a valódi látogatásokat
A Common Crawl a CCBotot dedikált IP-tartományokról futtatja, fordított DNS-sel, így ellenőrizheti, hogy egy naplózott kérés a valódi CCBottól jött-e. Az IPv4- és IPv6-tartományokat JSON-ként közzéteszi, és figyelmeztet, hogy más crawlerek hamisan CCBotként azonosítják magukat.