CCBot

Common Crawl · የAI ስልጠና

CCBot ነጻ እና ክፍት የድር crawl ውሂብ ማከማቻ የሚያስተዳድረው ለትርፍ ያልተቋቋመ ድርጅት የCommon Crawl ክሮውለር ነው። ማህደሩ በተመራማሪዎች እና በAI ገንቢዎች በሰፊው ጥቅም ላይ ይውላል፣ ስለዚህ CCBotን ማገድ በዋናነት የስልጠና ውሳኔ ነው። በማንኛውም የፍለጋ ሞተር ወይም የAI ፍለጋ ምርት ላይ በቀጥታ ተጽዕኖ የለውም።

እንዴት እንደሚፈቀድ

User-agent: CCBot
Allow: /

እንዴት እንደሚታገድ

User-agent: CCBot
Disallow: /

ምን ያደርጋል

Common Crawl ለማንኛውም ሰው ያለ ክፍያ የሚገኝ ክፍት የድር crawl ውሂብ ማከማቻ የሚያዘጋጅ እና የሚያስተዳድር ለትርፍ ያልተቋቋመ ድርጅት ነው። CCBot ያንን ውሂብ ይሰበስባል። Common Crawl ገጽን ከማምጣቱ በፊት robots.txtን እንደሚፈትሽ፣ Crawl-delayን እንደሚያከብር እና JavaScript እንደማያስኬድ ይናገራል።

እሱን ለማገድ Common Crawl ለCCBot token ከDisallow: / ጋር የrobots.txt ቡድንን ይገልጻል። በምትኩ ለማዘግየት በዚያው ቡድን ውስጥ የCrawl-delay መስመርን ይጠቁማል።

በ2026-11 ባደረግነው ጥናት robots.txt ካላቸው ታዋቂ ድረ-ገጾች 24.1% አግደውታል። →

የrobots.txt token

CCBot

የUser-agent string

CCBot/2.0 (https://commoncrawl.org/faq/)

እውነተኛ ጉብኝቶችን እንዴት ማረጋገጥ እንደሚቻል

Common Crawl CCBotን reverse DNS ባላቸው በተመደቡ የIP ክልሎች ላይ ያካሂዳል፣ ስለዚህ በlog ውስጥ የተመዘገበ ጥያቄ ከእውነተኛው CCBot መምጣቱን መፈተሽ ይችላሉ። የIPv4 እና IPv6 ክልሎችን እንደ JSON ያትማል፣ ሌሎች ክሮውለሮች ራሳቸውን በሐሰት CCBot ብለው እንደሚያስተዋውቁም ያስጠነቅቃል።

ድረ-ገጽዎ እንደሚያስገባው ይፈትሹ →

robots.txt ለAI ክሮውለሮች፦ ምን መፍቀድ፣ ምን ማገድ →