CCBot
CCBot คือ crawler ของ Common Crawl องค์กรไม่แสวงหากำไรที่ดูแลคลังข้อมูลการเก็บข้อมูลเว็บแบบเปิดและฟรี นักวิจัยและนักพัฒนา AI ใช้คลังนี้อย่างกว้างขวาง การบล็อก CCBot จึงเป็นการตัดสินใจเรื่องการเทรนเป็นหลัก และไม่กระทบเสิร์ชเอนจินหรือผลิตภัณฑ์ค้นหาด้วย AI ใดๆ โดยตรง
ทำอะไร
Common Crawl เป็นองค์กรไม่แสวงหากำไรที่สร้างและดูแลคลังข้อมูลการเก็บข้อมูลเว็บแบบเปิด ให้ทุกคนใช้ได้โดยไม่เสียค่าใช้จ่าย CCBot เป็นตัวรวบรวมข้อมูลนั้น Common Crawl ระบุว่าตรวจสอบ robots.txt ก่อนดึงหน้า ปฏิบัติตาม Crawl-delay และไม่รัน JavaScript
หากต้องการบล็อก Common Crawl ระบุให้ใช้กลุ่ม robots.txt สำหรับโทเค็น CCBot พร้อม Disallow: / หากต้องการชะลอแทน แนะนำให้ใส่บรรทัด Crawl-delay ในกลุ่มเดียวกัน
ในการศึกษาของเราเมื่อ 2026-11 เว็บไซต์ยอดนิยมที่มี robots.txt จำนวน 24.1% บล็อกตัวนี้ →
โทเค็น robots.txt
CCBot
สตริง user agent
CCBot/2.0 (https://commoncrawl.org/faq/)วิธีอนุญาต
User-agent: CCBot
Allow: /วิธีบล็อก
User-agent: CCBot
Disallow: /วิธีตรวจสอบการเข้าชมจริง
Common Crawl รัน CCBot บนช่วง IP เฉพาะพร้อม reverse DNS คุณจึงตรวจสอบได้ว่าคำขอในล็อกมาจาก CCBot ตัวจริงหรือไม่ มีการเผยแพร่ช่วง IPv4 และ IPv6 เป็น JSON และเตือนว่ามี crawler อื่นแอบอ้างเป็น CCBot
ตรวจสอบว่าเว็บไซต์ของคุณเปิดให้เข้าหรือไม่ →
robots.txt สำหรับโปรแกรมรวบรวมข้อมูลของ AI: อะไรควรอนุญาต อะไรควรบล็อก →