ClaudeBot

Anthropic · เทรน AI

ClaudeBot คือ crawler ของ Anthropic สำหรับเนื้อหาเว็บที่อาจถูกใช้เทรนโมเดล generative AI ของบริษัท การห้ามไว้ใน robots.txt เป็นสัญญาณว่าควรตัดเนื้อหาใหม่ของเว็บไซต์คุณออกจากการเทรน การบล็อกตัวนี้เพียงอย่างเดียวไม่ได้หยุด Claude-SearchBot หรือ Claude-User ซึ่งรองรับการค้นหาและคำตอบแบบเรียลไทม์

ทำอะไร

Anthropic ระบุว่า ClaudeBot รวบรวมเนื้อหาเว็บที่อาจมีส่วนในการเทรนโมเดลของบริษัท เพื่อช่วยเพิ่มประโยชน์และความปลอดภัย การห้าม ClaudeBot เป็นสัญญาณว่าควรตัดเนื้อหาในอนาคตของเว็บไซต์คุณออกจากชุดข้อมูลเทรน

Anthropic ยังรองรับคำสั่ง Crawl-delay ซึ่งไม่อยู่ในมาตรฐาน คุณจึงชะลอ ClaudeBot ได้แทนที่จะบล็อก กฎใน robots.txt ที่ระบุชื่อ ClaudeBot มีลำดับความสำคัญเหนือสัญญาณทั่วไปของ Anthropic ที่ไม่ให้เทรน AI กฎของ robots.txt มีผลแยกตามโฮสต์ ดังนั้นให้เพิ่มกฎในทุกซับโดเมนที่ต้องการครอบคลุม

ในการศึกษาของเราเมื่อ 2026-11 เว็บไซต์ยอดนิยมที่มี robots.txt จำนวน 21.2% บล็อกตัวนี้ →

โทเค็น robots.txt

ClaudeBot

วิธีอนุญาต

User-agent: ClaudeBot
Allow: /

วิธีบล็อก

User-agent: ClaudeBot
Disallow: /

วิธีตรวจสอบการเข้าชมจริง

Anthropic เผยแพร่ที่อยู่ IP ของ crawler ที่ claude.com/crawling/bots.json และระบุว่า crawler ที่มี IP อยู่ในรายการนั้นมาจาก Anthropic ให้เทียบ IP ต้นทางกับรายการแทนที่จะเชื่อ user agent Anthropic ไม่แนะนำให้ใช้การบล็อกตาม IP เพื่อปฏิเสธ เพราะจะทำให้ crawler อ่าน robots.txt ไม่ได้ด้วย

ตรวจสอบว่าเว็บไซต์ของคุณเปิดให้เข้าหรือไม่ →

โปรแกรมรวบรวมข้อมูลของ Anthropic: ClaudeBot, Claude-SearchBot และ Claude-User →