Claude-SearchBot
Claude-SearchBot เก็บข้อมูลเว็บเพื่อเพิ่มความเกี่ยวข้องและความแม่นยำของผลการค้นหาใน Claude Anthropic ระบุว่าการบล็อกจะทำให้เนื้อหาของคุณไม่ถูกทำดัชนีสำหรับการค้นหา ซึ่งอาจลดการมองเห็นและความแม่นยำในผลการค้นหาของผู้ใช้ หากต้องการให้ Claude พบและอ้างอิงหน้าของคุณ ให้อนุญาตตัวนี้
ทำอะไร
Anthropic ใช้ Claude-SearchBot เพื่อท่องเว็บและเพิ่มคุณภาพผลการค้นหาสำหรับผู้ใช้ Claude มันแยกจาก ClaudeBot ซึ่งเป็น crawler สำหรับเทรนโมเดล คุณจึงอนุญาตการค้นหาและปฏิเสธการเทรนได้พร้อมกัน
Anthropic ระบุว่าการปิด Claude-SearchBot ทำให้เนื้อหาของคุณไม่ถูกทำดัชนีเพื่อเพิ่มประสิทธิภาพการค้นหา ซึ่งอาจลดการมองเห็นและความแม่นยำของเว็บไซต์ในผลการค้นหาของผู้ใช้ บอตของ Anthropic ปฏิบัติตาม robots.txt และเคารพมาตรการป้องกันการหลีกเลี่ยง ดังนั้น CAPTCHA หรือหน้าท้าทายจะทำให้การเข้าชมสิ้นสุดลง
ในการศึกษาของเราเมื่อ 2026-11 เว็บไซต์ยอดนิยมที่มี robots.txt จำนวน 12.9% บล็อกตัวนี้ →
โทเค็น robots.txt
Claude-SearchBot
วิธีอนุญาต
User-agent: Claude-SearchBot
Allow: /
วิธีบล็อก
User-agent: Claude-SearchBot
Disallow: /
วิธีตรวจสอบการเข้าชมจริง
Anthropic เผยแพร่ที่อยู่ IP ของ crawler ที่ claude.com/crawling/bots.json และระบุว่า crawler ที่มี IP อยู่ในรายการนั้นมาจาก Anthropic ให้เทียบ IP ต้นทางกับรายการแทนที่จะเชื่อ user agent Anthropic ไม่แนะนำให้ใช้การบล็อกตาม IP เพื่อปฏิเสธ เพราะจะทำให้ crawler อ่าน robots.txt ไม่ได้ด้วย
ตรวจสอบว่าเว็บไซต์ของคุณเปิดให้เข้าหรือไม่ →
โปรแกรมรวบรวมข้อมูลของ Anthropic: ClaudeBot, Claude-SearchBot และ Claude-User →