โปรแกรมรวบรวมข้อมูลของ Anthropic: ClaudeBot, Claude-SearchBot และ Claude-User

เผยแพร่เมื่อ 2026-11-12

Anthropic อธิบายโปรแกรมรวบรวมข้อมูลของตนไว้ในหน้าช่วยเหลือหน้าเดียว และโครงสร้างคล้ายผู้ให้บริการ AI รายอื่น คือเอเจนต์หนึ่งตัวสำหรับการฝึกโมเดล หนึ่งตัวสำหรับการค้นหา และหนึ่งตัวสำหรับดึงหน้าสดในนามของผู้ใช้ หากคุณต้องการให้ Claude หาเจอและอ้างอิงหน้าเว็บของคุณได้ สองตัวหลังสำคัญที่สุด

ClaudeBot ทำอะไร

ClaudeBot รวบรวมเนื้อหาเว็บที่อาจนำไปใช้ฝึกโมเดล generative AI ของ Anthropic ตามที่ Anthropic ระบุ การห้ามตัวนี้เป็นสัญญาณว่าเนื้อหาในอนาคตของเว็บไซต์คุณควรถูกตัดออกจากชุดข้อมูลสำหรับฝึกโมเดล

Anthropic ยังระบุว่าจะเคารพสัญญาณ no-AI-training ที่เครื่องอ่านได้ ซึ่งอิงร่างเอกสารของ IETF และกฎที่ระบุชื่อ ClaudeBot ใน robots.txt มีลำดับความสำคัญเหนือการตั้งค่าทั่วไปนั้น เช่นเดียวกับโปรแกรมรวบรวมข้อมูลสำหรับฝึกโมเดลอื่น ๆ การบล็อกตัวนี้เป็นทางเลือกเชิงนโยบาย

Claude-SearchBot ทำอะไร

Claude-SearchBot รวบรวมข้อมูลจากเว็บเพื่อปรับปรุงความเกี่ยวข้องและความถูกต้องของผลการค้นหาใน Claude Anthropic ระบุว่าการบล็อกตัวนี้ทำให้เนื้อหาของคุณไม่ถูกจัดทำดัชนีสำหรับการค้นหา ซึ่งอาจลดการมองเห็นและความถูกต้องในผลการค้นหาของผู้ใช้

นี่คือเอเจนต์ที่ควรอนุญาต หากคุณต้องการให้ฟีเจอร์ค้นหาของ Claude รู้จักหน้าเว็บของคุณก่อนที่ใครจะถามถึง เพราะเป็นโปรแกรมค้นหา จึงได้ประโยชน์จากสิ่งเดียวกับที่โปรแกรมค้นหาทุกตัวได้ คือ sitemap ที่ระบุไว้ใน robots.txt ลิงก์ภายในที่สะอาด และหน้าเว็บที่ส่งเนื้อหามาในคำตอบแรก

Claude-User ทำอะไร

Claude-User เข้าถึงเว็บไซต์เมื่อผู้ใช้ Claude ถามคำถามที่ต้องใช้ เช่น เมื่อมีคนแชร์ URL หรือขอให้ Claude ค้นหาบางอย่าง Anthropic ระบุว่าการบล็อกตัวนี้ป้องกันการดึงข้อมูลเพื่อตอบคำถามของผู้ใช้ ซึ่งอาจลดการมองเห็นของคุณในการค้นหาเว็บที่ผู้ใช้เป็นผู้สั่ง

โปรดสังเกตความต่างจากผู้ให้บริการบางราย Anthropic ระบุว่าบอตของตนทำตามคำสั่ง robots.txt และอธิบายการบล็อก Claude-User ผ่าน robots.txt ส่วน OpenAI และ Perplexity ระบุตรงข้ามว่าตัวดึงหน้าตามคำขอของผู้ใช้ของตนอาจไม่ทำตาม robots.txt

เขียนกฎ robots.txt สำหรับ Claude อย่างไร

เอเจนต์แต่ละตัวมีโทเค็นของตัวเอง และตาม RFC 9309 กลุ่มที่ระบุชื่อโปรแกรมรวบรวมข้อมูลจะแทนที่กลุ่ม * สำหรับโปรแกรมนั้น ทางเลือกที่พบบ่อยคืออนุญาตการค้นหาและการดึงหน้าตามคำขอของผู้ใช้ แล้วไม่ยินยอมให้ใช้ฝึกโมเดล

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic ยังรองรับ Crawl-delay เป็นส่วนขยายนอกมาตรฐาน เช่น Crawl-delay: 1 ภายใต้ User-agent: ClaudeBot หากคุณต้องการให้รวบรวมข้อมูลช้าลงแทนการบล็อก กฎต้องอยู่ใน robots.txt ที่ไดเรกทอรีระดับบนสุดของแต่ละโฮสต์ จึงต้องเพิ่มให้ทุกซับโดเมนที่ต้องการครอบคลุม

การตั้งค่าของ Anthropic เทียบกับ OpenAI และ Perplexity เป็นอย่างไร

ผู้ให้บริการทั้งสามใช้รูปแบบเดียวกันแต่ใช้ชื่อต่างกัน ทำให้คิดถึง robots.txt ที่รวมกันได้ง่าย ความต่างหลักคือแต่ละรายปฏิบัติต่อ robots.txt อย่างไรสำหรับการดึงหน้าสดตามคำขอของผู้ใช้

• โปรแกรมค้นหา: Claude-SearchBot ของ Anthropic, OAI-SearchBot ของ OpenAI, PerplexityBot ของ Perplexity
• โปรแกรมสำหรับฝึกโมเดล: ClaudeBot ของ Anthropic, GPTBot ของ OpenAI ส่วน Perplexity ระบุว่า PerplexityBot ไม่ได้ใช้รวบรวมเนื้อหาสำหรับโมเดลพื้นฐานของ AI
• การดึงหน้าตามคำขอของผู้ใช้: Claude-User, ChatGPT-User และ Perplexity-User Anthropic ระบุว่าบอตของตนทำตาม robots.txt; OpenAI ระบุว่า robots.txt อาจไม่ใช้กับ ChatGPT-User; Perplexity ระบุว่า Perplexity-User โดยทั่วไปไม่สนใจไฟล์นี้

หากเขียน robots.txt ไฟล์เดียวสำหรับทั้งสามราย ให้ใส่โทเค็นการค้นหาและโทเค็นสำหรับผู้ใช้ไว้กลุ่มเดียวกัน และโทเค็นการฝึกโมเดลไว้อีกกลุ่ม ซึ่งทำให้นโยบายอ่านง่ายและเห็นชัดว่าคุณเลือกอย่างไรสำหรับแต่ละวัตถุประสงค์

ควรบล็อก Anthropic ด้วยที่อยู่ IP ไหม

Anthropic แนะนำว่าไม่ควร เอกสารของบริษัทระบุว่าการบล็อกที่อยู่ IP อาจไม่ทำงานถูกต้องหรือไม่รับประกันการไม่ยินยอมอย่างต่อเนื่อง เพราะยังทำให้โปรแกรมรวบรวมข้อมูลอ่าน robots.txt ของคุณไม่ได้ด้วย ให้ใช้ robots.txt ประกาศนโยบายของคุณ

Anthropic เผยแพร่ที่อยู่ IP ของโปรแกรมรวบรวมข้อมูลที่ claude.com/crawling/bots.json วิธีใช้รายการนี้ให้เป็นประโยชน์คือตรงข้ามกับการบล็อก คือให้ไฟร์วอลล์ตรวจสอบว่าคำขอที่อ้างว่าเป็น Claude-SearchBot หรือ Claude-User มาจาก Anthropic จริง แล้วปล่อยให้ผ่าน

ทำไม Claude จึงยังอ่านหน้าเว็บของฉันไม่ได้

แม้ robots.txt จะอนุญาต ไฟร์วอลล์หรือ CDN ของคุณก็ยังตอบกลับเอเจนต์ของ Anthropic ด้วย 403 หรือหน้าตรวจสอบได้ Anthropic ระบุว่าบอตของตนเคารพเทคโนโลยีป้องกันการหลบเลี่ยง และจะไม่พยายามข้าม CAPTCHA หน้าตรวจสอบจึงจบการเข้าชมทันที หน้าเว็บที่ข้อความปรากฏหลังจาก JavaScript ทำงานก็อาจส่งมาแทบว่างเปล่าได้เช่นกัน

AISeeWhy ขอหน้าเว็บของคุณในฐานะ ClaudeBot, Claude-SearchBot และ Claude-User เทียบกับเบราว์เซอร์ และตรวจกฎ robots.txt ของคุณสำหรับแต่ละตัว คุณจึงเห็นได้ว่านโยบายที่เขียนไว้เป็นนโยบายเดียวกับที่เซิร์ฟเวอร์บังคับใช้หรือไม่

คำถามที่พบบ่อย

การบล็อก ClaudeBot ทำให้เว็บไซต์ของฉันหายจากคำตอบของ Claude ไหม

ไม่ใช่เพราะเรื่องนี้อย่างเดียว การจัดทำดัชนีเพื่อการค้นหาและการดึงหน้าตามคำขอของผู้ใช้ใช้ Claude-SearchBot และ Claude-User ซึ่งมีโทเค็นใน robots.txt ของตัวเอง

Claude-User ทำตาม robots.txt ไหม

Anthropic ระบุว่าบอตของตนทำตาม robots.txt และอธิบายการบล็อก Claude-User ที่นั่น โดยผลคือ Claude ดึงหน้าเว็บของคุณเพื่อตอบคำถามของผู้ใช้ไม่ได้

โปรแกรมรวบรวมข้อมูลของ Anthropic แก้ CAPTCHA ไหม

ไม่ Anthropic ระบุว่าบอตของตนเคารพเทคโนโลยีป้องกันการหลบเลี่ยง และจะไม่พยายามข้าม CAPTCHA

ทำให้ ClaudeBot ช้าลงแทนการบล็อกได้ไหม

ได้ Anthropic รองรับ Crawl-delay เป็นส่วนขยายนอกมาตรฐาน เช่น Crawl-delay: 1 ในกลุ่ม ClaudeBot ของ robots.txt

ตรวจสอบได้อย่างไรว่าคำขอมาจาก Anthropic จริง

เปรียบเทียบ IP ต้นทางกับรายการที่ Anthropic เผยแพร่ที่ claude.com/crawling/bots.json ใครก็คัดลอก user agent ได้

แหล่งอ้างอิง

• Anthropic: Anthropic รวบรวมข้อมูลจากเว็บหรือไม่ และเจ้าของเว็บไซต์บล็อกโปรแกรมนี้ได้อย่างไร
• RFC 9309: Robots Exclusion Protocol

บทความอื่น ๆ

• โปรแกรมรวบรวมข้อมูลของ Perplexity: PerplexityBot และ Perplexity-User
• Structured data สำหรับคำตอบจาก AI: ควรทำมาร์กอัปอะไรและทำอย่างไร
• โปรแกรมรวบรวมข้อมูลของ AI อ่านเนื้อหาที่สร้างด้วย JavaScript ได้ไหม