GPTBot
GPTBot คือ crawler ของ OpenAI สำหรับเนื้อหาที่อาจถูกใช้เทรนโมเดลพื้นฐาน generative AI ของบริษัท การห้ามไว้ใน robots.txt เป็นการบอก OpenAI ว่าไม่ควรใช้เนื้อหาของคุณเทรนโมเดล การบล็อกไม่ได้ทำให้คุณหายไปจากคำตอบการค้นหาของ ChatGPT ซึ่งขึ้นอยู่กับ OAI-SearchBot
ทำอะไร
OpenAI ระบุว่า GPTBot ใช้เพื่อทำให้โมเดลพื้นฐาน generative AI ของบริษัทมีประโยชน์และปลอดภัยยิ่งขึ้น โดยจะรวบรวมเนื้อหาที่อาจใช้เทรนโมเดลเหล่านั้น และการห้าม GPTBot เป็นการแสดงว่าไม่ควรนำเนื้อหาของเว็บไซต์ไปเทรน
การจะอนุญาตหรือไม่เป็นการตัดสินใจเชิงนโยบาย ไม่ใช่เรื่องการมองเห็น การค้นหาของ ChatGPT ใช้ crawler แยกต่างหากคือ OAI-SearchBot และ OpenAI ระบุว่าการตั้งค่าทั้งสองเป็นอิสระจากกัน เมื่ออนุญาตทั้งคู่ OpenAI ระบุว่าอาจใช้ผลการเก็บข้อมูลครั้งเดียวกับทั้งสองวัตถุประสงค์ เพื่อไม่ต้องเก็บข้อมูลซ้ำสองรอบ
ในการศึกษาของเราเมื่อ 2026-11 เว็บไซต์ยอดนิยมที่มี robots.txt จำนวน 21.4% บล็อกตัวนี้ →
โทเค็น robots.txt
GPTBot
สตริง user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
วิธีอนุญาต
User-agent: GPTBot
Allow: /
วิธีบล็อก
User-agent: GPTBot
Disallow: /
วิธีตรวจสอบการเข้าชมจริง
OpenAI เผยแพร่ช่วง IP ที่เอเจนต์นี้ใช้เป็นไฟล์ JSON ให้เทียบ IP ต้นทางของคำขอกับช่วงเหล่านั้น คำขอที่ระบุชื่อ GPTBot แต่มาจากที่อยู่อื่นไม่ใช่ของ OpenAI OpenAI ระบุว่าหมายเลขเวอร์ชันใน user agent อาจเปลี่ยน จึงควรเทียบโทเค็น GPTBot แทนที่จะเทียบทั้งสตริง
ตรวจสอบว่าเว็บไซต์ของคุณเปิดให้เข้าหรือไม่ →
โปรแกรมรวบรวมข้อมูลของ OpenAI อธิบายให้เข้าใจ: GPTBot, OAI-SearchBot และ ChatGPT-User →