ตัวสร้าง robots.txt สำหรับ AI crawler

เลือกว่า AI crawler ตัวไหนอ่านไซต์ของคุณได้ แล้วคัดลอก robots.txt ที่สร้างขึ้น ตัวเลือกที่พบบ่อยคือบล็อก AI crawler สำหรับเทรนโมเดล เช่น GPTBot และ ClaudeBot แต่อนุญาต AI crawler สำหรับการค้นหา เช่น OAI-SearchBot และ PerplexityBot เพื่อให้หน้าของคุณยังปรากฏและถูกอ้างอิงในคำตอบของ AI ได้

การบล็อกตัวดึงข้อมูลตามคำขอของผู้ใช้มีผลจำกัด ผู้ให้บริการบางรายระบุว่าเอเจนต์เหล่านี้อาจไม่ทำตาม robots.txt เพราะมีคนขอหน้านั้น ทดสอบผลลัพธ์ด้วยตัวตรวจ robots.txt ก่อนเผยแพร่ ตัวตรวจสอบ robots.txt สำหรับ AI crawler →

วิธีใช้งาน

วางไฟล์ไว้ที่รากของโดเมน (https://example.com/robots.txt) หากมีกฎสำหรับ crawler ตัวอื่นอยู่แล้ว ให้คงไว้และเพิ่มเฉพาะกลุ่ม AI การเปลี่ยนแปลงมีผลเมื่อ crawler แต่ละตัวอ่านไฟล์ครั้งถัดไป ซึ่งมักภายในหนึ่งวัน

เริ่มการตรวจสอบแบบเต็ม →