ตัวตรวจสอบ robots.txt สำหรับ AI crawler

ใส่ที่อยู่หน้าเว็บ: เราจะอ่าน robots.txt ของเว็บไซต์และแสดงว่า AI และ crawler ของเสิร์ชเอนจินแต่ละตัวดึงหน้านั้นได้หรือไม่ หรือวาง robots.txt เพื่อทดสอบก่อนเผยแพร่

robots.txt เป็นเพียงคำขอ ไฟร์วอลล์หรือระบบป้องกันบอทยังบล็อก crawler ที่ robots.txt อนุญาตได้ การตรวจสอบแบบเต็มจะทดสอบเรื่องนี้ เริ่มการตรวจสอบแบบเต็ม →

AI crawler อ่าน robots.txt อย่างไร

crawler แต่ละตัวทำตามกลุ่มที่ระบุโทเค็นของตัวเอง (เช่น GPTBot หรือ PerplexityBot) และจะทำตาม User-agent: * ก็ต่อเมื่อไม่มีกลุ่มดังกล่าวเท่านั้น ภายในกลุ่ม กฎที่ตรงยาวที่สุดจะมีผล และหากยาวเท่ากัน Allow จะชนะ การบล็อก crawler สำหรับเทรนโมเดล เช่น GPTBot, ClaudeBot หรือ Google-Extended จะกันเนื้อหาของคุณไม่ให้ถูกใช้เทรนโมเดล ส่วนการบล็อก crawler สำหรับการค้นหาและผู้ใช้ เช่น OAI-SearchBot, ChatGPT-User หรือ PerplexityBot จะทำให้หน้าเว็บของคุณไม่ปรากฏในคำตอบของ AI