วิธีตรวจว่าเว็บไซต์บล็อกโปรแกรมรวบรวมข้อมูลของ AI หรือไม่
วางที่อยู่เว็บไซต์ใดก็ได้ แล้วดูว่าบล็อก GPTBot, ClaudeBot, PerplexityBot และโปรแกรมรวบรวมข้อมูลของ AI ตัวอื่น ๆ หรือไม่ ทั้งใน robots.txt ในไฟร์วอลล์ หรือทั้งสองที่
ฟรี · ไม่ต้องสมัคร · รู้ผลใน 30 วินาที
โปรแกรมรวบรวมข้อมูลตัวไหนถูกบล็อก
โปรแกรมสำหรับเทรนโมเดล สำหรับการค้นหา และสำหรับผู้ใช้ จะแสดงแยกกัน เพราะการบล็อก GPTBot ไม่ได้บล็อก OAI-SearchBot และการบล็อก ClaudeBot ก็ไม่ได้บล็อก Claude-SearchBot
บรรทัดที่ตัดสินผล
สำหรับโปรแกรมแต่ละตัว จะอ่าน robots.txt ตามกฎ RFC 9309 คือกลุ่มที่ระบุชื่อโปรแกรมนั้น หรือ User-agent: * เป็นตัวสำรอง และกฎที่มีผลบังคับใช้
การปฏิเสธจากไฟร์วอลล์
ระบบจะขอหน้าเว็บในฐานะโปรแกรมรวบรวมข้อมูล 14 ตัวและในฐานะเบราว์เซอร์ทั่วไป การบล็อกและหน้าตรวจสอบจะถูกทำเครื่องหมาย พร้อมระบุชื่อไฟร์วอลล์ที่ตอบกลับ
วิธีแก้สำหรับทุกข้อที่พบ
ทุกข้อที่พบมาพร้อมสิ่งที่ต้องแก้ การตรวจฟรีแสดงคะแนนและข้อแรกที่พบ ส่วนรายงานฉบับเต็มราคา $29 จ่ายครั้งเดียว
เว็บไซต์บล็อกโปรแกรมรวบรวมข้อมูลของ AI ได้สองที่ คือ robots.txt ซึ่งขอให้โปรแกรมเหล่านี้ไม่เข้ามา และเซิร์ฟเวอร์หรือไฟร์วอลล์ซึ่งปฏิเสธจริง ๆ ให้อ่าน robots.txt หาโทเค็นของแต่ละโปรแกรม ถ้าไม่มีให้ดูกลุ่ม User-agent: * แทน จากนั้นดึงหน้าเว็บในฐานะโปรแกรมนั้นแล้วเทียบกับเบราว์เซอร์ ส่วนขยายเบราว์เซอร์ช่วยตรวจ robots.txt สำหรับโปรแกรมรวบรวมข้อมูลของ AI 16 ตัวได้ในคลิกเดียว
ตรวจเองด้วยมือใน 3 ขั้นตอน
- เลือกโปรแกรมรวบรวมข้อมูล
บริษัท AI แต่ละแห่งใช้โปรแกรมแยกกัน สำหรับเทรนโมเดล:
GPTBot,ClaudeBotสำหรับการค้นหา:OAI-SearchBot,Claude-SearchBot,PerplexityBotเมื่อผู้ใช้ร้องขอ:ChatGPT-User,Claude-User,Perplexity-User - อ่าน robots.txt ของโปรแกรมนั้น
เปิด
https://example.com/robots.txtแล้วหากลุ่มที่ระบุชื่อโปรแกรม ถ้าไม่มีกลุ่มใดระบุ ให้ใช้กลุ่มUser-agent: *ถ้าไม่มีทั้งสองอย่าง ถือว่าอนุญาตทั้งหมด - ดึงหน้าเว็บในฐานะโปรแกรมนั้น
ขอหน้าเว็บด้วย user agent ของโปรแกรม แล้วเทียบสถานะและขนาดกับที่เบราว์เซอร์ได้รับ ถ้าได้ 403 หน้าตรวจสอบ หรือ 200 ที่เล็กกว่ามาก แสดงว่าไฟร์วอลล์ปฏิเสธ
คำถามที่พบบ่อย
เว็บไซต์ที่ไม่มี robots.txt เปิดให้โปรแกรมรวบรวมข้อมูลของ AI หรือไม่
ใช่ ในแง่ของ robots.txt ถ้า robots.txt ตอบ 404 แปลว่าไม่มีกฎ โปรแกรมทุกตัวจึงดึงได้ทุกหน้า แต่ไฟร์วอลล์ยังบล็อกโปรแกรมรวบรวมข้อมูลได้
ส่วนขยายแสดงการบล็อกของไฟร์วอลล์ไหม
ไม่ ส่วนขยายอ่าน robots.txt จากเบราว์เซอร์ของคุณ ซึ่งแสดงว่าเว็บไซต์ขอให้โปรแกรมรวบรวมข้อมูลทำอะไร การบล็อกโดยไฟร์วอลล์และระบบป้องกันบอตต้องตรวจด้วยคำขอที่ส่งในฐานะโปรแกรมนั้น ซึ่งการตรวจแบบเต็มบน aiseewhy.com ทำให้
ตรวจเว็บไซต์ที่ไม่ใช่ของฉันได้ไหม
ได้ robots.txt เป็นข้อมูลสาธารณะ และส่วนขยายอ่านเฉพาะไฟล์ robots.txt และ llms.txt ที่เว็บไซต์เผยแพร่ ซึ่งเป็นไฟล์เดียวกับที่โปรแกรมรวบรวมข้อมูลทุกตัวอ่าน
อ่านคู่มือฉบับเต็ม
ไม่ว่าคุณจะตรวจเว็บไซต์ของตัวเองหลังมีการเปลี่ยนแปลง หรือดูเว็บไซต์ของคนอื่นก่อนจะพึ่งพามัน คำถามว่า “เว็บไซต์นี้บล็อกโปรแกรมรวบรวมข้อมูลของ AI หรือไม่” มีคำตอบที่ชัดเจน คำตอบขึ้นอยู่กับว่าคุณหมายถึงโปรแกรมตัวไหน เพราะบริษัท AI ใช้โปรแกรมแยกกันสำหรับการฝึกโมเดล การค้นหา และการเข้าชมสด และเว็บไซต์ปฏิบัติต่อแต่ละตัวต่างกันได้ คู่มือนี้แสดงการตรวจสามแบบ ตั้งแต่แบบเร็วที่สุดไปจนถึงแบบครบถ้วนที่สุด
เว็บไซต์บล็อกโปรแกรมรวบรวมข้อมูลของ AI ได้ที่ไหนบ้าง
มีอยู่สามชั้น และโปรแกรมรวบรวมข้อมูลต้องผ่านทั้งหมดจึงจะใช้หน้าเว็บได้
- robots.txt: ไฟล์กฎสาธารณะที่โปรแกรมรวบรวมข้อมูลที่ทำตามกติกาอ่านก่อนดึงสิ่งใด เป็นคำขอ ไม่ใช่กุญแจล็อก
- เซิร์ฟเวอร์ CDN หรือไฟร์วอลล์: ตัดสินว่าจะส่งอะไรกลับไปจริง ๆ กฎป้องกันบอตอาจตอบโปรแกรมรวบรวมข้อมูลด้วย 403, 429 หรือหน้าตรวจสอบ แม้ robots.txt จะอนุญาตก็ตาม
- ตัวหน้าเว็บเอง: ถ้าเนื้อหาหลักปรากฏหลังจาก JavaScript ทำงานแล้วเท่านั้น โปรแกรมที่อ่าน HTML ตั้งต้นจะได้หน้าที่แทบว่างเปล่า ทั้งที่ไม่มีอะไรบล็อกมันเลย
การตรวจแบบเร็วส่วนใหญ่ดูแค่ชั้นแรก ซึ่งเป็นจุดเริ่มต้นที่ดี ตราบใดที่คุณยังจำอีกสองชั้นไว้
อ่าน robots.txt สำหรับโปรแกรมรวบรวมข้อมูลของ AI ตัวเดียวอย่างไร
เปิด https://example.com/robots.txt ในเบราว์เซอร์ แล้วหากลุ่มที่ใช้กับโปรแกรมนั้น กลุ่มเริ่มต้นด้วยบรรทัด User-agent หนึ่งบรรทัดขึ้นไป โปรแกรมจะใช้กลุ่มที่ระบุโทเค็นของมัน เช่น GPTBot โดยไม่สนใจตัวพิมพ์เล็กใหญ่ ถ้าไม่มีกลุ่มใดระบุชื่อ ก็จะใช้กลุ่ม User-agent: * และถ้าไม่มีทั้งสองแบบ ทุกอย่างได้รับอนุญาต
ภายในกลุ่ม กฎที่เส้นทางตรงกันยาวที่สุดจะชนะ และเมื่อ Allow กับ Disallow ยาวเท่ากัน Allow จะชนะ ดังนั้นไฟล์ด้านล่างจึงบล็อก GPTBot จากทั้งเว็บไซต์ แต่ให้โปรแกรมอื่นทั้งหมดเข้าได้:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / ดูด้วยว่าไฟล์ตอบกลับอย่างไร ตาม RFC 9309 รหัส 404 หมายความว่าไม่มีกฎ ทุกอย่างจึงได้รับอนุญาต ข้อผิดพลาดของเซิร์ฟเวอร์ (5xx) หรือการไม่ตอบเลย หมายความว่าโปรแกรมรวบรวมข้อมูลต้องถือว่าทั้งเว็บไซต์ถูกห้าม ที่อยู่ robots.txt ที่ส่งกลับมาเป็นหน้า HTML เป็นข้อผิดพลาดที่พบบ่อย เพราะโปรแกรมจะไม่พบกฎที่ใช้ได้ในนั้น
ตรวจโปรแกรมรวบรวมข้อมูลของ AI ทั้งหมดพร้อมกันได้อย่างไร
การอ่านไฟล์ด้วยตัวเองจะช้าลงเมื่อคุณสนใจโปรแกรมมากกว่าหนึ่งตัว บริษัท AI แต่ละแห่งใช้หลายตัวที่ทำหน้าที่ต่างกัน:
- โปรแกรมสำหรับการฝึกโมเดลเก็บเนื้อหาไปใช้ฝึกโมเดล:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagentรวมถึงโทเค็นGoogle-ExtendedและApplebot-Extendedซึ่งปรากฏเฉพาะใน robots.txt - โปรแกรมสำหรับการค้นหาทำดัชนีหน้าเว็บเพื่อให้คำตอบของ AI อ้างอิงได้:
OAI-SearchBot,Claude-SearchBot,PerplexityBot - โปรแกรมสำหรับผู้ใช้ดึงหน้าเว็บเมื่อมีคนขอให้ผู้ช่วย AI เปิด:
ChatGPT-User,Claude-User,Perplexity-User
ส่วนขยายฟรี “ตรวจครอว์เลอร์ AI” สำหรับ Chrome ทำสิ่งนี้ได้ในคลิกเดียว เปิดหน้าใดก็ได้ คลิกไอคอน แล้วส่วนขยายจะอ่าน robots.txt ของเว็บไซต์นั้น และแสดงสำหรับโปรแกรมทั้ง 16 ตัวว่าหน้านั้นได้รับอนุญาตหรือไม่ และบรรทัดไหนเป็นตัวตัดสิน นอกจากนี้ยังแสดงค่า Content-Signal ว่าเว็บไซต์มี llms.txt หรือไม่ และแผนผังเว็บไซต์ที่ระบุไว้ใน robots.txt ส่วนขยายทำงานในเบราว์เซอร์ของคุณ ไม่ต้องมีบัญชี และอ่านเฉพาะเว็บไซต์ที่คุณคลิกใช้งาน
ถ้าไม่ใช้ Chrome ตัวตรวจ robots.txt ฟรีบน aiseewhy.com ก็ให้คำตอบเดียวกันสำหรับ URL ที่คุณวาง
ตรวจอย่างไรว่าไฟร์วอลล์ปล่อยให้โปรแกรมเหล่านี้ผ่าน
robots.txt บอกว่าเว็บไซต์ขออะไร หากต้องการดูว่าโปรแกรมรวบรวมข้อมูลได้รับอะไรจริง ๆ ให้ขอหน้าเว็บสองครั้ง ครั้งหนึ่งในฐานะเบราว์เซอร์ อีกครั้งด้วย user agent ของโปรแกรมนั้น แล้วเทียบรหัสสถานะและขนาดของการตอบกลับ:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page ถ้าเบราว์เซอร์ได้ 200 แต่โปรแกรมรวบรวมข้อมูลได้ 403, 429 หรือ 503 หรือได้หน้าที่เล็กกว่ามาก แสดงว่าไฟร์วอลล์หรือระบบป้องกันบอตปฏิบัติต่อโปรแกรมนั้นต่างออกไป การทดสอบจากภายนอกทุกแบบมีข้อจำกัดหนึ่งข้อ คือคำขอมาจากเครือข่ายของคุณ ไม่ใช่ของบริษัท AI ไฟร์วอลล์ที่เชื่อถือโปรแกรมรวบรวมข้อมูลตามที่อยู่ IP ที่เผยแพร่ไว้อาจปฏิบัติต่อโปรแกรมตัวจริงต่างออกไป ดังนั้นคำตอบสุดท้ายอยู่ที่บันทึกของเซิร์ฟเวอร์
การตรวจแบบเต็มบน aiseewhy.com จะดึงหน้าเว็บในฐานะโปรแกรมทั้ง 16 ตัวเทียบกับเบราว์เซอร์จริง ระบุชื่อไฟร์วอลล์หรือกฎที่บล็อกโปรแกรม และเปรียบเทียบข้อความที่แต่ละตัวได้รับ
ควรตั้งเป้าผลลัพธ์แบบไหน
ขึ้นอยู่กับสิ่งที่คุณต้องการ ถ้าต้องการถูกอ้างอิงในการค้นหาของ ChatGPT, Claude และ Perplexity โปรแกรมสำหรับการค้นหาและสำหรับผู้ใช้ต้องได้รับอนุญาตใน robots.txt และต้องได้หน้าจริงจากเซิร์ฟเวอร์ ถ้าไม่ต้องการให้นำเนื้อหาไปฝึกโมเดล ให้บล็อกเฉพาะโทเค็นการฝึกโมเดล ทั้งสองเรื่องเป็นการตัดสินใจแยกกัน การบล็อก GPTBot ไม่ได้บล็อก OAI-SearchBot และการบล็อก ClaudeBot ไม่ได้บล็อก Claude-SearchBot
หลายเว็บไซต์สับสนสองเรื่องนี้ ในรายงานเดือนพฤศจิกายน 2026 ของเราเกี่ยวกับ 1,000 โดเมนที่ได้รับความนิยมสูงสุด 63% ของเว็บไซต์ที่บล็อกโปรแกรมสำหรับการฝึกโมเดล บล็อกโปรแกรมสำหรับการค้นหาหรือสำหรับผู้ใช้ของ AI อย่างน้อยหนึ่งตัวด้วย ทำให้หน้าเว็บของตนไม่ปรากฏในคำตอบของ AI เหล่านั้น
ขั้นตอนถัดไป
- ตัวทดสอบและตัวตรวจสอบ robots.txt สำหรับ AI crawler
- ตัวตรวจสอบและตัวตรวจความถูกต้อง llms.txt
- ดูตัวอย่างรายงานฉบับเต็ม
- การติดตาม AI crawler
- แพ็กเกจและราคา
Crawler ในบทความนี้
แหล่งอ้างอิง
- RFC 9309: Robots Exclusion Protocol
- OpenAI: ภาพรวมโปรแกรมรวบรวมข้อมูลของ OpenAI
- Anthropic: Anthropic รวบรวมข้อมูลจากเว็บหรือไม่ และเจ้าของเว็บไซต์บล็อกโปรแกรมนี้ได้อย่างไร
- Perplexity: โปรแกรมรวบรวมข้อมูลของ Perplexity
- Google: โปรแกรมรวบรวมข้อมูลทั่วไป รวมถึง Google-Extended
- AISeeWhy: รายงานการเข้าถึงของโปรแกรมรวบรวมข้อมูล AI, 2026-11