เราอ่าน robots.txt ของ 10,000 เว็บไซต์ยอดนิยม นี่คือสิ่งที่พวกเขาทำกับครอว์เลอร์ AI

เผยแพร่เมื่อ

คำตอบสั้น ๆ

จาก 6,192 โดเมนใน Tranco 10,000 อันดับแรกที่มี robots.txt มี 23.2% บล็อกครอว์เลอร์ฝึกโมเดล AI อย่างน้อยหนึ่งตัว และ 12.3% บล็อกครอว์เลอร์ค้นหาหรือครอว์เลอร์ผู้ใช้ของ AI อย่างน้อยหนึ่งตัว เว็บไซต์ที่บล็อกการฝึกโมเดล 51.6% บล็อกการค้นหา AI ด้วย มีเพียง 11.2% ที่ไม่ให้ใช้ฝึกโมเดลแต่อนุญาตครอว์เลอร์ค้นหา AI ทุกตัว

ในเดือนพฤศจิกายน เราอ่าน robots.txt ของ 1,000 โดเมนยอดนิยม ครั้งนี้เราอ่าน 10,000 โดเมนด้วยวิธีเดียวกัน และเพิ่มการตรวจว่าภาพเปลี่ยนไปอย่างไรเมื่อเว็บไซต์เล็กลง ข้อสรุปหลักยังเหมือนเดิม คือการบล็อกการฝึกโมเดลกับการบล็อกการค้นหาถูกมองเป็นการตัดสินใจเดียว ทั้งที่เป็นสองเรื่อง

ในหน้านี้
  1. เราวัดอย่างไร?
  2. เราพบอะไร?
  3. ครอว์เลอร์ตัวใดถูกบล็อกบ่อยที่สุด?
  4. เว็บไซต์ที่ใหญ่กว่าบล็อกมากกว่าหรือไม่?
  5. มีอะไรเปลี่ยนไปจากรายงานวันที่ 12 พฤศจิกายนของเราหรือไม่?
  6. สิ่งนี้มีความหมายอย่างไรต่อ robots.txt ของคุณ?
  7. ตัวเลขเหล่านี้เชื่อถือได้แค่ไหน?

เราวัดอย่างไร?

เราใช้ 10,000 โดเมนแรกของรายการ Tranco (รหัสรายการ JZWZY) และดึงหน้าแรก robots.txt และ llms.txt ของแต่ละโดเมนอย่างละหนึ่งครั้งเมื่อวันที่ 21 พฤศจิกายน 2026 ด้วย user agent ของ AISeeWhy เอง เราประเมิน robots.txt แต่ละไฟล์ตาม RFC 9309 สำหรับหน้าแรก (/) และครอว์เลอร์ AI และครอว์เลอร์ค้นหา 16 ตัว

จาก 10,000 โดเมน มี 6,192 โดเมนที่มี robots.txt (ตอบสำเร็จและไม่ใช่หน้า HTML) 1,121 โดเมนตอบด้วย 4xx ซึ่งหมายถึงไม่มีกฎและอนุญาตครอว์เลอร์ทุกตัว และ 2,687 โดเมนไม่มี robots.txt (ไม่มีเว็บไซต์ HTTPS เกิดข้อผิดพลาด หมดเวลา หรือส่งหน้า HTML มาแทน) เปอร์เซ็นต์ทั้งหมดด้านล่างคิดจาก 6,192 โดเมน รายการนี้รวม CDN และ API ที่ไม่ได้ให้บริการเว็บไซต์ด้วย

เราพบอะไร?

ครอว์เลอร์ตัวใดถูกบล็อกบ่อยที่สุด?

สัดส่วนของ 6,192 โดเมนที่ robots.txt ห้ามครอว์เลอร์นั้นเข้าหน้าแรก:

เว็บไซต์ที่ใหญ่กว่าบล็อกมากกว่าหรือไม่?

ใช่ และสับสนระหว่างการฝึกโมเดลกับการค้นหาบ่อยกว่าด้วย เราแบ่งรายการตามอันดับ:

ทางเลือกแบบเจาะจงพบได้น้อยในทุกขนาด คือ 10.5%, 10.4% และ 11.5% ของโดเมนในสามกลุ่มตามลำดับ

มีอะไรเปลี่ยนไปจากรายงานวันที่ 12 พฤศจิกายนของเราหรือไม่?

เรารันโดเมน 1,000 อันดับแรกซ้ำด้วยรายการเดิม ผลค่อนข้างคงที่ ต่างกันไม่เกินราวหนึ่งจุด คือ 28.6% บล็อกการฝึกโมเดล (29.9% เมื่อ 12 พฤศจิกายน) 18.6% บล็อกการค้นหา AI (19.5%) และ 63.1% ของผู้บล็อกการฝึกโมเดลบล็อกการค้นหา AI ด้วย (63.2%) ตัวหารต่างกันเล็กน้อย (ตอนนี้มี 560 โดเมนที่มี robots.txt ครั้งก่อน 518) เพราะการรันครั้งนี้ตามการเปลี่ยนเส้นทางของโดเมนไปยังโฮสต์หลักก่อนดึงข้อมูล

สิ่งนี้มีความหมายอย่างไรต่อ robots.txt ของคุณ?

บริษัท AI ส่วนใหญ่ระบุครอว์เลอร์แยกกันสำหรับการฝึกโมเดลและการค้นหา และบอกว่าการตั้งค่าเป็นอิสระต่อกัน การห้าม GPTBot ไม่กระทบ OAI-SearchBot และการห้าม ClaudeBot ไม่กระทบ Claude-SearchBot หากคุณต้องการไม่ให้ใช้ฝึกโมเดลแต่ยังถูกอ้างอิง ให้บล็อกโทเค็นของครอว์เลอร์ฝึกโมเดลและอนุญาตโทเค็นของครอว์เลอร์ค้นหาและครอว์เลอร์ผู้ใช้ และให้ใส่เส้นทางส่วนตัวซ้ำในทุกกลุ่ม เพราะกลุ่มที่ระบุชื่อไม่สืบทอดกฎจาก *

ตัวเลขเหล่านี้เชื่อถือได้แค่ไหน?

ตัวเลขเหล่านี้คือกฎ robots.txt สำหรับหน้าแรก ที่อ่านด้วยตัวแยกวิเคราะห์ตัวเดียวในวันเดียว ไม่ได้วัดการบล็อกของไฟร์วอลล์ ซึ่งอาจปฏิเสธครอว์เลอร์ที่ robots.txt อนุญาต และบอกไม่ได้ว่าแต่ละเว็บไซต์ตั้งใจอะไร อีกทั้งรายการ Tranco มีโดเมนที่ไม่ได้ให้บริการเว็บไซต์ กฎที่บล็อกครอว์เลอร์ค้นหาไม่ใช่หลักฐานของความผิดพลาด เป็นเพียงทางเลือกที่มักทำโดยไม่รู้ความแตกต่าง คุณอ้างอิงตัวเลขเหล่านี้ได้โดยใส่ลิงก์มายังหน้านี้

เครื่องมือฟรี

ขั้นตอนถัดไป

Crawler ในบทความนี้

คำถามที่พบบ่อย

เว็บไซต์ยอดนิยมร้อยละเท่าไรที่บล็อกครอว์เลอร์ AI?

ในบรรดา 6,192 โดเมนของ Tranco 10,000 อันดับแรกที่มี robots.txt มี 23.2% บล็อกครอว์เลอร์ฝึกโมเดล AI อย่างน้อยหนึ่งตัว และ 12.3% บล็อกครอว์เลอร์ค้นหาหรือครอว์เลอร์ผู้ใช้ของ AI อย่างน้อยหนึ่งตัว

เว็บไซต์ที่บล็อกการฝึกโมเดล AI บล็อกการค้นหา AI ด้วยหรือไม่?

บ่อยครั้ง 51.6% ของเว็บไซต์ที่บล็อกครอว์เลอร์ฝึกโมเดลบล็อกครอว์เลอร์ค้นหาหรือครอว์เลอร์ผู้ใช้ของ AI อย่างน้อยหนึ่งตัวด้วย ทั้งที่ผู้พัฒนาระบุว่าเป็นครอว์เลอร์แยกกันและตั้งค่าได้อิสระ

ครอว์เลอร์ AI ตัวใดถูกบล็อกบ่อยที่สุด?

ในกลุ่มครอว์เลอร์ฝึกโมเดลคือ Bytespider (18.7%) และ CCBot (18.5%) ตามด้วย GPTBot (17.4%) ในกลุ่มครอว์เลอร์ค้นหา AI PerplexityBot ถูกบล็อกบ่อยที่สุด ที่ 10.4% ของโดเมน

ทำไมตัวเลขจึงต่างจากรายงาน 1,000 เว็บไซต์ของคุณ?

1,000 โดเมนแรกให้เปอร์เซ็นต์เกือบเท่ากัน (28.6% และ 18.6% เทียบกับ 29.9% และ 19.5%) ตัวเลขของ 10,000 เว็บไซต์ต่ำกว่าเพราะเว็บไซต์ที่เล็กกว่าบล็อกน้อยกว่า

แหล่งอ้างอิง

บทความอื่น ๆ