เว็บไซต์ธุรกิจสี่ในสิบแห่งปฏิเสธครอว์เลอร์ AI

เผยแพร่เมื่อ

คำตอบสั้น ๆ

จากการตรวจเว็บไซต์ธุรกิจ 165 แห่งในสหรัฐฯ สหราชอาณาจักร และฝรั่งเศส มี 38% ที่เซิร์ฟเวอร์ปฏิเสธครอว์เลอร์ AI อย่างน้อยหนึ่งตัว เกือบทั้งหมดเป็นบอตฝึกโมเดลหรือบอตสแครป และราวหนึ่งในสิบแห่งยังปฏิเสธครอว์เลอร์ค้นหา AI เช่น PerplexityBot หรือ OAI-SearchBot ซึ่งเป็นครอว์เลอร์ที่อาจนำไปสู่การถูกอ้างอิง ตรวจเว็บไซต์ของคุณได้ด้วยการส่งคำขอหนึ่งครั้งต่อครอว์เลอร์หนึ่งตัว

คุณถาม ChatGPT เกี่ยวกับสินค้าของคุณเอง แต่มันกลับเอ่ยชื่อคู่แข่ง เว็บไซต์รีวิว และกระทู้ในฟอรัม บางครั้งนั่นเป็นเรื่องของเนื้อหา แต่บ่อยครั้งเป็นเพราะไฟร์วอลล์ตอบครอว์เลอร์ AI ว่าไม่ ซึ่งไม่มีใครในทีมของคุณเคยเห็น เพราะเว็บไซต์ใช้งานได้ปกติในเบราว์เซอร์

ในหน้านี้
  1. เราทดสอบอะไร?
  2. เราพบอะไร?
  3. ทำไมจึงเกิดขึ้น และเมื่อไรที่เป็นการเลือกเอง?
  4. เว็บไซต์ใหญ่ที่สุดทำได้ดีกว่าหรือไม่?
  5. ตรวจเว็บไซต์ของฉันเองใน 10 นาทีได้อย่างไร?
  6. ตัวเลขเหล่านี้เชื่อถือได้แค่ไหน?

เราทดสอบอะไร?

เราขอหน้าเว็บหลายครั้งจากที่อยู่เดียวกัน ครั้งหนึ่งในฐานะเบราว์เซอร์ทั่วไป และอีกครั้งละหนึ่งตัวในฐานะครอว์เลอร์ AI และครอว์เลอร์ค้นหา 14 ตัว รวมถึง GPTBot, OAI-SearchBot และ ChatGPT-User ของ OpenAI, ClaudeBot และ Claude-SearchBot ของ Anthropic และ PerplexityBot ของ Perplexity หากเบราว์เซอร์ได้หน้าเว็บ แต่ครอว์เลอร์ได้ 401, 403, 406, 429, 451, 503 หรือหน้าตรวจสอบ แสดงว่าเว็บไซต์กำลังปฏิเสธครอว์เลอร์ตัวนั้น

กลุ่มตัวอย่างคือเว็บไซต์ธุรกิจ 218 แห่งในสหรัฐฯ สหราชอาณาจักร และฝรั่งเศส ตรวจระหว่างวันที่ 18 ถึง 21 พฤศจิกายน 2026 เราทดสอบครบทุกขั้นตอนได้ 165 แห่ง อีก 53 แห่งปฏิเสธแม้แต่คำขอแบบเบราว์เซอร์ธรรมดาของเราหรือไม่ตอบกลับ จึงตัดออกแทนที่จะเดา

เราพบอะไร?

ทำไมจึงเกิดขึ้น และเมื่อไรที่เป็นการเลือกเอง?

หลายกรณีน่าจะตั้งใจ เจ้าของเว็บไซต์จำนวนมากไม่ต้องการให้เนื้อหาถูกนำไปฝึกโมเดล และการตั้งค่าป้องกันบอตที่บล็อกตัวสแครปก็เปิดใช้ได้ง่าย นั่นเป็นทางเลือกที่สมเหตุสมผล

ปัญหาคือบริษัท AI ใช้ครอว์เลอร์แยกกันสำหรับการฝึกโมเดลและสำหรับการค้นหา การบล็อกครอว์เลอร์ฝึกโมเดลไม่จำเป็นต้องบล็อกครอว์เลอร์ค้นหาด้วย และครอว์เลอร์ค้นหาคือตัวที่อาจทำให้หน้าของคุณถูกอ้างอิงในคำตอบ

เว็บไซต์ใหญ่ที่สุดทำได้ดีกว่าหรือไม่?

ไม่เชิง ในรายงาน robots.txt ของเราที่ตรวจโดเมนยอดนิยม 1,000 อันดับแรก 29.9% ของเว็บไซต์ที่มี robots.txt บล็อกครอว์เลอร์ฝึกโมเดล AI อย่างน้อยหนึ่งตัว และ 63.2% ของกลุ่มนั้นบล็อกครอว์เลอร์ค้นหาหรือครอว์เลอร์ผู้ใช้ของ AI อย่างน้อยหนึ่งตัวด้วย มีเพียง 11.0% ที่บล็อกการฝึกโมเดลแต่อนุญาตครอว์เลอร์ค้นหา AI ทุกตัว ซึ่งน่าจะเป็นการตั้งค่าที่ส่วนใหญ่ต้องการ

ตรวจเว็บไซต์ของฉันเองใน 10 นาทีได้อย่างไร?

  1. เปิด yoursite.com/robots.txt สำหรับครอว์เลอร์ AI แต่ละตัวที่คุณสนใจ ดูว่ามีกลุ่มที่ระบุชื่อตัวนั้นหรือไม่ และกลุ่มนั้นกำหนดอะไร กลุ่มที่ระบุชื่อครอว์เลอร์จะแทนที่กลุ่ม * ทั่วไปทั้งหมด
  2. ทดสอบสิ่งที่เซิร์ฟเวอร์ทำ ไม่ใช่สิ่งที่ไฟล์เขียนไว้ ขอหน้าสำคัญของคุณในฐานะเบราว์เซอร์และในฐานะครอว์เลอร์ 403, 429 หน้าที่ชื่อ Just a moment... หรือการตอบกลับที่เล็กกว่าของเบราว์เซอร์มาก คือเครื่องหมายของการบล็อกโดยไฟร์วอลล์
  3. ถามผู้ช่วย AI เปิดการค้นหาแล้วถาม ChatGPT หรือ Perplexity ด้วยคำถามที่ลูกค้าของคุณถาม แล้วดูว่ามันอ้างอิงเว็บไซต์ใด หากการเข้าถึงไม่มีปัญหาแต่คุณยังไม่ปรากฏ ปัญหาอยู่ที่เนื้อหา ไม่ใช่การเข้าถึง

ตัวเลขเหล่านี้เชื่อถือได้แค่ไหน?

ให้มองเป็นรูปแบบ ไม่ใช่สำมะโน กลุ่มตัวอย่างไม่ได้สุ่ม เป็นบริษัทที่หาพบจากคลังโฆษณา เว็บไซต์ประกาศงาน และรายการในแผนที่ เราทดสอบด้วย user agent จากที่อยู่เดียว ขณะที่ครอว์เลอร์จริงมาจากที่อยู่ที่ผู้พัฒนาประกาศไว้ ไฟร์วอลล์บางตัวจึงอาจปฏิบัติต่อตัวจริงต่างออกไป และการบล็อกไม่ได้เป็นความผิดพลาดเสมอไป

เครื่องมือฟรี

ขั้นตอนถัดไป

Crawler ในบทความนี้

คำถามที่พบบ่อย

เว็บไซต์ร้อยละเท่าไรที่บล็อกครอว์เลอร์ AI?

จากการตรวจเว็บไซต์ธุรกิจที่ทดสอบได้ 165 แห่ง 38% ปฏิเสธครอว์เลอร์ AI อย่างน้อยหนึ่งตัวที่เซิร์ฟเวอร์ ส่วนใหญ่เป็นบอตฝึกโมเดลและบอตสแครป และราว 10% ปฏิเสธครอว์เลอร์ค้นหา AI ด้วย

การบล็อก GPTBot ทำให้เว็บไซต์ของฉันไม่ปรากฏใน ChatGPT search หรือไม่?

ไม่ OpenAI ระบุว่าการตั้งค่า robots.txt ของแต่ละครอว์เลอร์เป็นอิสระต่อกัน GPTBot เกี่ยวกับการฝึกโมเดล ส่วน OAI-SearchBot เกี่ยวกับ ChatGPT search การบล็อกตัวหนึ่งไม่ได้บล็อกอีกตัว

เว็บไซต์บล็อกครอว์เลอร์โดยไม่ใช้ robots.txt ได้อย่างไร?

กฎของไฟร์วอลล์ CDN หรือระบบป้องกันบอตสามารถตอบครอว์เลอร์ด้วย 403, 429 หรือหน้าตรวจสอบ robots.txt ไม่แสดงเรื่องนี้ จึงต้องทดสอบโดยขอหน้าเว็บในฐานะครอว์เลอร์

การปฏิเสธครอว์เลอร์เป็นความผิดพลาดเสมอหรือไม่?

ไม่เสมอไป เจ้าของเว็บไซต์จำนวนมากต้องการกันครอว์เลอร์ฝึกโมเดลและตัวสแครปออก ความผิดพลาดคือการบล็อกครอว์เลอร์ค้นหาโดยไม่ตั้งใจ เพราะเป็นตัวที่อาจอ้างอิงหน้าของคุณ

แหล่งอ้างอิง

บทความอื่น ๆ