ทำไมเว็บไซต์ของฉันจู่ ๆ ก็บล็อก AI crawler

เผยแพร่เมื่อ

คำตอบสั้น ๆ

เว็บไซต์ที่เริ่มบล็อก AI crawler แทบทุกครั้งมีการเปลี่ยนแปลงในห้าจุดใดจุดหนึ่ง: robots.txt ที่ส่งออกไปจริง การตั้งค่า CDN เช่น นโยบาย AI crawler ของ Cloudflare ระบบป้องกันบอทหรือการจำกัดอัตรา ค่าเริ่มต้นของโฮสติ้ง หรือ robots.txt ที่ตอนนี้ตอบกลับเป็นข้อผิดพลาด ดึง robots.txt ของวันนี้และดึงหน้าหนึ่งในฐานะ crawler แต่ละตัว เทียบกับเบราว์เซอร์และกับสิ่งที่คุณเคยมี แล้วตรวจชั้นเหล่านั้นตามลำดับนี้

ไม่มีใครตั้งใจจะหายไปจากคำตอบของ AI มันเกิดเป็นผลข้างเคียงของการอัปเดตธีม การตั้งค่าความปลอดภัย การย้ายระบบ หรือค่าเริ่มต้นที่เปลี่ยนไปของผู้ให้บริการ เบราว์เซอร์ยังเห็นเว็บไซต์ตามปกติ การเปลี่ยนแปลงจึงอาจไม่มีใครสังเกต จนกว่าจะมีคนถาม ChatGPT หรือ Perplexity เรื่องผลิตภัณฑ์แล้วได้คู่แข่งมาแทน แต่ละชั้นทิ้งร่องรอยที่ตรวจได้จากภายนอกหรือในล็อก

ในหน้านี้
  1. robots.txt ที่ crawler ได้รับเปลี่ยนไปหรือเปล่า
  2. นโยบาย AI crawler ปี 2026 ของ Cloudflare เปลี่ยนสิ่งที่เว็บไซต์ของฉันอนุญาตหรือเปล่า
  3. ระบบป้องกันบอทหรือการจำกัดอัตรากำลังดักจับ crawler อยู่หรือเปล่า
  4. ผู้ให้บริการโฮสติ้งเปลี่ยนค่าเริ่มต้นหรือเปล่า
  5. robots.txt ตอบกลับเป็นข้อผิดพลาดหรือเปล่า
  6. จะรู้ได้อย่างไรว่าเริ่มเกิดขึ้นเมื่อไร
  7. ครั้งหน้าจะจับได้เร็วขึ้นอย่างไร

robots.txt ที่ crawler ได้รับเปลี่ยนไปหรือเปล่า

ดึง https://yourdomain.com/robots.txt แล้วเทียบกับไฟล์ใน repository หรือแบ็กอัป ดูไฟล์ที่ส่งออกไปจริง ไม่ใช่ไฟล์บนดิสก์ เพราะหลายชั้นเปลี่ยนไฟล์ระหว่างทางได้:

รายงาน robots.txt ใน Google Search Console แสดงเวอร์ชันที่ Google ดึงในช่วง 30 วันที่ผ่านมา โดยมีรายการใหม่ทุกครั้งที่ไฟล์หรือผลการดึงเปลี่ยน รายงานนี้ครอบคลุมเฉพาะสิ่งที่ Google เห็น แต่ถ้าเซิร์ฟเวอร์ของคุณไม่ได้ส่ง robots.txt ต่างกันตาม user agent AI crawler ก็ได้ไฟล์เดียวกัน

นโยบาย AI crawler ปี 2026 ของ Cloudflare เปลี่ยนสิ่งที่เว็บไซต์ของฉันอนุญาตหรือเปล่า

Cloudflare เปลี่ยนตัวควบคุม AI crawler มาหลายครั้ง และบางการเปลี่ยนแปลงทำให้ zone ทำงานต่างไปโดยไม่มีใครแก้ไข วันที่ 1 กรกฎาคม 2025 เริ่มถามโดเมนใหม่ตอนสมัครว่าจะอนุญาต AI crawler หรือไม่ โดยมีการบล็อกเป็นสถานะเริ่มต้น วันที่ 1 กรกฎาคม 2026 แทนสวิตช์ Block AI bots เดียวด้วยนโยบาย Search, Agent และ Training แยกกัน สำหรับทุกแพ็กเกจรวมถึง Free

รายละเอียดที่ทำให้เว็บไซต์ส่วนใหญ่ติดกับคือ crawler แบบหลายวัตถุประสงค์ เอกสารของ Cloudflare ระบุว่าการกระทำของ Training ใช้กับ crawler ที่ใช้ทั้งค้นหาและเทรนด้วย ประกาศเดือนกรกฎาคม 2026 ระบุว่าตั้งแต่ 15 กันยายน 2026 crawler แบบหลายวัตถุประสงค์อย่าง Googlebot, Applebot และ BingBot จะถูกบล็อกสำหรับลูกค้าที่เลือกบล็อก Training ไม่ว่าจะผ่านตัวเลือกใหม่หรือการตั้งค่า Block AI bots แบบเดิม การ opt-out จากการเทรนที่ตั้งไว้เมื่อปีก่อนจึงอาจไปถึง crawler สำหรับการค้นหาได้แล้ว

ค่าเริ่มต้นของโดเมนใหม่ถูกอธิบายต่างกันไปตามเวลา ประกาศเดียวกันระบุว่าตั้งแต่ 15 กันยายน 2026 โดเมนใหม่จะถูกบล็อก Training และ Agent บนหน้าที่แสดงโฆษณา ขณะที่เอกสารนโยบายที่อัปเดตเมื่อ 2 พฤศจิกายน 2026 ระบุว่าโดเมนใหม่เริ่มต้นด้วย Allow ทั้งสามตัว เปิด Security แล้ว Settings กรองด้วย Bot traffic และอ่าน AI Crawler and Agent access policies ของ zone ของคุณเอง คู่มือของเราเรื่อง Cloudflare AI Crawl Control อธิบายการตั้งค่าแต่ละข้อ

ระบบป้องกันบอทหรือการจำกัดอัตรากำลังดักจับ crawler อยู่หรือเปล่า

ระบบป้องกันบอทประเมินทุกคำขอ และ crawler ดึงหลายหน้าอย่างรวดเร็วจากศูนย์ข้อมูล ซึ่งก็คือสิ่งที่บอททำ crawler ที่ผ่านได้เมื่อเดือนก่อนอาจเริ่มได้หน้าตรวจสอบหลังผู้ให้บริการเปลี่ยนช่วง IP หรืออัตราการรวบรวมข้อมูล หรือหลังกฎการป้องกันถูกอัปเดต Bot Fight Mode ของ Cloudflare เป็นสาเหตุที่พบบ่อย และ Cloudflare ระบุว่าข้ามหรือยกเว้นด้วย WAF custom rules หรือ Page Rules ไม่ได้ กฎอนุญาตที่เพิ่มภายหลังจึงไม่ช่วยตราบที่ยังเปิดอยู่ การจำกัดอัตราใหม่ที่ตอบคำขอเป็นชุดด้วย 429 มีผลเหมือนกันกับ crawler ที่ทำงานหนัก

ทดสอบจากภายนอก: ขอหน้าหนึ่งในฐานะเบราว์เซอร์และในฐานะ AI search crawler สองตัว แล้วขอ robots.txt ในฐานะ crawler

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

ถ้าได้ 403, 429 หรือ 503 เฉพาะ crawler ได้หน้าที่มีชื่อ Just a moment... หรือได้เนื้อหาที่เล็กกว่าของเบราว์เซอร์มาก แปลว่า crawler ถูกปฏิบัติต่างออกไป การทดสอบมาจาก IP ของคุณ ไม่ใช่ของผู้ให้บริการ กฎที่อิงสถานะบอทที่ยืนยันแล้วจึงยังอาจปฏิบัติต่อ crawler จริงต่างออกไป ล็อกเหตุการณ์ของไฟร์วอลล์แสดงว่ากฎใดเป็นผู้ตอบ

ผู้ให้บริการโฮสติ้งเปลี่ยนค่าเริ่มต้นหรือเปล่า

โฮสต์บางรายกรองทราฟฟิก AI ที่เซิร์ฟเวอร์ ก่อนกฎของคุณจะทำงาน เช่น SiteGround เขียนไว้เมื่อเดือนสิงหาคม 2025 ว่าบล็อก AI crawler ที่ออกแบบมาเพื่อเก็บข้อมูลสำหรับการเทรนโดยค่าเริ่มต้น และอนุญาต crawler ที่เข้ามาเมื่อมีคนถามผู้ช่วย AI เกี่ยวกับหน้าหนึ่ง กฎแบบนี้ไม่ปรากฏใน robots.txt ของคุณ และอาจเปลี่ยนเมื่อโฮสต์อัปเดตรายการบอท

ถ้าการบล็อกปรากฏบนหลายเว็บไซต์ที่ใช้โฮสต์เดียวกันพร้อมกัน หรือในการตอบกลับที่ไม่เคยไปถึงล็อกของแอปพลิเคชัน ให้ถามโฮสต์ว่ากฎบอทใดใช้กับบัญชีของคุณ และยกเว้น crawler ที่คุณต้องการเก็บไว้ได้หรือไม่

robots.txt ตอบกลับเป็นข้อผิดพลาดหรือเปล่า

robots.txt ที่ล้มเหลวบล็อกได้มากกว่าบรรทัด Disallow ใด ๆ ตาม RFC 9309 การตอบกลับ 4xx หมายความว่า crawler ดึงได้ทุกอย่าง แต่ข้อผิดพลาดของเซิร์ฟเวอร์ (5xx) หรือการไม่ตอบเลยหมายความว่าต้องถือว่าห้ามทั้งเว็บไซต์ Google หยุดรวบรวมข้อมูลใน 12 ชั่วโมงแรกของข้อผิดพลาดแบบนี้ แล้วใช้สำเนาที่ดีล่าสุดได้นานถึง 30 วัน

นี่คือเหตุที่โหลดพุ่งสูง กฎไฟร์วอลล์ที่ตรวจสอบ /robots.txt หรือการจำกัดอัตราที่รวมไฟล์นี้ไว้ด้วย กัน crawler ที่ทำตามกฎออกไปได้โดยไม่มีกฎใดเปลี่ยนเลย คำสั่งสุดท้ายในการทดสอบข้างต้นควรได้ 200 และ text/plain ถ้าได้ 5xx หมดเวลา หรือหน้าตรวจสอบ นั่นคือสิ่งแรกที่ต้องแก้

จะรู้ได้อย่างไรว่าเริ่มเกิดขึ้นเมื่อไร

วันที่ทำให้ปริศนากลายเป็น diff ในล็อกการเข้าถึง กรองคำขอจาก user agent ของ AI crawler แล้วหาวันที่รหัสสถานะเปลี่ยนจาก 200 เป็น 403, 429 หรือ 503 หรือวันที่ crawler เลิกขอหน้าหลังอ่าน robots.txt คู่มือของเราเรื่องการตรวจล็อกเซิร์ฟเวอร์หา AI crawler มีคำสั่งให้ คำขอที่ CDN บล็อกไว้ไม่เคยไปถึงต้นทาง จึงต้องตรวจ CDN ด้วย บน Cloudflare นั้น AI Crawl Control แสดงการกระจายรหัสสถานะตามเวลาที่กรองตาม crawler ได้

จากนั้นเทียบวันที่นั้นกับการ deploy การอัปเดตปลั๊กอินและธีม การเปลี่ยนการตั้งค่า CDN และประกาศของผู้ให้บริการ ก่อนลงมือ ให้ยืนยันว่า IP ต้นทางเป็นของผู้ให้บริการจริง เพื่อให้แน่ใจว่าคุณกำลังดู crawler จริง ไม่ใช่ตัวปลอมที่ใช้ชื่อของมัน

ครั้งหน้าจะจับได้เร็วขึ้นอย่างไร

ตรวจการเข้าถึงหลังทุกการ deploy การเปลี่ยน CDN และการอัปเดตปลั๊กอิน ไม่ใช่เฉพาะเมื่อทราฟฟิกลดลง การตรวจฟรีของ AISeeWhy ดึงหน้าในฐานะ crawler ของ AI และของการค้นหา 16 ตัวเทียบกับเบราว์เซอร์จริง ใช้ robots.txt ของคุณแยกตาม crawler และจดจำหน้าตรวจสอบของไฟร์วอลล์ ตัวตรวจสอบ robots.txt ฟรีแสดงแยกตาม crawler ว่าดึงหน้าได้หรือไม่ตามไฟล์ที่ใช้งานอยู่วันนี้

เครื่องมือฟรี

ขั้นตอนถัดไป

Crawler ในบทความนี้

คำถามที่พบบ่อย

ทำไม ChatGPT เลิกแสดงเว็บไซต์ของฉัน

บ่อยครั้งเป็นเพราะ OAI-SearchBot ซึ่งเป็น crawler เบื้องหลังการค้นหาของ ChatGPT ถูกบล็อกจากการเปลี่ยน robots.txt นโยบาย CDN หรือระบบป้องกันบอท OpenAI ระบุว่าเว็บไซต์ที่บล็อกมันจะไม่ปรากฏในคำตอบการค้นหาของ ChatGPT ตรวจแต่ละชั้นสำหรับ crawler ตัวนี้ และรอประมาณ 24 ชั่วโมงหลังแก้ robots.txt ซึ่ง OpenAI ระบุว่าเป็นเวลาที่ระบบใช้ปรับตัว

Cloudflare เริ่มบล็อก Googlebot บนเว็บไซต์ของฉันหรือเปล่า

เป็นไปได้ Cloudflare ระบุว่าตั้งแต่ 15 กันยายน 2026 ลูกค้าที่บล็อก Training จะบล็อก crawler แบบหลายวัตถุประสงค์อย่าง Googlebot, Applebot และ BingBot ด้วย เอกสารระบุว่าตัวเลือก Training Disallow บล็อก crawler สำหรับการเทรนที่ edge แต่ไม่รวม crawler แบบใช้ผสม จึงควรตรวจว่า zone ของคุณใช้ตัวเลือกใด

เครื่องมือสร้างเว็บไซต์หรือปลั๊กอินเปลี่ยน robots.txt ให้ฉันได้ไหม

ได้ เครื่องมือสร้างเว็บไซต์และปลั๊กอิน SEO หรือความปลอดภัยเขียนกฎสำหรับ AI crawler ลงใน robots.txt ได้ และบางตัวขยายรายการบอทเมื่อเวลาผ่านไป หลังทุกการอัปเดต ให้ดึงไฟล์ที่ใช้งานจริงและอ่านกลุ่มที่ใช้กับ crawler สำหรับการค้นหาที่คุณสนใจ

ทำไม robots.txt ที่ใช้งานจริงต่างจากไฟล์บนเซิร์ฟเวอร์

มีบางอย่างหน้าเซิร์ฟเวอร์ของคุณกำลังเปลี่ยนมัน เช่น managed robots.txt ของ Cloudflare เติมกฎและ content signals ของตนไว้หน้าไฟล์ของคุณในการตอบกลับเดียวกัน CMS ที่สร้าง robots.txt ตามคำขอ หรือการตั้งค่าระดับโฮสต์ ก็แทนที่หรือขยายไฟล์ได้เช่นกัน

หลังแก้แล้ว AI crawler จะกลับมาเมื่อไร

RFC 9309 ระบุว่า crawler ไม่ควรใช้ robots.txt ที่แคชไว้นานเกิน 24 ชั่วโมง OpenAI ระบุประมาณ 24 ชั่วโมง และ Perplexity ไม่เกิน 24 ชั่วโมง การเปลี่ยนไฟร์วอลล์มีผลทันทีที่ผู้ให้บริการ deploy แต่ crawler จะกลับมาตามรอบของตัวเอง

แหล่งอ้างอิง

บทความอื่น ๆ