วิธีอ่านรายงาน AI Crawl Control ของ Cloudflare และดูว่า AI crawler ตัวใดเข้ามาได้

เผยแพร่เมื่อ

คำตอบสั้น ๆ

เปิด AI Crawl Control ในแดชบอร์ด Cloudflare: รายการ crawler แสดง AI crawler ทุกตัวที่ Cloudflare พบบนโดเมนของคุณ จำนวนคำขอ การละเมิด robots.txt และ action ว่าเป็น Allow หรือ Block หากต้องการคงการค้นหาด้วย AI ไว้แต่ปฏิเสธการเทรน ให้อนุญาต crawler สำหรับการค้นหาและเอเจนต์ แล้วบล็อกหรือ disallow crawler สำหรับการเทรนในหน้านั้น หรือใน AI Crawler and Agent access policies จากนั้นยืนยันจากภายนอกด้วย curl เพราะฟีเจอร์อื่นของ Cloudflare ยังบล็อก crawler ที่คุณอนุญาตได้

ตอนนี้ Cloudflare มีสองจุดที่ตัดสินว่า AI crawler จะได้รับอะไร คือ AI Crawl Control ซึ่งเป็นรายงานและแผงควบคุมราย crawler ที่เคยชื่อ AI Audit และ AI Crawler and Agent access policies ระดับโซนในการตั้งค่า Security ทั้งสองใช้ได้ในแพ็กเกจ Free ทั้งสองเปลี่ยนไปในปี 2026 และไม่มีตัวใดบอกคุณถึงฟีเจอร์อื่นทั้งหมดที่ยังตอบ crawler ด้วย 403 ได้ คู่มือนี้อธิบายรายงานทีละคอลัมน์ แสดงว่าตั้งค่าอนุญาตและบล็อกได้ที่ไหน และปิดท้ายด้วยการทดสอบที่คุณรันจากเครื่องของตัวเองได้

ในหน้านี้
  1. รายงาน AI crawler ใน Cloudflare อยู่ที่ไหน
  2. แต่ละคอลัมน์และตัวชี้วัดในรายงาน AI Crawl Control หมายถึงอะไร
  3. จะอนุญาต crawler การค้นหาด้วย AI และบล็อก crawler สำหรับการเทรนใน Cloudflare ได้อย่างไร
  4. ค่าเริ่มต้นเรื่อง AI crawler ของ Cloudflare เปลี่ยนไปอย่างไร
  5. ทำไม Cloudflare ยังบล็อก AI crawler อยู่ทั้งที่ฉันอนุญาตแล้ว
  6. จะยืนยันจากภายนอกได้อย่างไรว่า Cloudflare ให้ AI crawler ตัวใดเข้ามา
  7. AISeeWhy ตรวจสิ่งที่ Cloudflare ส่งให้ AI crawler อย่างไร

รายงาน AI crawler ใน Cloudflare อยู่ที่ไหน

ในแดชบอร์ด เลือกบัญชีและโดเมนของคุณ แล้วเปิด AI Crawl Control Cloudflare ระบุว่าใช้งานได้โดยไม่ต้องตั้งค่าและมีในทุกแพ็กเกจ ตราบใดที่ทราฟฟิกของโดเมนผ่านพร็อกซีของ Cloudflare รายงานมีสี่ส่วน:

ข้อจำกัดของแพ็กเกจสองข้อสำคัญเมื่ออ่านตัวเลข ในแพ็กเกจ Free นั้น AI Crawl Control จดจำ crawler จากสตริง user agent เท่านั้น จึงเห็นเฉพาะ crawler ที่ประกาศตัวเอง และแท็บ Metrics ครอบคลุม 24 ชั่วโมงที่ผ่านมา แพ็กเกจแบบชำระเงินเพิ่มการตรวจจับผ่าน detection ID ของ Bot Management และ Enterprise ที่มี Bot Management กำหนดช่วงเวลาเองได้

แต่ละคอลัมน์และตัวชี้วัดในรายงาน AI Crawl Control หมายถึงอะไร

Cloudflare อธิบายฟิลด์ไว้ดังนี้ คำนิยามสำคัญ เพราะตัวเลขหลายตัวนับมากกว่าที่คุณอาจคาด

อ่านรายงานโดยเริ่มจาก action ที่คุณเลือก crawler ที่ตั้งเป็น Allow ควรมีคำขอที่อนุญาตเป็นส่วนใหญ่และรหัส 2xx หากมีคำขอที่ไม่สำเร็จจำนวนมาก ให้เปิดการกระจายรหัสสถานะโดยกรองเฉพาะ crawler นั้น แล้วตรวจ Security Analytics เพื่อหากฎที่ตอบกลับ

จะอนุญาต crawler การค้นหาด้วย AI และบล็อก crawler สำหรับการเทรนใน Cloudflare ได้อย่างไร

ทำได้ทั้งแบบราย crawler และตามพฤติกรรม แบบราย crawler ให้เปิด AI Crawl Control แล้วตั้ง Action ของแต่ละแถว Cloudflare ระบุว่าการบล็อกตรงนั้นจะสร้างหรืออัปเดต WAF custom rule ในโซนของคุณ ซึ่งคุณขยายใน WAF เพื่อยกเว้นบางพาธได้ ในแพ็กเกจแบบชำระเงิน คุณเลือกได้ว่า crawler ที่ถูกบล็อกจะได้ 403 หรือ 402 และกำหนดเนื้อหาตอบกลับเป็นข้อความธรรมดาได้

แบบตามพฤติกรรม ให้ไปที่ Security แล้ว Settings กรองด้วย Bot traffic และเปิด AI Crawler and Agent access policies Cloudflare แบ่งทราฟฟิก AI เป็นสามพฤติกรรม และแต่ละนโยบายใช้กับบอทที่ยืนยันแล้วซึ่งมีพฤติกรรมนั้น และกับบอทที่ยังไม่ยืนยันซึ่งตรงกัน:

แต่ละพฤติกรรมตั้งเป็น Block, Block on pages with ads หรือ Allow (do not block) ได้ Training ยังมี Disallow ซึ่งเพียงขอผ่าน robots.txt เมื่อเปิด Bot Preference Sync นั้น Cloudflare จะเพิ่มกฎที่จัดการให้ไว้ต้นไฟล์ robots.txt ซึ่งห้าม Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot และ meta-externalagent เพิ่มบรรทัด Content Signals และบล็อก crawler สำหรับการเทรน AI ที่ edge ด้วย ยกเว้น crawler ที่ใช้ทั้งการค้นหาและการเทรน

สำหรับเว็บไซต์ส่วนใหญ่ที่ต้องการให้ AI อ้างอิง ชุดการตั้งค่าที่ปลอดภัยคือ Search และ Agent เป็น Allow และ Training เป็น Disallow จากนั้นใช้ action Block ราย crawler ใน AI Crawl Control สำหรับ crawler ที่ใช้เทรนอย่างเดียวซึ่งคุณต้องการหยุดที่ edge

ค่าเริ่มต้นเรื่อง AI crawler ของ Cloudflare เปลี่ยนไปอย่างไร

วันที่ 1 กรกฎาคม 2025 Cloudflare ประกาศเปลี่ยนค่าเริ่มต้นเป็นบล็อก AI crawler เว้นแต่จะจ่ายเงินให้ผู้สร้างเนื้อหา วันที่ 1 กรกฎาคม 2026 Cloudflare แทนที่สวิตช์ Block AI bots สวิตช์เดียวด้วยนโยบาย Search, Agent และ Training แยกกันตามที่อธิบายข้างต้น สำหรับทุกแพ็กเกจรวมถึง Free ประกาศเดียวกันระบุว่าโดเมนใหม่ที่เริ่มใช้งานตั้งแต่ 15 กันยายน 2026 จะถูกบล็อก Training และ Agent บนหน้าที่แสดงโฆษณา โดยอนุญาต Search

เอกสารนโยบายปัจจุบันของ Cloudflare ซึ่งอัปเดตล่าสุดเมื่อ 2 พฤศจิกายน 2026 ระบุว่าโดเมนใหม่มีค่าเริ่มต้นเป็น Allow (do not block) สำหรับทั้งสามพฤติกรรม เนื่องจากหน้าของ Cloudflare เองเคยอธิบายค่าเริ่มต้นต่างกันในแต่ละช่วง อย่าเชื่อหน้าใดหน้าหนึ่งสำหรับโซนของคุณ ให้เปิดหน้านโยบายแล้วอ่านว่าตั้งค่าอะไรไว้

ทำไม Cloudflare ยังบล็อก AI crawler อยู่ทั้งที่ฉันอนุญาตแล้ว

action Allow ใน AI Crawl Control เพียงหยุดไม่ให้ AI Crawl Control บล็อก ฟีเจอร์อื่นยังทำงานกับคำขอนั้นต่อไป สาเหตุที่พบบ่อย:

จะยืนยันจากภายนอกได้อย่างไรว่า Cloudflare ให้ AI crawler ตัวใดเข้ามา

ขอหน้าเดียวกันด้วย user agent ของเบราว์เซอร์และด้วย user agent ของ crawler แต่ละตัว แล้วเทียบสถานะและขนาด สตริงของ OpenAI, Perplexity และ Google ด้านล่างคือสตริงที่บริษัทเหล่านั้นเผยแพร่

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

บรรทัดของ crawler ที่ได้ 403, 429 หรือ 503 หรือมีขนาดเล็กกว่าบรรทัดของเบราว์เซอร์มาก หมายความว่ามีบางอย่างหน้าเซิร์ฟเวอร์ต้นทางตอบกลับต่างออกไป ในแพ็กเกจ Free นั้น AI Crawl Control ตรวจจับ crawler จาก user agent การทดสอบนี้จึงเป็นการตรวจการบล็อกของมันที่สมเหตุสมผล กฎที่อิงสถานะ verified bot หรือคะแนนบอทอาจปฏิบัติต่อคำขอของคุณต่างจาก crawler จริง เพราะคำขอมาจากที่อยู่ IP ของคุณ ไม่ใช่จากช่วงที่ผู้ให้บริการเผยแพร่ หลังทดสอบ ให้หาคำขอของคุณเองใน Security Analytics เพื่อดูว่ากฎใดตรงกัน

AISeeWhy ตรวจสิ่งที่ Cloudflare ส่งให้ AI crawler อย่างไร

การตรวจฟรีของ AISeeWhy ขอหน้าของคุณในฐานะ crawler ของ AI และของการค้นหา 16 ตัวเทียบกับเบราว์เซอร์จริง ใช้ robots.txt ของคุณแยกตาม crawler และจดจำหน้าตรวจสอบของไฟร์วอลล์ได้ คุณจึงเห็นว่าผลในแดชบอร์ดของ Cloudflare ตรงกับสิ่งที่ crawler ได้รับจริงหรือไม่

วิธีแก้ปัญหานี้

เครื่องมือฟรี

ขั้นตอนถัดไป

Crawler ในบทความนี้

คำถามที่พบบ่อย

Cloudflare AI Crawl Control ฟรีไหม

ฟรี Cloudflare ระบุว่า AI Crawl Control มีในทุกแพ็กเกจ แพ็กเกจ Free ตรวจจับ crawler จาก user agent เท่านั้น และแสดง 24 ชั่วโมงที่ผ่านมาใน Metrics ข้อมูล referral และการตอบกลับการบล็อกแบบกำหนดเองต้องใช้แพ็กเกจแบบชำระเงิน

Cloudflare AI Audit หายไปไหน

เปลี่ยนชื่อแล้ว เอกสารของ Cloudflare อธิบายว่า AI Crawl Control คือ AI Audit เดิม โดยมีจุดประสงค์เดิม คือดูว่า AI crawler ตัวใดเข้ามา และตั้ง action ให้แต่ละตัว

การบล็อก crawler ใน AI Crawl Control เปลี่ยน robots.txt ของฉันไหม

ไม่ action Block สร้างหรืออัปเดต WAF custom rule ส่วน robots.txt จะเปลี่ยนก็ต่อเมื่อคุณใช้ตัวเลือก Disallow สำหรับ Training ร่วมกับ Bot Preference Sync ซึ่งเพิ่มกฎที่ Cloudflare จัดการไว้ต้นไฟล์

อะไรนับเป็นการละเมิด robots.txt ใน Cloudflare

คำขอจาก AI crawler ไปยังพาธที่ robots.txt ของคุณห้าม Cloudflare เทียบคำขอในอดีตกับกฎปัจจุบัน กฎใหม่จึงอาจทำเครื่องหมายคำขอเก่าที่ได้รับอนุญาตในตอนนั้น

pay per crawl คืออะไร

action Charge ที่ขอให้ AI crawler จ่ายเงินต่อคำขอ หากไม่จ่ายจะตอบด้วย HTTP 402 พร้อมราคา Cloudflare อธิบายว่าเป็นเบต้าแบบปิด และการบล็อกของ WAF หรือ Bot Management มีผลก่อน

แหล่งอ้างอิง

บทความอื่น ๆ