วิธีอ่านรายงาน AI Crawl Control ของ Cloudflare และดูว่า AI crawler ตัวใดเข้ามาได้
เปิด AI Crawl Control ในแดชบอร์ด Cloudflare: รายการ crawler แสดง AI crawler ทุกตัวที่ Cloudflare พบบนโดเมนของคุณ จำนวนคำขอ การละเมิด robots.txt และ action ว่าเป็น Allow หรือ Block หากต้องการคงการค้นหาด้วย AI ไว้แต่ปฏิเสธการเทรน ให้อนุญาต crawler สำหรับการค้นหาและเอเจนต์ แล้วบล็อกหรือ disallow crawler สำหรับการเทรนในหน้านั้น หรือใน AI Crawler and Agent access policies จากนั้นยืนยันจากภายนอกด้วย curl เพราะฟีเจอร์อื่นของ Cloudflare ยังบล็อก crawler ที่คุณอนุญาตได้
ตอนนี้ Cloudflare มีสองจุดที่ตัดสินว่า AI crawler จะได้รับอะไร คือ AI Crawl Control ซึ่งเป็นรายงานและแผงควบคุมราย crawler ที่เคยชื่อ AI Audit และ AI Crawler and Agent access policies ระดับโซนในการตั้งค่า Security ทั้งสองใช้ได้ในแพ็กเกจ Free ทั้งสองเปลี่ยนไปในปี 2026 และไม่มีตัวใดบอกคุณถึงฟีเจอร์อื่นทั้งหมดที่ยังตอบ crawler ด้วย 403 ได้ คู่มือนี้อธิบายรายงานทีละคอลัมน์ แสดงว่าตั้งค่าอนุญาตและบล็อกได้ที่ไหน และปิดท้ายด้วยการทดสอบที่คุณรันจากเครื่องของตัวเองได้
ในหน้านี้
- รายงาน AI crawler ใน Cloudflare อยู่ที่ไหน
- แต่ละคอลัมน์และตัวชี้วัดในรายงาน AI Crawl Control หมายถึงอะไร
- จะอนุญาต crawler การค้นหาด้วย AI และบล็อก crawler สำหรับการเทรนใน Cloudflare ได้อย่างไร
- ค่าเริ่มต้นเรื่อง AI crawler ของ Cloudflare เปลี่ยนไปอย่างไร
- ทำไม Cloudflare ยังบล็อก AI crawler อยู่ทั้งที่ฉันอนุญาตแล้ว
- จะยืนยันจากภายนอกได้อย่างไรว่า Cloudflare ให้ AI crawler ตัวใดเข้ามา
- AISeeWhy ตรวจสิ่งที่ Cloudflare ส่งให้ AI crawler อย่างไร
รายงาน AI crawler ใน Cloudflare อยู่ที่ไหน
ในแดชบอร์ด เลือกบัญชีและโดเมนของคุณ แล้วเปิด AI Crawl Control Cloudflare ระบุว่าใช้งานได้โดยไม่ต้องตั้งค่าและมีในทุกแพ็กเกจ ตราบใดที่ทราฟฟิกของโดเมนผ่านพร็อกซีของ Cloudflare รายงานมีสี่ส่วน:
- Overview: สรุปภาพรวมพร้อมจำนวนคำขอทั้งหมด การเปลี่ยนแปลงของปริมาณ รหัสสถานะที่พบบ่อยที่สุด พาธยอดนิยม และ crawler ที่มีปริมาณสูง รวมถึงสถานะว่าเปิด managed robots.txt ของ Cloudflare หรือไม่ และ crawler ที่จัดกลุ่มตามผู้ให้บริการ เช่น OpenAI, Microsoft, Google, ByteDance, Anthropic และ Meta
- รายการ crawler: หนึ่งแถวต่อ AI crawler หนึ่งตัว มีคอลัมน์ Action ให้เลือก Allow หรือ Block เอกสารของ Cloudflare เรียกแท็บนี้ว่า Crawlers ในหน้าหนึ่ง และ Security ในอีกหน้า จึงให้มองหาตารางที่มีคอลัมน์ Action
- Metrics: คำขอตามช่วงเวลา การกระจายรหัสสถานะ รูปแบบเนื้อหา พาธยอดนิยม และ referral ในแพ็กเกจแบบชำระเงิน ตัวกรองครอบคลุมช่วงวันที่ crawler ผู้ให้บริการ ชื่อโฮสต์ และพาธ และส่งออกเป็น CSV ได้
- Directives: สถานะของไฟล์ robots.txt และรายการการละเมิด robots.txt
ข้อจำกัดของแพ็กเกจสองข้อสำคัญเมื่ออ่านตัวเลข ในแพ็กเกจ Free นั้น AI Crawl Control จดจำ crawler จากสตริง user agent เท่านั้น จึงเห็นเฉพาะ crawler ที่ประกาศตัวเอง และแท็บ Metrics ครอบคลุม 24 ชั่วโมงที่ผ่านมา แพ็กเกจแบบชำระเงินเพิ่มการตรวจจับผ่าน detection ID ของ Bot Management และ Enterprise ที่มี Bot Management กำหนดช่วงเวลาเองได้
แต่ละคอลัมน์และตัวชี้วัดในรายงาน AI Crawl Control หมายถึงอะไร
Cloudflare อธิบายฟิลด์ไว้ดังนี้ คำนิยามสำคัญ เพราะตัวเลขหลายตัวนับมากกว่าที่คุณอาจคาด
- Crawler และ Category: ชื่อ crawler ผู้ให้บริการ และหมวดหมู่ เช่น AI crawler, AI assistant หรือ archiver
- Requests: คำขอที่อนุญาตรวมกับคำขอที่ไม่สำเร็จ พร้อมกราฟแนวโน้ม คำขอที่ไม่สำเร็จอาจมาจากกฎหรือข้อผิดพลาดในการตอบกลับใดก็ได้ ไม่ใช่แค่การบล็อกของ AI Crawl Control ตัวเลขสูงสำหรับ crawler ที่คุณอนุญาตจึงชี้ไปที่กฎอื่นหรือข้อผิดพลาดบนเซิร์ฟเวอร์ต้นทาง
- Allowed requests: คำขอที่ได้รับสถานะระหว่าง 200 ถึง 299 ปริมาณการรับส่งข้อมูลวัดจากจำนวนไบต์ที่ Cloudflare ส่งสำหรับคำขอที่อนุญาต
- Robots.txt violations: จำนวนครั้งที่ crawler ขอพาธที่ robots.txt ของคุณห้าม Cloudflare เทียบคำขอในอดีตกับกฎปัจจุบัน กฎที่คุณเพิ่มวันนี้จึงอาจทำเครื่องหมายคำขอที่ได้รับอนุญาตในตอนที่ส่งมา
- Action: Allow, Block หรือ Charge สำหรับบัญชีที่อยู่ในเบต้าของ pay per crawl
- Status code distribution: 2xx, 3xx, 4xx และ 5xx กลุ่ม 4xx รวม 403 จากการบล็อกและ 402 จาก pay per crawl
- Referrals และ top referrers เฉพาะแพ็กเกจแบบชำระเงิน: การเข้าชมที่มาจากบริการ AI เช่น จาก chatgpt.com และหน้าที่ผู้เข้าชมเข้ามาถึง
อ่านรายงานโดยเริ่มจาก action ที่คุณเลือก crawler ที่ตั้งเป็น Allow ควรมีคำขอที่อนุญาตเป็นส่วนใหญ่และรหัส 2xx หากมีคำขอที่ไม่สำเร็จจำนวนมาก ให้เปิดการกระจายรหัสสถานะโดยกรองเฉพาะ crawler นั้น แล้วตรวจ Security Analytics เพื่อหากฎที่ตอบกลับ
จะอนุญาต crawler การค้นหาด้วย AI และบล็อก crawler สำหรับการเทรนใน Cloudflare ได้อย่างไร
ทำได้ทั้งแบบราย crawler และตามพฤติกรรม แบบราย crawler ให้เปิด AI Crawl Control แล้วตั้ง Action ของแต่ละแถว Cloudflare ระบุว่าการบล็อกตรงนั้นจะสร้างหรืออัปเดต WAF custom rule ในโซนของคุณ ซึ่งคุณขยายใน WAF เพื่อยกเว้นบางพาธได้ ในแพ็กเกจแบบชำระเงิน คุณเลือกได้ว่า crawler ที่ถูกบล็อกจะได้ 403 หรือ 402 และกำหนดเนื้อหาตอบกลับเป็นข้อความธรรมดาได้
แบบตามพฤติกรรม ให้ไปที่ Security แล้ว Settings กรองด้วย Bot traffic และเปิด AI Crawler and Agent access policies Cloudflare แบ่งทราฟฟิก AI เป็นสามพฤติกรรม และแต่ละนโยบายใช้กับบอทที่ยืนยันแล้วซึ่งมีพฤติกรรมนั้น และกับบอทที่ยังไม่ยืนยันซึ่งตรงกัน:
- Search: รวบรวมหรือจัดทำดัชนีเนื้อหาเพื่อใช้ตอบคำถามในภายหลัง
- Agent: ทำงานแบบเรียลไทม์แทนบุคคล เช่น การดึงหน้าจากแชตและเอเจนต์เบราว์เซอร์
- Training: รวบรวมเนื้อหาเพื่อฝึกหรือปรับแต่งโมเดล รวมถึง crawler ที่ใช้ทั้งการเทรนและการค้นหา
แต่ละพฤติกรรมตั้งเป็น Block, Block on pages with ads หรือ Allow (do not block) ได้ Training ยังมี Disallow ซึ่งเพียงขอผ่าน robots.txt เมื่อเปิด Bot Preference Sync นั้น Cloudflare จะเพิ่มกฎที่จัดการให้ไว้ต้นไฟล์ robots.txt ซึ่งห้าม Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot และ meta-externalagent เพิ่มบรรทัด Content Signals และบล็อก crawler สำหรับการเทรน AI ที่ edge ด้วย ยกเว้น crawler ที่ใช้ทั้งการค้นหาและการเทรน
สำหรับเว็บไซต์ส่วนใหญ่ที่ต้องการให้ AI อ้างอิง ชุดการตั้งค่าที่ปลอดภัยคือ Search และ Agent เป็น Allow และ Training เป็น Disallow จากนั้นใช้ action Block ราย crawler ใน AI Crawl Control สำหรับ crawler ที่ใช้เทรนอย่างเดียวซึ่งคุณต้องการหยุดที่ edge
ค่าเริ่มต้นเรื่อง AI crawler ของ Cloudflare เปลี่ยนไปอย่างไร
วันที่ 1 กรกฎาคม 2025 Cloudflare ประกาศเปลี่ยนค่าเริ่มต้นเป็นบล็อก AI crawler เว้นแต่จะจ่ายเงินให้ผู้สร้างเนื้อหา วันที่ 1 กรกฎาคม 2026 Cloudflare แทนที่สวิตช์ Block AI bots สวิตช์เดียวด้วยนโยบาย Search, Agent และ Training แยกกันตามที่อธิบายข้างต้น สำหรับทุกแพ็กเกจรวมถึง Free ประกาศเดียวกันระบุว่าโดเมนใหม่ที่เริ่มใช้งานตั้งแต่ 15 กันยายน 2026 จะถูกบล็อก Training และ Agent บนหน้าที่แสดงโฆษณา โดยอนุญาต Search
เอกสารนโยบายปัจจุบันของ Cloudflare ซึ่งอัปเดตล่าสุดเมื่อ 2 พฤศจิกายน 2026 ระบุว่าโดเมนใหม่มีค่าเริ่มต้นเป็น Allow (do not block) สำหรับทั้งสามพฤติกรรม เนื่องจากหน้าของ Cloudflare เองเคยอธิบายค่าเริ่มต้นต่างกันในแต่ละช่วง อย่าเชื่อหน้าใดหน้าหนึ่งสำหรับโซนของคุณ ให้เปิดหน้านโยบายแล้วอ่านว่าตั้งค่าอะไรไว้
ทำไม Cloudflare ยังบล็อก AI crawler อยู่ทั้งที่ฉันอนุญาตแล้ว
action Allow ใน AI Crawl Control เพียงหยุดไม่ให้ AI Crawl Control บล็อก ฟีเจอร์อื่นยังทำงานกับคำขอนั้นต่อไป สาเหตุที่พบบ่อย:
- การบล็อก Training ยังบล็อก crawler การค้นหาที่ทำทั้งสองอย่างด้วย เอกสารของ Cloudflare ระบุว่า action ของ Training ใช้กับ crawler ที่มีหลายวัตถุประสงค์ และประกาศเดือนกรกฎาคม 2026 ระบุชื่อ Googlebot, Applebot และ bingbot ว่าเป็น crawler ที่ลูกค้าซึ่งบล็อก Training จะบล็อกไปด้วยตั้งแต่ 15 กันยายน 2026 Disallow เป็นตัวเลือกที่แคบกว่า เพราะการบล็อกที่ edge ของมันข้าม crawler ที่มีหลายวัตถุประสงค์
- เปิด Bot Fight Mode อยู่ Cloudflare ระบุว่าคุณไม่สามารถข้ามหรือยกเว้น Bot Fight Mode ด้วย WAF custom rules หรือ Page Rules หากมันท้าทาย crawler ให้ปิด หรือในแพ็กเกจที่มี ให้ใช้ Super Bot Fight Mode ซึ่งรองรับกฎยกเว้น (skip rules)
- มี WAF custom rule เก่าที่บล็อก user agent ที่มีคำว่า
botหรือกฎ rate limiting ที่ตอบคำขอจำนวนมากในเวลาสั้นด้วย 429 กฎเหล่านี้ทำงานโดยไม่ขึ้นกับ Action ใน AI Crawl Control - กฎบล็อกถูกแก้ไขด้วยมือ หากกฎ WAF เบื้องหลัง AI Crawl Control ถูกเปลี่ยนเป็นรหัสตอบกลับอื่น แดชบอร์ดจะบังคับใช้ตัวเลือกของคุณไม่ได้อีก
- robots.txt ยังห้าม crawler อยู่ Allow ของ Cloudflare ไม่ได้เปลี่ยน robots.txt ของคุณ crawler ที่เคารพกฎจึงยังไม่เข้ามาอยู่ดี ในการศึกษาโดเมนยอดนิยม 1,000 อันดับแรกของเรา 98 จาก 155 เว็บไซต์ที่บล็อก AI crawler สำหรับการเทรนใน robots.txt บล็อก crawler การค้นหาหรือ crawler ของผู้ใช้อย่างน้อยหนึ่งตัวด้วย
จะยืนยันจากภายนอกได้อย่างไรว่า Cloudflare ให้ AI crawler ตัวใดเข้ามา
ขอหน้าเดียวกันด้วย user agent ของเบราว์เซอร์และด้วย user agent ของ crawler แต่ละตัว แล้วเทียบสถานะและขนาด สตริงของ OpenAI, Perplexity และ Google ด้านล่างคือสตริงที่บริษัทเหล่านั้นเผยแพร่
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" บรรทัดของ crawler ที่ได้ 403, 429 หรือ 503 หรือมีขนาดเล็กกว่าบรรทัดของเบราว์เซอร์มาก หมายความว่ามีบางอย่างหน้าเซิร์ฟเวอร์ต้นทางตอบกลับต่างออกไป ในแพ็กเกจ Free นั้น AI Crawl Control ตรวจจับ crawler จาก user agent การทดสอบนี้จึงเป็นการตรวจการบล็อกของมันที่สมเหตุสมผล กฎที่อิงสถานะ verified bot หรือคะแนนบอทอาจปฏิบัติต่อคำขอของคุณต่างจาก crawler จริง เพราะคำขอมาจากที่อยู่ IP ของคุณ ไม่ใช่จากช่วงที่ผู้ให้บริการเผยแพร่ หลังทดสอบ ให้หาคำขอของคุณเองใน Security Analytics เพื่อดูว่ากฎใดตรงกัน
AISeeWhy ตรวจสิ่งที่ Cloudflare ส่งให้ AI crawler อย่างไร
การตรวจฟรีของ AISeeWhy ขอหน้าของคุณในฐานะ crawler ของ AI และของการค้นหา 16 ตัวเทียบกับเบราว์เซอร์จริง ใช้ robots.txt ของคุณแยกตาม crawler และจดจำหน้าตรวจสอบของไฟร์วอลล์ได้ คุณจึงเห็นว่าผลในแดชบอร์ดของ Cloudflare ตรงกับสิ่งที่ crawler ได้รับจริงหรือไม่
วิธีแก้ปัญหานี้
ขั้นตอนถัดไป
- ตัวทดสอบและตัวตรวจสอบ robots.txt สำหรับ AI crawler
- ตรวจ IP ของ AI crawler
- ดูตัวอย่างรายงานฉบับเต็ม
- การติดตาม AI crawler
- แพ็กเกจและราคา
Crawler ในบทความนี้
คำถามที่พบบ่อย
Cloudflare AI Crawl Control ฟรีไหม
ฟรี Cloudflare ระบุว่า AI Crawl Control มีในทุกแพ็กเกจ แพ็กเกจ Free ตรวจจับ crawler จาก user agent เท่านั้น และแสดง 24 ชั่วโมงที่ผ่านมาใน Metrics ข้อมูล referral และการตอบกลับการบล็อกแบบกำหนดเองต้องใช้แพ็กเกจแบบชำระเงิน
Cloudflare AI Audit หายไปไหน
เปลี่ยนชื่อแล้ว เอกสารของ Cloudflare อธิบายว่า AI Crawl Control คือ AI Audit เดิม โดยมีจุดประสงค์เดิม คือดูว่า AI crawler ตัวใดเข้ามา และตั้ง action ให้แต่ละตัว
การบล็อก crawler ใน AI Crawl Control เปลี่ยน robots.txt ของฉันไหม
ไม่ action Block สร้างหรืออัปเดต WAF custom rule ส่วน robots.txt จะเปลี่ยนก็ต่อเมื่อคุณใช้ตัวเลือก Disallow สำหรับ Training ร่วมกับ Bot Preference Sync ซึ่งเพิ่มกฎที่ Cloudflare จัดการไว้ต้นไฟล์
อะไรนับเป็นการละเมิด robots.txt ใน Cloudflare
คำขอจาก AI crawler ไปยังพาธที่ robots.txt ของคุณห้าม Cloudflare เทียบคำขอในอดีตกับกฎปัจจุบัน กฎใหม่จึงอาจทำเครื่องหมายคำขอเก่าที่ได้รับอนุญาตในตอนนั้น
pay per crawl คืออะไร
action Charge ที่ขอให้ AI crawler จ่ายเงินต่อคำขอ หากไม่จ่ายจะตอบด้วย HTTP 402 พร้อมราคา Cloudflare อธิบายว่าเป็นเบต้าแบบปิด และการบล็อกของ WAF หรือ Bot Management มีผลก่อน
แหล่งอ้างอิง
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11