AISeeWhy
TH
เริ่มทดลองใช้ฟรี

Cloudflare บล็อกโปรแกรมรวบรวมข้อมูลของ AI อยู่ไหม วิธีตรวจและวิธีแก้

เผยแพร่เมื่อ

คำตอบสั้น ๆ

Cloudflare และไฟร์วอลล์อื่น ๆ อาจตอบกลับโปรแกรมรวบรวมข้อมูลของ AI ด้วย 403, 429 หรือหน้าตรวจสอบ “Just a moment...” ขณะที่เบราว์เซอร์ได้หน้าจริง แม้ robots.txt จะอนุญาตโปรแกรมนั้น ให้ตรวจโดยขอหน้าเว็บด้วย user agent ของโปรแกรม จากนั้นอนุญาตโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาของ AI ใน AI Crawl Control หรือด้วยกฎ skip ของ WAF

ระบบป้องกันบอตมีไว้หยุดการดูดข้อมูลและการละเมิด และทำหน้าที่นี้ได้ดี ปัญหาคือโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาของ AI ก็เป็นบอตเช่นกัน การตั้งค่าความปลอดภัยที่เปิดไว้เมื่อหลายปีก่อน ข้อจำกัดอัตราคำขอ หรือกฎกว้าง ๆ ที่ต่อต้าน user agent ที่ไม่รู้จัก อาจกันโปรแกรมที่อ้างอิงคุณออกไปอย่างเงียบ ๆ ขณะที่การเข้าชมของคุณเองดูปกติทุกอย่าง

ในหน้านี้
  1. ทำไมไฟร์วอลล์ถึงบล็อกโปรแกรมรวบรวมข้อมูลของ AI
  2. แยกการบล็อกจากไฟร์วอลล์กับการบล็อกจาก robots.txt อย่างไร
  3. อนุญาตโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาของ AI ใน Cloudflare อย่างไร
  4. แล้ว Bot Fight Mode ล่ะ
  5. ควรปล่อยโปรแกรมรวบรวมข้อมูลตัวไหนผ่าน
  6. AISeeWhy ตรวจพบการบล็อกจากไฟร์วอลล์อย่างไร

ทำไมไฟร์วอลล์ถึงบล็อกโปรแกรมรวบรวมข้อมูลของ AI

ไฟร์วอลล์ตัดสินทีละคำขอ โปรแกรมรวบรวมข้อมูลไม่รันการตรวจสอบด้วย JavaScript ไม่เก็บคุกกี้แบบเบราว์เซอร์ และมักขอหลายหน้าติดต่อกัน จึงดูเหมือนทราฟฟิกที่ระบบป้องกันบอตถูกสร้างมาเพื่อหยุดพอดี สาเหตุที่พบบ่อยคือ

แยกการบล็อกจากไฟร์วอลล์กับการบล็อกจาก robots.txt อย่างไร

การบล็อกด้วย robots.txt เป็นคำขออย่างสุภาพ โปรแกรมรวบรวมข้อมูลอ่านกฎของคุณแล้วไม่ดึงหน้านั้น ส่วนการบล็อกจากไฟร์วอลล์เป็นคำตอบ โปรแกรมขอหน้าเว็บแล้วได้อย่างอื่นกลับมา แบบหลังดูได้โดยตรง ขอหน้าเว็บสองครั้ง ครั้งหนึ่งด้วย user agent ของเบราว์เซอร์ อีกครั้งด้วยของโปรแกรมรวบรวมข้อมูล แล้วเปรียบเทียบ

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

สัญญาณของการบล็อกจากไฟร์วอลล์: สถานะ 403, 429 หรือ 503 เฉพาะกับโปรแกรมรวบรวมข้อมูล หน้าที่มีชื่อว่า Just a moment... หรือ Attention Required! | Cloudflare เนื้อหาที่มี /cdn-cgi/challenge-platform หรือคำตอบ 200 ที่สั้นกว่าของเบราว์เซอร์มาก โปรดจำไว้ว่าการทดสอบของคุณมาจาก IP ของคุณเอง ไม่ใช่ช่วง IP ที่ผ่านการยืนยันของโปรแกรมรวบรวมข้อมูล จึงแสดงว่าไฟร์วอลล์ปฏิบัติต่อ user agent อย่างไร ไม่ใช่รายละเอียดทุกอย่างที่ปฏิบัติต่อตัวจริง

อนุญาตโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาของ AI ใน Cloudflare อย่างไร

AI Crawl Control ของ Cloudflare ซึ่งมีให้ในทุกแพ็กเกจ จะแสดงรายชื่อโปรแกรมรวบรวมข้อมูลของ AI ที่เข้ามายังโดเมนของคุณ และให้ตั้งการดำเนินการสำหรับแต่ละตัว ในแดชบอร์ด เปิด AI Crawl Control ไปที่รายการ Crawlers แล้วเลือก Allow หรือ Block ในคอลัมน์ Action ของแต่ละโปรแกรม Cloudflare ระบุว่าการบล็อกตรงนั้นจะสร้างหรืออัปเดตกฎกำหนดเองของ WAF บนโซนของคุณ

หากสิ่งที่บล็อกโปรแกรมนั้นคือกฎกำหนดเองของ WAF, Super Bot Fight Mode หรือการจำกัดอัตราคำขอ ให้เพิ่มกฎกำหนดเองที่ข้ามฟีเจอร์เหล่านั้นสำหรับบอตที่ผ่านการยืนยันและสำหรับโทเค็นของโปรแกรมนั้น

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

วางกฎนี้ไว้อันดับแรก และโปรดทราบว่าการจับคู่ด้วย user agent ก็ปล่อยให้ผู้ที่ปลอม user agent นั้นผ่านไปด้วย หากทำได้ ให้ใช้ฟิลด์บอตที่ผ่านการยืนยัน (cf.client.bot) หรือช่วง IP ที่ผู้พัฒนาเผยแพร่ไว้

แล้ว Bot Fight Mode ล่ะ

เอกสารของ Cloudflare ระบุชัดว่า Bot Fight Mode ไม่สามารถข้ามหรือหลีกเลี่ยงได้ด้วยกฎกำหนดเองของ WAF หรือ Page Rules ถ้าฟีเจอร์นี้คือสิ่งที่ตรวจสอบโปรแกรมรวบรวมข้อมูลอยู่ กฎ skip ก็ไม่ช่วย ทางเลือกคือปิด Bot Fight Mode หรือใช้ Super Bot Fight Mode ในแพ็กเกจที่มีให้ ซึ่งทำงานบน Ruleset Engine และรองรับกฎ skip

ควรปล่อยโปรแกรมรวบรวมข้อมูลตัวไหนผ่าน

แยกโปรแกรมตามสิ่งที่มันทำ โปรแกรมค้นหาและโปรแกรมดึงหน้าตามคำขอของผู้ใช้ตัดสินว่าคำตอบจาก AI จะหาและอ้างอิงคุณได้หรือไม่ ส่วนโปรแกรมสำหรับฝึกโมเดลรวบรวมข้อมูลให้โมเดล การบล็อกตัวเหล่านี้เป็นทางเลือกที่ชอบธรรม และไม่ทำให้คุณหายไปจากการค้นหาด้วย AI

การตั้งนโยบายของ Cloudflare เองก็แบ่งเป็น Search, Agent และ Training เช่นเดียวกัน คุณจึงอนุญาตสองกลุ่มแรกและตัดสินใจกลุ่มที่สามแยกต่างหากได้ หากใช้ไฟร์วอลล์หรือ CDN อื่น หลักการก็เหมือนกัน คือใส่โทเค็นของโปรแกรมไว้ในรายการอนุญาต โดยยืนยันด้วยช่วง IP ที่ผู้พัฒนาเผยแพร่หรือ reverse DNS หากมี เพื่อให้ได้รับคำตอบเดียวกับเบราว์เซอร์

AISeeWhy ตรวจพบการบล็อกจากไฟร์วอลล์อย่างไร

AISeeWhy ขอหน้าเว็บของคุณในฐานะโปรแกรมรวบรวมข้อมูล 14 ตัวและเบราว์เซอร์ปกติ เปรียบเทียบสถานะ ขนาด และการเปลี่ยนเส้นทาง จดจำหน้าตรวจสอบ และระบุชื่อไฟร์วอลล์หรือ CDN ที่ตอบกลับ เมื่อ robots.txt อนุญาตโปรแกรมหนึ่งแต่เซิร์ฟเวอร์บล็อก รายงานจะแสดงความขัดแย้งนั้นและให้กฎของ Cloudflare หรือขั้นตอนการเพิ่มในรายการอนุญาตเพื่อแก้ไข

คำถามที่พบบ่อย

Cloudflare บล็อกโปรแกรมรวบรวมข้อมูลของ AI โดยค่าเริ่มต้นหรือไม่

ขึ้นอยู่กับบัญชี แพ็กเกจ และการตั้งค่าในโซนของคุณ และ Cloudflare ก็เปลี่ยนตัวเลือกเหล่านี้มาเป็นระยะ ให้ตรวจ AI Crawl Control กับการตั้งค่าบอต และทดสอบด้วย user agent ของโปรแกรมนั้น แทนที่จะคาดเดา

ทำไมเว็บไซต์ของฉันใช้ได้ในเบราว์เซอร์ แต่โปรแกรมรวบรวมข้อมูลใช้ไม่ได้

ไฟร์วอลล์ตัดสินทีละคำขอ เบราว์เซอร์ผ่านการตรวจสอบด้วย JavaScript และเก็บคุกกี้ได้ ส่วนโปรแกรมรวบรวมข้อมูลทำไม่ได้ จึงอาจได้หน้าตรวจสอบหรือ 403 ที่คุณไม่เคยเห็น

การปล่อยโปรแกรมรวบรวมข้อมูลของ AI ผ่าน WAF ปลอดภัยหรือไม่

การอนุญาตโปรแกรมที่ระบุชื่อมีความเสี่ยงต่ำ หากยืนยันด้วยช่วง IP ของผู้พัฒนาหรือสัญญาณบอตที่ผ่านการยืนยันของ Cloudflare กฎที่เชื่อ user agent อย่างเดียวจะปล่อยให้ใครก็ตามที่ลอก user agent นั้นผ่านเข้ามาด้วย

ฟีเจอร์ปกปิดอีเมลของ Cloudflare กระทบโปรแกรมรวบรวมข้อมูลของ AI ไหม

มันแทนที่ที่อยู่อีเมลด้วยลิงก์ที่ต้องใช้สคริปต์ถอดรหัสเท่านั้น โปรแกรมรวบรวมข้อมูลจึงเห็นตัวแทนแทนที่อยู่จริง หากต้องการให้อีเมลติดต่อของคุณอ่านได้ ให้ปิด Email Address Obfuscation ใต้ Scrape Shield และแสดงที่อยู่เป็นข้อความธรรมดา

แหล่งอ้างอิง

บทความอื่น ๆ