2 หน้าปฏิเสธการรวบรวมข้อมูล
หน้าเหล่านี้ตอบกลับ 401, 403, 429 หรือ 503 หรือหมดเวลา เมื่อการตรวจสอบดึงหน้าแบบเดียวกับเบราว์เซอร์ ซึ่งมักเป็นไฟร์วอลล์ ระบบป้องกันบอต หรือการจำกัดอัตรา มากกว่าหน้าที่เสีย ให้ตรวจว่า crawler ของเครื่องมือค้นหาและ AI ได้รับคำตอบเดียวกันหรือไม่
หมายความว่าอย่างไร
หน้าเหล่านี้ตอบกลับด้วย 401, 403, 429 หรือ 503 หรือหมดเวลา ไฟร์วอลล์หรือการจำกัดอัตราคำขออาจบล็อก crawler ด้วย ตรวจสอบว่า crawler ของเครื่องมือค้นหาและ AI ได้รับคำตอบเดียวกันหรือไม่
ทำไมจึงสำคัญต่อการค้นหาด้วย AI
การตรวจสอบดึงหลายหน้าในเวลาสั้น ๆ จากเซิร์ฟเวอร์เดียว การจำกัดอัตราจึงอาจตอบ 429 หรือ 503 แม้คนทั่วไปจะเปิดหน้าได้ หากกฎเดียวกันใช้กับ crawler ของเครื่องมือค้นหาและ AI หน้าเหล่านี้จะไม่ถูกดึงไปใส่ดัชนีของพวกเขา และถูกอ้างอิงในคำตอบของ AI ไม่ได้
401 หมายความว่าหน้าต้องเข้าสู่ระบบ ซึ่งเป็นเรื่องปกติสำหรับส่วนบัญชี แต่ไม่ใช่สำหรับเนื้อหาสาธารณะ 503 ในทุกหน้าอาจหมายความว่าโหมดบำรุงรักษายังเปิดค้างอยู่ หน้าเหล่านี้แยกจากลิงก์เสียเพราะวิธีแก้ขึ้นอยู่กับว่าใครถูกปฏิเสธ
วิธีแก้ไข
- เปิด URL ในรายการสักสองสามรายการในหน้าต่างเบราว์เซอร์ส่วนตัว หากโหลดได้ แสดงว่าการบล็อกมุ่งไปที่คำขออัตโนมัติ
- หาคำขอที่ถูกปฏิเสธในล็อกของไฟร์วอลล์ CDN หรือโฮสติ้ง ตรวจว่า crawler ค้นหาที่ยืนยันตัวตนแล้ว เช่น Googlebot และ Bingbot รวมถึง AI search crawler ที่คุณต้องการได้รับอนุญาต CDN หลายราย รวมถึง Cloudflare มีการตั้งค่าสำหรับบอตที่ยืนยันตัวตนแล้ว
- หากเกิดจากการจำกัดอัตรา ให้เพิ่มขีดจำกัดสำหรับคำขอหน้าปกติ หรือยกเว้นหน้า HTML ออกจากการจำกัด
- หากหน้าตอบ 401 ให้เอาการเข้าสู่ระบบออกจากหน้าสาธารณะ หรือเลิกลิงก์ไปยังหน้าส่วนตัวจากหน้าสาธารณะ
- เรียกใช้การตรวจสอบทั้งไซต์อีกครั้งจากบัญชีของคุณเพื่อยืนยันผล
วิธียืนยันว่าแก้ได้ผล
หลังจากแก้ไขแล้ว กด "ตรวจสอบอีกครั้ง" ในรายงาน รายงานจะแสดงสิ่งที่แก้แล้วและคะแนนที่เปลี่ยนไป