ดึง sitemap ไม่ได้ (สถานะ 403)
มีการประกาศหรือคาดว่าจะมีไซต์แมป แต่การดึงล้มเหลวด้วยข้อผิดพลาด 401, 403, 429 หรือสถานะ 5xx crawler จึงอาจอ่านไม่ได้เช่นกัน การตรวจสอบดึงไฟล์ในฐานะเบราว์เซอร์ ให้ทำ URL ของไซต์แมปให้เป็นสาธารณะและยกเว้นจากการท้าทายบอตและการจำกัดอัตรา
หมายความว่าอย่างไร
พบ sitemap แต่ตอบกลับด้วยสถานะ 403 หรือไม่ตอบกลับเลย ครอว์เลอร์จึงอาจใช้งานไม่ได้เช่นกัน ตรวจสอบว่าไฟร์วอลล์อนุญาตให้ครอว์เลอร์ดึงไฟล์นี้ได้
ทำไมจึงสำคัญต่อการค้นหาด้วย AI
ไซต์แมปที่ตอบ 403 หรือข้อผิดพลาดของเซิร์ฟเวอร์ก็เหมือนไม่มี crawler รู้จักหน้าใหม่หรือหน้าที่เปลี่ยนจากไฟล์นี้ไม่ได้ ระบบป้องกันบอตเป็นสาเหตุที่พบบ่อย เพราะคำขอไซต์แมปเกือบทั้งหมดมาจาก crawler ซึ่งกฎเหล่านั้นถูกสร้างมาเพื่อหยุด
ไซต์แมปขนาดใหญ่ที่สร้างทุกครั้งที่มีคำขออาจหมดเวลาหรือชนขีดจำกัดของเซิร์ฟเวอร์ ซึ่งแสดงเป็นสถานะ 5xx เนื่องจากการตรวจดึงไฟล์ในฐานะเบราว์เซอร์ ความล้มเหลวตรงนี้จึงมักหมายความว่า crawler ถูกปฏิเสธด้วย
วิธีแก้ไข
- เปิด URL ของไซต์แมปจากรายงานและจดสถานะ รายงานของ AISeeWhy แสดงหลักฐานและวิธีแก้ที่คัดลอกไปวางได้ทันที จากนั้นกด "ตรวจสอบอีกครั้ง" เพื่อยืนยันผล
- ใน CDN หรือ WAF ให้ยกเว้นพาธของไซต์แมป (เช่น
/sitemap*.xml) จากการท้าทาย Bot Fight Mode และการจำกัดอัตรา - หากอยู่หลังการยืนยันตัวตนในการตั้งค่าแบบ staging ให้ทำให้เป็นสาธารณะบนโฮสต์ production
- สำหรับข้อผิดพลาด 5xx ให้แคชไซต์แมปที่สร้างขึ้นหรือสร้างล่วงหน้าเป็นไฟล์สถิต และแบ่งไฟล์ที่ใหญ่มากด้วยดัชนีไซต์แมป
วิธียืนยันว่าแก้ได้ผล
หลังจากแก้ไขแล้ว กด "ตรวจสอบอีกครั้ง" ในรายงาน รายงานจะแสดงสิ่งที่แก้แล้วและคะแนนที่เปลี่ยนไป