หน้าบอกเครื่องมือค้นหาไม่ให้จัดทำดัชนี
หน้านี้บอกเครื่องมือค้นหาไม่ให้จัดทำดัชนี: มี noindex หรือ none ในเมตาแท็ก robots, googlebot หรือ bingbot หรือในส่วนหัว HTTP X-Robots-Tag ข้อค้นพบแสดงว่ามาจากที่ใด Google และ Bing จะไม่แสดงหน้านี้ในผลการค้นหา ให้ลบกฎนี้ออกหากต้องการให้คนค้นเจอหน้านี้
หมายความว่าอย่างไร
กฎ noindex (meta) ทำให้หน้านี้ไม่อยู่ใน Google และ Bing จึงไม่อยู่ในคำตอบของ AI ที่อิงดัชนีของทั้งสองด้วย ลบกฎนี้ออกหากต้องการให้คนค้นเจอหน้านี้
ทำไมจึงสำคัญต่อการค้นหาด้วย AI
Google และ Bing ปฏิบัติตามกฎ noindex เมื่อครอว์ลหน้านั้นครั้งถัดไป และหน้าจะหายไปจากผลการค้นหา คำตอบของ AI และฟีเจอร์ค้นหาด้วย AI ที่สร้างบนดัชนีเหล่านั้นก็จะไม่พบหน้านี้เช่นกัน
noindex เหมาะกับหน้าอย่างขั้นตอนชำระเงิน ผลการค้นหาภายใน หรือหน้าขอบคุณ แต่เป็นปัญหาเมื่อตกค้างมาจากไซต์ staging ถูกตั้งโดยตัวเลือก "discourage search engines" ทั้งไซต์ หรือถูกส่งเป็นส่วนหัวโดยกฎของเซิร์ฟเวอร์หรือ CDN ที่ไม่มีใครเห็นใน HTML
วิธีแก้ไข
- ดูแหล่งที่มาในข้อค้นพบ ว่าเป็นเมตาแท็กใน HTML หรือส่วนหัว
X-Robots-Tag - สำหรับเมตาแท็ก ให้ลบ
noindexและnoneออก หรือลบแท็กทั้งหมด ใน WordPress ให้ตรวจว่า Settings → Reading → "Discourage search engines from indexing this site" ปิดอยู่ และตรวจการตั้งค่า SEO ของหน้านั้นเอง ใน Shopify ให้ตรวจโค้ดธีมและแอปที่เพิ่มเมตาแท็ก robots - สำหรับส่วนหัว ให้หาว่าตั้งไว้ที่ใด เช่น
add_headerของ Nginx,Header setของ Apache, ไฟล์_headers, Cloudflare Transform Rule หรือ middleware ของเฟรมเวิร์ก แล้วลบออกสำหรับหน้านี้ - อย่าบล็อกหน้านี้ใน robots.txt ในเวลาเดียวกัน crawler ต้องดึงหน้าได้จึงจะเห็นว่า noindex ถูกลบแล้ว
- กด "ตรวจสอบอีกครั้ง" ในรายงานของหน้าเพื่อยืนยันผล
ตัวอย่าง
# nginx: send noindex only where it belongs, not site-wide
location /search/ {
add_header X-Robots-Tag "noindex";
} วิธียืนยันว่าแก้ได้ผล
หลังจากแก้ไขแล้ว กด "ตรวจสอบอีกครั้ง" ในรายงาน รายงานจะแสดงสิ่งที่แก้แล้วและคะแนนที่เปลี่ยนไป