12 การตรวจ AEO ที่ควรทำก่อนเผยแพร่หน้าเว็บ (2027)

เผยแพร่เมื่อ

คำตอบสั้น ๆ

ก่อนเผยแพร่ ให้ยืนยันว่า URL ตอบ 200 โดยไม่มีการเปลี่ยนเส้นทาง robots.txt อนุญาต AI crawler สำหรับค้นหาทุกตัว ไฟร์วอลล์ส่งหน้าจริงให้ และคำตอบอยู่ใน HTML ดิบ จากนั้นตรวจว่าไม่มี noindex หรือ nosnippet หลงเหลือ มี canonical เดียว มีคำตอบใต้ H1 JSON-LD ถูกต้องและตรงกัน วันที่ตรงกัน มีรายการใน sitemap และลิงก์ภายใน มี hreflang แล้วขอให้จัดทำดัชนี

หน้าส่วนใหญ่ที่ไม่เคยปรากฏในคำตอบของ AI ล้มเหลวเพราะเรื่องน่าเบื่อ เช่น noindex ที่หลงเหลือ กฎไฟร์วอลล์ หรือ canonical ที่ชี้ไปที่ staging การตรวจ 12 ข้อนี้จับปัญหาเหล่านั้นได้ก่อนเปิดตัว แต่ละข้อใช้เวลาไม่กี่นาที ส่วนใหญ่ใช้แค่เทอร์มินัลกับ URL ของหน้า และเรียงตามลำดับที่ crawler เจอ

ในหน้านี้
  1. แต่ละการตรวจใช้เวลานานเท่าไร
  2. 1. URL ตอบ 200 โดยไม่มีการเปลี่ยนเส้นทางหลายทอด
  3. 2. robots.txt อนุญาตหน้านี้สำหรับ AI crawler สำหรับค้นหาทุกตัว
  4. 3. ไฟร์วอลล์ส่งหน้าจริงให้ AI crawler
  5. 4. คำตอบอยู่ใน HTML ดิบ
  6. 5. ไม่มี noindex หรือ nosnippet หลงเหลือ
  7. 6. มี canonical URL เดียว เป็น URL แบบเต็ม และชี้มาที่ตัวเอง
  8. 7. title และ H1 บอกว่าหน้าตอบอะไร และมีคำตอบอยู่ข้างใต้ทันที
  9. 8. JSON-LD แยกวิเคราะห์ได้และตรงกับข้อความที่มองเห็น
  10. 9. วันที่ที่มองเห็น วันที่ในมาร์กอัป และ lastmod ใน sitemap ตรงกัน
  11. 10. หน้าอยู่ใน sitemap และมีลิงก์จากหน้าที่เกี่ยวข้อง
  12. 11. hreflang อ้างอิงกันทั้งสองทาง และมี x-default
  13. 12. ขอให้เครื่องมือค้นหา crawl หน้าใหม่
  14. เราเลือกการตรวจเหล่านี้อย่างไร

แต่ละการตรวจใช้เวลานานเท่าไร

ค่าประมาณสำหรับหนึ่งหน้า พร้อมเครื่องมือที่ต้องใช้ ทำการตรวจ 1 ถึง 5 กับทุกหน้า ส่วนที่เหลือทำครั้งเดียวต่อเทมเพลต แล้วสุ่มตรวจ

1. URL ตอบ 200 โดยไม่มีการเปลี่ยนเส้นทางหลายทอด

crawler ควรได้ตัวหน้าเว็บพร้อมสถานะ 200 บน URL เดียวกับที่คุณจะแชร์และใส่ใน sitemap การเปลี่ยนเส้นทางแต่ละครั้งคืออีกหนึ่งขั้นที่อาจล้มเหลว และหน้าที่ตอบ 200 แต่แสดงข้อความ "ไม่พบ" คือ soft 404 ที่เครื่องมือค้นหาอาจตัดทิ้ง

# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/

ผ่านเมื่อ: ได้ 200 redirects=0 และ URL เดิมกลับมา วิธีแก้: ลิงก์และใส่ URL สุดท้ายใน sitemap และให้มีการเปลี่ยนเส้นทางจากที่อยู่เก่าได้ไม่เกินหนึ่งครั้ง

2. robots.txt อนุญาตหน้านี้สำหรับ AI crawler สำหรับค้นหาทุกตัว

อ่าน robots.txt แบบที่ crawler แต่ละตัวอ่าน กลุ่มที่ระบุชื่อ crawler จะใช้แทนกลุ่ม User-agent: * สำหรับ crawler นั้น และตาม RFC 9309 กฎที่จับคู่ได้ยาวที่สุดจะชนะ โดย Allow ชนะเมื่อเสมอกัน

ตรวจอย่างน้อย OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot และ Googlebot ส่วนใหม่อย่าง /guides/ อาจโดนกฎเก่า Disallow: /g เพราะกฎจับคู่จากคำนำหน้าของพาธ และยืนยันด้วยว่า robots.txt เองตอบ 200 หรือ 404 เพราะตาม RFC 9309 ข้อผิดพลาดของเซิร์ฟเวอร์หมายความว่า crawler ควรถือว่าทั้งเว็บไซต์ถูกห้าม

ผ่านเมื่อ: ไม่มีกฎของโทเค็นใดเหล่านี้ห้ามพาธนั้น คู่มือวิธีทดสอบ robots.txt ของเราแสดงวิธีทดสอบหนึ่ง URL สำหรับหนึ่ง crawler

3. ไฟร์วอลล์ส่งหน้าจริงให้ AI crawler

ขอหน้าด้วย user agent ของเบราว์เซอร์และ user agent ของ crawler แล้วเปรียบเทียบสถานะและขนาด ระบบป้องกันบอทที่จับคู่จากชื่ออาจตอบเฉพาะ crawler ด้วย 403, 429 หรือหน้าตรวจสอบ

URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

ผ่านเมื่อ: ทุกบรรทัดได้ 200 และขนาดใกล้เคียงกัน ขนาดที่เล็กกว่ามากมักหมายถึงหน้าตรวจสอบ สตริงเหล่านี้ทดสอบกฎที่จับคู่จากชื่อ crawler จริงยังมาจากช่วง IP ที่เผยแพร่ไว้ ซึ่งการทดสอบจากเครื่องของคุณจำลองไม่ได้ จึงควรตรวจกฎอนุญาตของไฟร์วอลล์สำหรับช่วง IP เหล่านั้นด้วย

4. คำตอบอยู่ใน HTML ดิบ

ค้นหาประโยคหนึ่งจากคำตอบของคุณใน HTML ที่เซิร์ฟเวอร์ส่ง ตัวตรวจองค์ประกอบของเบราว์เซอร์แสดงหน้าหลังสคริปต์ทำงานแล้ว ซึ่งไม่ใช่สิ่งที่ crawler ส่วนใหญ่ได้รับ

curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer"

ผ่านเมื่อ: ได้ 1 ขึ้นไป ถ้าได้ 0 แปลว่าข้อความถูกเพิ่มด้วย JavaScript ซึ่ง OpenAI, Anthropic และ Perplexity ไม่ได้ระบุในเอกสารว่า crawler ของตนรัน ให้เรนเดอร์บนเซิร์ฟเวอร์หรือตอน build คู่มือเรื่องเนื้อหา JavaScript กับ AI crawler ของเรารวบรวมทางเลือกไว้

5. ไม่มี noindex หรือ nosnippet หลงเหลือ

เว็บไซต์ staging มักถูกปล่อยออกมาพร้อม noindex และเทมเพลตอาจพามันไปถึง production ตรวจทั้ง robots meta tag และ HTTP header X-Robots-Tag เพราะมีผลทั้งคู่

curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html

ผ่านเมื่อ: ไม่มีอะไรแสดงออกมา หรือมีแค่ index, follow และค่าทำนองเดียวกัน Google ระบุว่าหน้าต้องถูกจัดทำดัชนีและมีสิทธิ์แสดง snippet จึงจะปรากฏใน AI Overviews และ AI Mode และ nosnippet ยังบล็อกการใช้เป็นอินพุตโดยตรงของฟีเจอร์เหล่านั้นด้วย

6. มี canonical URL เดียว เป็น URL แบบเต็ม และชี้มาที่ตัวเอง

หน้าควรประกาศ rel="canonical" เพียงหนึ่งรายการ เป็น URL แบบเต็ม ชี้ไปที่ URL ที่คุณเผยแพร่ Google เรียก canonical ว่าเป็นสัญญาณที่หนักแน่น ไม่ใช่คำสั่ง และเตือนเรื่อง URL แบบสัมพัทธ์และสัญญาณที่ขัดกัน เช่น sitemap ที่ระบุที่อยู่อื่น

ข้อผิดพลาดที่พบบ่อยตอนเปิดตัวคือ canonical ที่คัดลอกมาจากหน้าเทมเพลต canonical ที่ยังชี้ไปที่โฮสต์ staging และแท็ก canonical สองแท็กจากธีมและปลั๊กอินพร้อมกัน

ผ่านเมื่อ: มีแท็กเดียว เป็น URL ที่ใช้งานจริง โปรโตคอลและโฮสต์เหมือนใน sitemap

7. title และ H1 บอกว่าหน้าตอบอะไร และมีคำตอบอยู่ข้างใต้ทันที

อ่านส่วนบนของหน้าแบบคนที่ไม่เคยเห็นมาก่อน title และ H1 ควรบอกคำถามหรือหัวข้อด้วยคำที่ผู้ซื้อใช้ และสองสามประโยคแรกใต้ H1 ควรตอบคำถามนั้นครบถ้วน

ให้ title ยาวประมาณ 60 ตัวอักษร เพื่อลดโอกาสถูกตัดในผลการค้นหา เขียนคำตอบสั้นให้ยังเข้าใจได้เมื่อถูกยกไปใช้ลำพัง โดยเขียนตัวเลข หน่วย และชื่อผลิตภัณฑ์ให้ครบ

ผ่านเมื่อ: คนที่อ่านแค่ย่อหน้าแรกได้คำตอบ รายการวิธีให้ถูกอ้างอิงในคำตอบของ AI ของเราอธิบายการเขียนให้ถูกยกไปอ้างอิงอย่างละเอียดขึ้น

8. JSON-LD แยกวิเคราะห์ได้และตรงกับข้อความที่มองเห็น

JSON-LD ที่เสียจะถูกเพิกเฉยทั้งก้อน การขาดเครื่องหมายจุลภาคเพียงตัวเดียวจึงทำให้หายไปทั้งหมด วาง URL ลงใน Rich Results Test ของ Google หรือ Schema Markup Validator แล้วแก้ข้อผิดพลาดทุกข้อ

จากนั้นเทียบค่ากับหน้า headline วันที่ ราคา สกุลเงิน และชื่อองค์กรในมาร์กอัปควรเป็นค่าที่ผู้อ่านเห็น Google ระบุว่าฟีเจอร์ AI ไม่ต้องใช้มาร์กอัปพิเศษ และ structured data ควรตรงกับข้อความที่มองเห็น

ผ่านเมื่อ: ไม่มีข้อผิดพลาด และทุกค่ามองเห็นได้บนหน้า ข้ามได้ถ้า: ประเภทหน้าไม่มีมาร์กอัปที่เหมาะสม หน้าธรรมดาดีกว่ามาร์กอัปที่ผิด

9. วันที่ที่มองเห็น วันที่ในมาร์กอัป และ lastmod ใน sitemap ตรงกัน

แสดงวันที่พร้อมป้ายกำกับบนหน้า ใช้วันที่เดียวกันใน datePublished และ dateModified และตั้ง lastmod ใน sitemap เป็นวันที่ที่มีการเปลี่ยนแปลงสำคัญครั้งล่าสุด Google ขอให้วันที่ที่มองเห็นและในมาร์กอัปตรงกัน และระบุว่าจะใช้ lastmod ก็ต่อเมื่อถูกต้องสม่ำเสมอและตรวจสอบได้

ตัวสร้าง sitemap ที่ประทับวันที่วันนี้ให้ทุก URL ทุกครั้งที่ build จะทำให้ lastmod ไร้ประโยชน์สำหรับทุกหน้า ไม่ใช่แค่หน้าใหม่

ผ่านเมื่อ: สามที่ วันที่เดียว

10. หน้าอยู่ใน sitemap และมีลิงก์จากหน้าที่เกี่ยวข้อง

crawler หาหน้าผ่านลิงก์และ sitemap เพิ่ม URL ใหม่ลงใน XML sitemap โดยใช้ canonical URL ที่ตรงเป๊ะ และลิงก์มาจากหน้าที่เกี่ยวข้องอย่างน้อยสองหน้า กับหน้ารวมหรือหน้าดัชนีหนึ่งหน้า

ไฟล์ sitemap หนึ่งไฟล์มี URL ได้สูงสุด 50,000 รายการ และขนาดไม่บีบอัดไม่เกิน 50 MB เว็บไซต์ที่ใหญ่กว่านั้นต้องใช้ sitemap index Google ระบุว่าไม่สนใจ priority และ changefreq จึงไม่ต้องเสียเวลากับค่าเหล่านี้ หน้าที่ไม่มีลิงก์ภายในเป็นหน้ากำพร้าที่ crawler อาจพบช้าหรือไม่พบเลย

ผ่านเมื่อ: URL อยู่ใน sitemap และมีอย่างน้อยสองหน้าลิงก์มาด้วย anchor text ที่สื่อความหมาย

11. hreflang อ้างอิงกันทั้งสองทาง และมี x-default

ถ้าหน้ามีหลายภาษา แต่ละเวอร์ชันควรระบุทุกเวอร์ชันรวมถึงตัวเอง และแต่ละเวอร์ชันต้องลิงก์กลับ Google ไม่สนใจคำอธิบาย hreflang ที่ไม่ได้รับการยืนยันจากอีกฝั่ง เพิ่ม x-default สำหรับเวอร์ชันที่แสดงเมื่อไม่มีภาษาใดตรงกัน

ข้ามได้ถ้า: เว็บไซต์มีภาษาเดียว คู่มือ hreflang x-default ของเราอธิบายว่าเมื่อใดที่คุณต้องใช้

12. ขอให้เครื่องมือค้นหา crawl หน้าใหม่

เมื่อหน้าเผยแพร่แล้วและผ่านการตรวจข้างต้น ให้แจ้งเครื่องมือค้นหา ใน Google Search Console ใช้การตรวจสอบ URL กับ URL ใหม่แล้วเลือกขอการจัดทำดัชนี สำหรับ Bing และเครื่องมือค้นหาอื่นที่รองรับ IndexNow ให้ส่ง URL ไปที่ endpoint ของ IndexNow พร้อมคีย์ของคุณ Bing ระบุว่าวิธีนี้ไม่ได้รับประกันการ crawl หรือการจัดทำดัชนี

ผู้ช่วย AI ไม่มีแบบฟอร์มให้ส่ง crawler ของพวกเขาหาหน้าผ่านลิงก์และการค้นหา นี่คือเหตุผลที่การตรวจข้อ 2, 3 และ 10 สำคัญ ถ้าคุณเผยแพร่ไฟล์ llms.txt ให้เพิ่มหน้านี้ลงไปด้วย Google ระบุว่า Search ไม่ได้ใช้ไฟล์นี้ จึงถือเป็นทางเลือก

ผ่านเมื่อ: การตรวจสอบ URL แสดงว่าหน้าที่ใช้งานจริงจัดทำดัชนีได้

เราเลือกการตรวจเหล่านี้อย่างไร

รายการนี้เดินตามเส้นทางของ crawler คือเข้าถึง URL อ่าน robots.txt ผ่านไฟร์วอลล์ อ่าน HTML แล้วตีความ การตรวจแต่ละข้ออิงจากสิ่งที่ OpenAI, Anthropic, Perplexity และ Google ระบุไว้ในเอกสารเกี่ยวกับ crawler ของตน RFC 9309 สำหรับ robots.txt และแนวทางของ Google เรื่อง canonical วันที่ sitemap และ hreflang เราตัดการตรวจที่ไม่มีผลต่อคำตอบของ AI ตามเอกสาร เช่น ความหนาแน่นของคีย์เวิร์ดหรือเป้าหมายจำนวนคำ

การตรวจเหล่านี้แสดงว่าหน้าอ่านได้ แต่แสดงไม่ได้ว่าจะถูกอ้างอิง ซึ่งขึ้นอยู่กับว่าคำตอบดีแค่ไหนเมื่อเทียบกับแหล่งอื่น ทำการตรวจข้อ 2 ถึง 5 ซ้ำทุกครั้งที่เปลี่ยนไฟร์วอลล์ CDN ธีม หรือ CMS เพราะการเปลี่ยนแปลงเหล่านี้คือสิ่งที่ทำให้การตั้งค่าย้อนกลับอย่างเงียบ ๆ

AISeeWhy ทำการตรวจส่วนใหญ่เหล่านี้ในรอบเดียว โดยดึงหน้าในฐานะ AI crawler และ crawler ของเครื่องมือค้นหา 16 ตัวเทียบกับเบราว์เซอร์จริง ใช้ robots.txt แยกตาม crawler และอ่าน HTML มาร์กอัป canonical และวันที่ การตรวจฟรีแสดงคะแนนและสิ่งที่พบข้อแรก ส่วนรายงานฉบับเต็มแสดงทุกปัญหาพร้อมวิธีแก้ที่พร้อมใช้

วิธีแก้ปัญหานี้

เครื่องมือฟรี

ขั้นตอนถัดไป

Crawler ในบทความนี้

คำถามที่พบบ่อย

ต้องทำการตรวจเหล่านี้กับทุกหน้าไหม

ทำการตรวจ 1 ถึง 5 กับทุกหน้าใหม่ เพราะ URL เดียวก็อาจถูกบล็อกหรือมี noindex หลงเหลือได้ การตรวจ 6 ถึง 11 ขึ้นอยู่กับเทมเพลตเป็นหลัก จึงทำครั้งเดียวต่อประเภทหน้าแล้วสุ่มตรวจหน้าใหม่

ทำไมจึงส่งหน้าให้ ChatGPT หรือ Claude แบบที่ส่งให้ Google ไม่ได้

OpenAI, Anthropic และ Perplexity ไม่มีเครื่องมือส่ง URL สำหรับหน้าเว็บ crawler ของพวกเขาหาหน้าโดยตามลิงก์และผ่านการค้นหา สิ่งที่คุณควบคุมได้จึงเป็นลิงก์ภายใน sitemap และการเปิดให้ OAI-SearchBot, Claude-SearchBot และ PerplexityBot เข้าถึงได้

หน้าของฉันผ่านการตรวจทั้ง 12 ข้อ ทำไมยังไม่ถูกอ้างอิง

การตรวจทำให้หน้าอ่านได้ ไม่ได้ทำให้ถูกเลือก ผู้ช่วยเลือกแหล่งที่ตอบคำถามได้ดีที่สุด จึงควรเทียบหน้าของคุณกับหน้าที่มันอ้างอิงจริง ว่าหน้าเหล่านั้นตอบเร็วกว่า เขียนราคาหรือสเปกเป็นข้อความ หรือมีข้อมูลที่หน้าของคุณไม่มีหรือไม่

หลังเผยแพร่ AI crawler จะมาเร็วแค่ไหน

ไม่มีผู้ให้บริการรายใดเผยแพร่กำหนดเวลา log ของเซิร์ฟเวอร์จะแสดงว่า OAI-SearchBot, Claude-SearchBot หรือ PerplexityBot ขอ URL นั้นครั้งแรกเมื่อไร คู่มือการตรวจ log ของเซิร์ฟเวอร์เพื่อหา AI crawler ของเราแสดงวิธีหา

แหล่งอ้างอิง

บทความอื่น ๆ