llms.txt คืออะไร และคุ้มค่าที่จะเพิ่มหรือไม่
llms.txt เป็นไฟล์ Markdown ที่ถูกเสนอให้วางที่ /llms.txt เพื่อให้เครื่องมือ AI ได้สรุปสั้น ๆ ของเว็บไซต์และรายการลิงก์ไปยังหน้าที่มีประโยชน์ที่สุด เป็นข้อเสนอจากชุมชน ไม่ใช่มาตรฐาน และโปรแกรมรวบรวมข้อมูลของการค้นหาด้วย AI รายใหญ่ก็ไม่ได้ระบุว่าใช้ไฟล์นี้ เพิ่มได้ในต้นทุนต่ำ แต่ไม่ได้มาแทน HTML ที่รวบรวมข้อมูลได้
llms.txt ได้รับความสนใจมาก และมักถูกนำเสนอว่าเป็น robots.txt ของ AI แต่จริง ๆ แล้วต่างกัน robots.txt ระบุว่าโปรแกรมรวบรวมข้อมูลดึงอะไรได้บ้าง ส่วน llms.txt เป็นคู่มืออ่านที่ชี้เครื่องมือ AI ไปยังเนื้อหาที่ควรอ่าน บทความนี้อธิบายว่าข้อเสนอพูดอะไร รู้อะไรเกี่ยวกับการใช้งานบ้าง และเขียนอย่างไร
ในหน้านี้
llms.txt มาจากไหน
Jeremy Howard เสนอไฟล์ /llms.txt ในเดือนกันยายน 2024 และข้อเสนอนี้ดูแลอยู่ที่ llmstxt.org เป้าหมายคือทำให้มีไฟล์มาตรฐานหนึ่งไฟล์ที่ช่วยให้โมเดลภาษาและเอเจนต์ใช้เว็บไซต์ได้ในขณะประมวลผลคำตอบ เช่น เมื่อผู้ช่วยเขียนโค้ดต้องการเอกสารของไลบรารี ไม่ใช่เพื่อการฝึกโมเดล
แนวคิดนี้ตอบปัญหาที่มีอยู่จริง หน้าเว็บมีเมนูนำทาง สคริปต์ แบนเนอร์ และเลย์เอาต์ปนอยู่ ไฟล์ Markdown สั้น ๆ ที่คัดสรรไว้พร้อมลิงก์ไปยังหน้าสำคัญฉบับสะอาดนั้นโมเดลใช้งานได้ง่ายกว่าภายในหน้าต่างบริบทที่จำกัด
ไฟล์ llms.txt มีอะไรบ้าง
ไฟล์เป็น Markdown ที่มีลำดับตายตัว จำเป็นเฉพาะองค์ประกอบแรกเท่านั้น
- H1 ที่เป็นชื่อเว็บไซต์หรือโครงการ (จำเป็น)
- บล็อกคำพูดที่สรุปสั้น ๆ ว่าเว็บไซต์คืออะไร
- ย่อหน้าหรือรายการเพิ่มเติม (ไม่บังคับ) ที่ให้รายละเอียดเพิ่ม โดยไม่มีหัวข้อ
- ส่วน H2 ซึ่งแต่ละส่วนมีรายการลิงก์ Markdown ในรูปแบบ
[name](url)และตามด้วยเครื่องหมายทวิภาคกับหมายเหตุได้ - ส่วนที่ชื่อ
Optional(ไม่บังคับ) สำหรับลิงก์รองที่เครื่องมือข้ามได้เมื่อต้องการบริบทน้อยลง
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)ข้อเสนอยังแนะนำให้เสนอหน้าเวอร์ชัน Markdown ที่ URL เดียวกันโดยเติม .md ต่อท้าย เช่น page.html.md เพื่อให้เครื่องมือดึงข้อความสะอาดได้
ปัจจุบันใครอ่าน llms.txt จริง ๆ
ตรงนี้ต้องระวังเป็นพิเศษ เว็บไซต์ llmstxt.org ระบุว่าไฟล์เหล่านี้ถูกใช้มากที่สุดกับเอกสารซอฟต์แวร์ ซึ่งเอเจนต์เขียนโค้ดติดตามไป ส่วน OpenAI, Anthropic, Google และ Perplexity ไม่ได้ระบุ llms.txt ไว้ในสัญญาณที่โปรแกรมรวบรวมข้อมูลเพื่อการค้นหาของตนใช้ ตามเอกสารโปรแกรมรวบรวมข้อมูลที่เราตรวจสอบ
Google พูดชัดกว่านั้นสำหรับฟีเจอร์ Search ของตัวเอง คำแนะนำเรื่อง AI Overviews และ AI Mode ระบุว่าคุณไม่จำเป็นต้องสร้างไฟล์ที่เครื่องอ่านได้ ไฟล์ข้อความสำหรับ AI หรือมาร์กอัปใหม่ เพื่อปรากฏในฟีเจอร์เหล่านั้น สำหรับ Google Search llms.txt จึงไม่มีบทบาทที่ระบุไว้
คำตอบตามจริงจึงเป็นว่า เครื่องมือ AI บางตัว ส่วนใหญ่เป็นผู้ช่วยเขียนโค้ดและเอเจนต์ที่ถูกชี้ไปยังเว็บไซต์ อาจอ่านไฟล์นี้ ส่วนโปรแกรมรวบรวมข้อมูลที่ตัดสินว่าการค้นหาด้วย AI จะอ้างอิงหน้าเว็บของคุณหรือไม่ ทำงานจาก HTML ของคุณ
คุณตรวจดูเองได้ว่ามีอะไรอ่านไฟล์ของคุณหรือไม่ ค้นหาในล็อกของเซิร์ฟเวอร์หรือ CDN หาคำขอไปที่ /llms.txt แล้วดู user agent ถ้าผ่านไปหลายสัปดาห์แล้วไม่มีคำขอ นั่นบอกคุณค่าของมันต่อเว็บไซต์ของคุณได้ดีกว่าคำกล่าวทั่วไปใด ๆ
ควรเพิ่มไว้อยู่ดีไหม
สำหรับเว็บไซต์ส่วนใหญ่ นี่เป็นสิ่งที่เพิ่มได้ในต้นทุนต่ำแต่ความแน่นอนก็ต่ำ ใช้เวลาไม่กี่นาที ไม่ทำให้การมองเห็นในการค้นหาแย่ลง และอาจช่วยเอเจนต์ที่มองหาไฟล์นี้ มีประโยชน์ที่สุดกับเอกสารประกอบ เครื่องมือสำหรับนักพัฒนา และผลิตภัณฑ์ที่มีเอกสารอ้างอิงจำนวนมาก
สิ่งที่ทำไม่ได้คือแก้ปัญหาการเข้าถึง ถ้าไฟร์วอลล์บล็อกโปรแกรมรวบรวมข้อมูลของ AI robots.txt ของคุณห้ามไว้ หรือเนื้อหาปรากฏเฉพาะหลังจาก JavaScript ทำงาน llms.txt ก็ไม่ช่วยอะไร ให้แก้เรื่องเหล่านั้นก่อน
เขียน llms.txt ที่ดีอย่างไร
- วางไว้ที่
https://yourdomain.com/llms.txtและส่งเป็นข้อความธรรมดาด้วยสถานะ 200 ไม่ใช่หน้า HTML - เขียนสรุปแบบที่จะอธิบายเว็บไซต์ให้เพื่อนร่วมงานใหม่ฟังสองประโยค: คืออะไร และมีไว้สำหรับใคร
- ระบุหน้าที่ตอบคำถามจริง ได้แก่ ผลิตภัณฑ์ ราคา เอกสาร และนโยบาย ข้ามหน้าแท็กและหน้าคลังเก็บ
- ใช้ URL แบบสมบูรณ์ และทำรายการให้สั้นพอจะมีประโยชน์ ลิงก์ไม่กี่สิบรายการก็เพียงพอสำหรับเว็บไซต์ส่วนใหญ่
- ปรับให้เป็นปัจจุบันอยู่เสมอ ไฟล์ที่ลิงก์ไปหน้าที่ถูกลบไปแล้วแย่กว่าไม่มีไฟล์
- อย่าใช้ไฟล์นี้ระบุสิทธิ์ กฎการเข้าถึงต้องอยู่ใน robots.txt
AISeeWhy จัดการ llms.txt อย่างไร
AISeeWhy ตรวจว่าเว็บไซต์ของคุณมี llms.txt หรือไม่ และหน้าที่กำลังตรวจอยู่ถูกระบุในไฟล์หรือเปล่า เนื่องจากปัจจุบันโปรแกรมรวบรวมข้อมูลของ AI แทบไม่อ่านไฟล์นี้ การไม่มีไฟล์จึงเป็นข้อค้นพบระดับ P3 ซึ่งมีความสำคัญต่ำที่สุด และรายงานมีฉบับร่างที่สร้างจากชื่อหน้า คำอธิบาย และ sitemap ของคุณให้แก้ไขและเผยแพร่ได้
คำถามที่พบบ่อย
llms.txt เป็นมาตรฐานอย่างเป็นทางการหรือไม่
ไม่ใช่ เป็นข้อเสนอจากชุมชนที่เผยแพร่ที่ llmstxt.org ไม่ใช่มาตรฐานของ IETF หรือ W3C และไม่มีผู้ให้บริการ AI รายใดผูกมัดว่าจะต้องอ่านไฟล์นี้
llms.txt บล็อกการฝึกโมเดล AI ได้ไหม
ไม่ได้ มันเป็นรายการลิงก์ ไม่ใช่ชุดสิทธิ์ หากต้องการไม่ยินยอมให้ใช้ฝึกโมเดล ให้ใช้โทเค็นสำหรับการฝึกโมเดลใน robots.txt เช่น GPTBot, ClaudeBot หรือ Google-Extended
ต้องมี llms.txt เพื่อปรากฏใน Google AI Overviews ไหม
ไม่ต้อง Google ระบุว่าไม่จำเป็นต้องมีไฟล์ข้อความสำหรับ AI หรือมาร์กอัปพิเศษเพื่อปรากฏใน AI Overviews หรือ AI Mode หน้าเว็บต้องถูกจัดทำดัชนีและมีสิทธิ์แสดงสนิปเพ็ต
llms.txt อยู่ในโฟลเดอร์ย่อยได้ไหม
ข้อเสนอเวอร์ชันปัจจุบันอนุญาตให้วางไฟล์ในเส้นทางย่อย เช่น /docs/llms.txt ซึ่งครอบคลุมหน้าภายใต้เส้นทางนั้น เว็บไซต์ส่วนใหญ่ต้องการแค่ไฟล์เดียวที่ราก
แหล่งอ้างอิง
- llmstxt.org: ไฟล์ /llms.txt
- Google Search Central: ฟีเจอร์ AI และเว็บไซต์ของคุณ
- OpenAI: ภาพรวมโปรแกรมรวบรวมข้อมูลของ OpenAI