AISeeWhy
VI
Dùng thử miễn phí

llms.txt là gì và có đáng để thêm không?

Đăng ngày

Trả lời ngắn

llms.txt là một tệp Markdown được đề xuất đặt tại /llms.txt, cung cấp cho các công cụ AI một bản tóm tắt ngắn về website và danh sách liên kết đến những trang hữu ích nhất. Đây là đề xuất của cộng đồng, không phải tiêu chuẩn, và các trình thu thập dữ liệu tìm kiếm AI lớn không cho biết họ dùng nó. Thêm vào rất rẻ, nhưng nó không thay thế HTML có thể thu thập được.

llms.txt nhận được nhiều sự chú ý, thường được giới thiệu như robots.txt của AI. Thực ra nó khác: robots.txt nêu trình thu thập dữ liệu được phép tải gì, còn llms.txt là bản hướng dẫn đọc, chỉ cho các công cụ AI đến nội dung đáng đọc. Dưới đây là đề xuất nói gì, điều gì đã biết về việc sử dụng nó, và cách viết một tệp.

Trong trang này
  1. llms.txt xuất phát từ đâu?
  2. Một tệp llms.txt gồm những gì?
  3. Hiện nay thực sự ai đọc llms.txt?
  4. Có nên thêm một tệp dù sao đi nữa?
  5. Làm sao viết một llms.txt tốt?
  6. AISeeWhy xử lý llms.txt như thế nào?

llms.txt xuất phát từ đâu?

Jeremy Howard đề xuất tệp /llms.txt vào tháng 9 năm 2024, và đề xuất này được duy trì tại llmstxt.org. Mục tiêu là chuẩn hóa một tệp giúp các mô hình ngôn ngữ và tác nhân sử dụng website tại thời điểm suy luận, ví dụ khi một trợ lý lập trình cần tài liệu của một thư viện, chứ không phải để huấn luyện.

Ý tưởng này đáp lại một vấn đề có thật. Trang web mang theo điều hướng, script, banner và bố cục. Một tệp Markdown ngắn, được chọn lọc, với liên kết đến các bản sạch của những trang quan trọng sẽ dễ cho mô hình xử lý hơn trong một cửa sổ ngữ cảnh có giới hạn.

Một tệp llms.txt gồm những gì?

Tệp là Markdown với thứ tự cố định. Chỉ phần tử đầu tiên là bắt buộc:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Đề xuất cũng gợi ý cung cấp phiên bản Markdown của các trang tại cùng URL có thêm .md, ví dụ page.html.md, để công cụ tải được văn bản sạch.

Hiện nay thực sự ai đọc llms.txt?

Chỗ này cần thận trọng. Trang llmstxt.org cho biết các tệp này được dùng nhiều nhất cho tài liệu phần mềm, nơi các tác nhân lập trình làm theo chúng. OpenAI, Anthropic, Google và Perplexity không liệt kê llms.txt trong các tín hiệu mà trình thu thập dữ liệu tìm kiếm của họ dùng, trong tài liệu về trình thu thập dữ liệu mà chúng tôi đã xem.

Google nói rõ hơn cho các tính năng Search của chính họ. Hướng dẫn của họ về AI Overviews và AI Mode nói rằng bạn không cần tạo tệp mới đọc được bằng máy, tệp văn bản AI hay đánh dấu mới để xuất hiện trong đó. Với Google Search, llms.txt không có vai trò nào được nêu.

Vì vậy câu trả lời trung thực là: một số công cụ AI, chủ yếu là các trợ lý lập trình và tác nhân được chỉ đến một website, có thể đọc nó. Các trình thu thập dữ liệu quyết định tìm kiếm AI có trích dẫn trang của bạn hay không làm việc từ HTML của bạn.

Bạn có thể tự xem có gì đọc tệp của mình không. Tìm trong log máy chủ hoặc CDN các yêu cầu đến /llms.txt và xem user agent. Nếu sau vài tuần không có yêu cầu nào, điều đó cho bạn biết giá trị của nó đối với website của bạn rõ hơn bất kỳ nhận định chung nào.

Có nên thêm một tệp dù sao đi nữa?

Với hầu hết website, đây là một bổ sung chi phí thấp nhưng độ chắc chắn cũng thấp. Mất vài phút, không thể gây hại cho khả năng hiển thị tìm kiếm của bạn và có thể giúp các tác nhân tìm đến nó. Nó hữu ích nhất với tài liệu, công cụ cho nhà phát triển và sản phẩm có nhiều tài liệu tham khảo.

Điều nó không làm được là khắc phục vấn đề truy cập. Nếu tường lửa chặn trình thu thập dữ liệu AI, robots.txt của bạn cấm chúng, hoặc nội dung chỉ xuất hiện sau khi JavaScript chạy, llms.txt không thay đổi gì. Hãy sửa những điều đó trước.

Làm sao viết một llms.txt tốt?

AISeeWhy xử lý llms.txt như thế nào?

AISeeWhy kiểm tra website của bạn có llms.txt không và trang được kiểm tra có nằm trong đó không. Vì hiện nay các trình thu thập dữ liệu AI hiếm khi đọc nó, việc thiếu tệp là một phát hiện mức P3, ưu tiên thấp nhất, và báo cáo kèm một bản nháp dựng từ tiêu đề trang, mô tả và sitemap của bạn để bạn chỉnh sửa và đăng.

Câu hỏi thường gặp

llms.txt có phải là tiêu chuẩn chính thức không?

Không. Đó là một đề xuất của cộng đồng được đăng tại llmstxt.org. Nó không phải tiêu chuẩn của IETF hay W3C, và không nhà cung cấp AI nào bị ràng buộc phải đọc nó.

llms.txt có chặn được việc huấn luyện AI không?

Không. Nó là danh sách liên kết, không phải tập hợp quyền. Để từ chối huấn luyện, hãy dùng các token huấn luyện trong robots.txt, như GPTBot, ClaudeBot hoặc Google-Extended.

Tôi có cần llms.txt để xuất hiện trong Google AI Overviews không?

Không. Google cho biết bạn không cần tệp văn bản AI hay đánh dấu đặc biệt để xuất hiện trong AI Overviews hoặc AI Mode. Trang phải được lập chỉ mục và đủ điều kiện hiển thị đoạn trích.

llms.txt có thể nằm trong thư mục con không?

Phiên bản hiện tại của đề xuất cho phép đặt tệp ở đường dẫn con, như /docs/llms.txt, bao trùm các trang dưới đường dẫn đó. Hầu hết website chỉ cần một tệp ở thư mục gốc.

Nguồn tham khảo

Bài viết khác