什么是 llms.txt，值得添加吗？
llms.txt 是一个建议放在 /llms.txt 的 Markdown 文件，为 AI 工具提供网站的简短摘要和最有用页面的链接列表。它是社区提案，不是标准，主要的 AI 搜索爬虫也没有表示会使用它。添加成本很低，但它不能取代可抓取的 HTML。
llms.txt 受到很多关注，常被说成是 AI 版的 robots.txt。其实两者不同：robots.txt 声明爬虫可以抓取什么，而 llms.txt 是一份阅读指南，把 AI 工具引向值得阅读的内容。下面介绍该提案的内容、已知的使用情况，以及如何编写。
llms.txt 从何而来？
Jeremy Howard 于 2024 年 9 月提出了 /llms.txt 文件，该提案由 llmstxt.org 维护。它的目标是规范一个文件，帮助语言模型和代理在推理时使用网站，例如编程助手需要某个库的文档时，而不是用于训练。
这个想法针对的是一个真实的问题。网页里有导航、脚本、横幅和布局。一个简短、精选的 Markdown 文件，附上关键页面的干净版本的链接，更便于模型在有限的上下文窗口内处理。
llms.txt 文件里应包含什么？
该文件是 Markdown，顺序固定。只有第一个元素是必需的：
- 带有网站或项目名称的 H1（必需）。
- 一段简短说明网站是什么的引用块。
- 可选的段落或列表，提供更多细节，不带标题。
- H2 小节，每个小节包含
[name](url)形式的 Markdown 链接列表，后面可以加冒号和说明。 - 一个名为
Optional的可选小节，放次要链接，工具在需要较少上下文时可以跳过。
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)该提案还建议在相同 URL 后加上 .md 提供页面的 Markdown 版本，例如 page.html.md，这样工具就可以获取干净的文本。
目前究竟谁在读取 llms.txt？
这里需要谨慎。llmstxt.org 网站称，这些文件最常用于软件文档，由编程代理跟随使用。在我们查阅的爬虫文档中，OpenAI、Anthropic、Google 和 Perplexity 都没有把 llms.txt 列为其搜索爬虫所使用的信号。
对于自家的搜索功能，Google 说得更明确。其关于 AI Overviews 和 AI Mode 的指南称，你不需要为了出现在其中而创建新的机器可读文件、AI 文本文件或标记。对于 Google 搜索，llms.txt 没有任何声明的作用。
所以如实的回答是：一些 AI 工具，主要是被指向某个网站的编程助手和代理，可能会读取它。决定 AI 搜索是否引用你页面的爬虫，是基于你的 HTML 工作的。
你可以自己查看是否有东西读取了你的文件。在服务器或 CDN 日志中搜索对 /llms.txt 的请求，并查看 user agent。如果几周内都没有请求，这比任何笼统的说法更能说明它对你网站的价值。
还是应该添加吗？
对大多数网站来说，这是一项成本低、确定性也低的补充。只需几分钟，不会损害搜索可见性，还可能帮到会去找它的代理。对文档、开发者工具和有大量参考资料的产品最有用。
它做不到的是解决访问问题。如果防火墙屏蔽了 AI 爬虫，你的 robots.txt 禁止了它们，或者你的内容只有在运行 JavaScript 后才会出现，llms.txt 什么也改变不了。请先解决这些问题。
如何写好 llms.txt？
- 把它放在
https://yourdomain.com/llms.txt，并以状态码 200 作为纯文本提供，而不是 HTML 页面。 - 摘要就像向新同事用两句话介绍网站那样写：它是什么，面向谁。
- 列出回答真实问题的页面：产品、定价、文档、政策。跳过标签页和归档页。
- 使用绝对 URL，并让列表保持足够精简以便有用；对大多数网站来说，几十个链接就足够了。
- 保持更新。链接到已删除页面的文件比没有文件更糟。
- 不要用它来声明权限。访问规则属于 robots.txt。
AISeeWhy 如何对待 llms.txt？
AISeeWhy 会检查你的网站是否有 llms.txt，以及被审核的页面是否列在其中。由于目前 AI 爬虫很少读取它，缺少该文件属于 P3 发现，即最低优先级，报告中会附上根据你的页面标题、描述和站点地图生成的草稿，你可以编辑后发布。
常见问题
llms.txt 是官方标准吗？
不是。它是在 llmstxt.org 发布的社区提案，不是 IETF 或 W3C 标准，也没有任何 AI 厂商有义务读取它。
llms.txt 能阻止 AI 训练吗？
不能。它是一份链接列表，而不是一组权限。要选择退出训练，请在 robots.txt 中使用训练标识，例如 GPTBot、ClaudeBot 或 Google-Extended。
要出现在 Google AI Overviews 中，我需要 llms.txt 吗？
不需要。Google 表示，要出现在 AI Overviews 或 AI Mode 中，不需要 AI 文本文件或特殊标记。页面必须已被索引，并且有资格显示摘要。
llms.txt 可以放在子文件夹里吗？
该提案的当前版本允许在子路径下放置文件，例如 /docs/llms.txt，覆盖该路径下的页面。大多数网站只需要在根目录放一个文件。