什么是 llms-full.txt?要不要在 llms.txt 旁边发布一份?
llms-full.txt 是一个单独的文本文件,包含网站文档的全部文本,通常采用 Markdown,发布在简短的 /llms.txt 索引旁边。它不属于 llmstxt.org 上的 llms.txt 提案,而是文档网站采用的一种惯例。如果你运营的是会被代理批量加载的开发者文档,就发布一份;对大多数企业网站来说,一份好的 llms.txt 加上整洁的页面就足够了。
我们关于什么是 llms.txt 的文章介绍了索引文件本身:它的格式、来历以及谁会读取它。本文讲的是它更大的“兄弟”。如果你在某个文档网站上见过 llms-full.txt,或者某个检测工具问你有没有它,下面介绍这个文件是什么、提案说了什么和没说什么,以及它是否值得投入。
本页内容
llms-full.txt 是 llms.txt 规范的一部分吗?
不是。llmstxt.org 上的提案目前为第 2 版(2026 年 8 月 10 日修改),只定义了名为 llms.txt 的文件,可以放在网站根目录或任意路径,一个文件涵盖其路径下的页面。它还提出了单个页面的 Markdown 版本,位于在页面网址后加上 .md 的地址(page.html.md)或替换扩展名的地址(page.md),对于没有文件名的网址则是 index.html.md 或 index.md。
包含全部内容的单个文件在规范中根本没有出现。第 1 版描述了一个工具 llms_txt2ctx,可以把 llms.txt 展开成一个上下文文件。第 2 版从提案中删除了这个工具,转而说明预期用法:代理读取或搜索 llms.txt,然后跟随它们需要的链接。作为提案自身示例的 FastHTML 文档,仍然提供一个名为 llms-ctx-full.txt 的展开文件。
所以 llms-full.txt 只是一种命名惯例。除了“所有页面一个接一个”之外,没有公认的格式。
llms-full.txt 与 llms.txt 和 .md 页面有何不同?
提案第 2 版增加了一种方式,让代理可以通过 HTTP 标头或页面 HTML 中的标准链接关系,找到页面的 Markdown 版本以及涵盖该页面的 llms.txt:
llms.txt是一个索引:标题、摘要和链接列表。提案表示它应该保持足够小,能放进模型的上下文。.md页面是单个页面的整洁副本。它们是提案的一部分,代理只抓取需要的那些。llms-full.txt是把所有页面合并成的一个文件。代理一次请求就能拿到全部内容,代价是体积。
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txt 没有对应的链接关系。发布它的网站通常会在 llms.txt 中链接到它。
谁在发布 llms-full.txt?
主要是开发者文档网站。我们在 2026 年 11 月 17 日检查时,以下文件均可访问:
- Cloudflare:
developers.cloudflare.com/llms-full.txt,约 71 MB。其根目录的 llms.txt 为 17 KB,并为每个产品链接了单独的 llms.txt。 - Anthropic:
platform.claude.com/llms-full.txt,约 53 MB。102 KB 的 llms.txt 在末尾链接到它。 - OpenAI:
developers.openai.com/llms-full.txt,约 9.7 MB,文件中称其为单文件 Markdown 导出。其 llms.txt 为 6 KB。 - Perplexity:
docs.perplexity.ai/llms-full.txt,约 4 MB,每个页面都有一行Source:给出其网址。其 llms.txt 为 46 KB。
这四个都是 API 和产品文档,读者是开发者和编程代理。在我们 2026 年 11 月对 1,000 个最热门域名的研究中,没有统计 llms-full.txt;其中 132 个发布了 llms.txt,其中 117 个遵循 llmstxt.org 格式。
AI 爬虫会读取 llms.txt 或 llms-full.txt 吗?
根据我们能找到的任何文档,都不会。OpenAI、Anthropic 和 Perplexity 的爬虫页面介绍了它们的机器人和 robots.txt 标识,但没有一个说这些爬虫会读取其他网站上的 llms.txt 或 llms-full.txt。Google 表示,要出现在 AI Overviews 或 AI Mode 中,你不需要创建新的机器可读文件、AI 文本文件或标记。
为自己的文档发布这些文件,并不等于会读取你的文件。llmstxt.org 表示,这些文件在软件文档中使用最多,编程代理会跟随它们。Chrome 的 Lighthouse 包含一项 llms.txt 审核,但它只在获取 /llms.txt 时出现服务器错误才会标记;缺少该文件被视为不适用,而且该审核没有提到 llms-full.txt。
如果你想为自己的网站找证据,可以在服务器日志中搜索对 /llms-full.txt 的请求,并查看用户代理。
llms-full.txt 可以有多大?
没有记录在案的上限,因为没有任何规范定义这个文件。实际的上限在于读取方。llmstxt.org 指出,上下文窗口虽然比以前大,但对大多数网站的全部内容来说仍然太小。几兆字节的文件无法一次读完,所以代理必须搜索它或分段读取,而这正是 llms.txt 索引和 .md 页面已经能做到的。
如果你还是要发布一份:
- 按产品或版块拆分大型文档,就像 Cloudflare 为每个产品提供单独的 llms.txt 那样,而不是发布一个巨大的文件。
- 在每个页面上方注明来源网址,这样根据该文件生成的回答仍能指向正确的页面。
- 只包含公开内容。这个文件很容易被整份复制,而且 robots.txt 规则对它和对其他网址一样适用,包括对训练爬虫的屏蔽。
- 每次部署时重新生成。过时的完整副本比没有更糟,因为它把过时的事实集中在一个方便的地方重复出现。
如何生成和检查 llms-full.txt?
从一份有效的 llms.txt 和页面的 Markdown 版本开始;这样 llms-full.txt 就只是一个构建步骤。这个脚本读取你的 llms.txt,抓取每个链接的 .md 页面,并为每个页面加上来源行后合并在一起:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") 然后检查结果。该文件应返回状态 200,类型为 text/plain 或 text/markdown,而不是 HTML 页面,并且其页面数应与 llms.txt 中的链接一致。免费的 AISeeWhy llms.txt 生成器帮你编写索引,免费的 llms.txt 验证器则按 llmstxt.org 格式检查它:标题、摘要、版块和链接,并为每个问题标出行号。llms-full.txt 没有可供验证的格式,所以上面这些检查才是有用的。
llms-full.txt 应该优先处理吗?
对大多数网站来说,不应该。只有在读取方能访问你的页面之后,这两个文件才有帮助。免费的 AISeeWhy 检测以 16 个 AI 和搜索爬虫的身份并结合浏览器抓取页面,显示 robots.txt、防火墙或 JavaScript 是否阻挡了它们,这对 AI 可见度的影响比任何一个文本文件都大。
此问题的修复方法
下一步
常见问题
llms.txt 提案要求提供 llms-full.txt 吗?
不要求。该提案定义的是 llms.txt 和页面的 Markdown 版本。llms-full.txt 是一些文档网站遵循的惯例。
llm.txt 和 llms.txt 有什么区别?
提案中的文件名是 llms.txt,带 s。位于 /llm.txt 的文件不符合提案,查找 llms.txt 的工具也找不到它。
llms-full.txt 应该放在哪里?
没有任何规范规定。上面的例子都把它放在文档网站根目录的 llms.txt 旁边,并在 llms.txt 中链接到它,方便读取方找到。
llms-full.txt 对 Google AI Overviews 有帮助吗?
Google 表示,要出现在 AI Overviews 或 AI Mode 中,你不需要新的机器可读文件或 AI 文本文件。页面必须已被编入索引,并符合显示摘要的条件。
能用 llms.txt 检测工具检查 llms-full.txt 吗?
只能部分检查。llms.txt 检测工具验证的是索引格式,而全文文件并不遵循这种格式。对于 llms-full.txt,请检查状态码、内容类型、大小,以及它是否与你当前的页面一致。
参考资料
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: AI Crawler Access Report, 2026-11