什么是 llms-full.txt?要不要在 llms.txt 旁边发布一份?

发布于

简短回答

llms-full.txt 是一个单独的文本文件,包含网站文档的全部文本,通常采用 Markdown,发布在简短的 /llms.txt 索引旁边。它不属于 llmstxt.org 上的 llms.txt 提案,而是文档网站采用的一种惯例。如果你运营的是会被代理批量加载的开发者文档,就发布一份;对大多数企业网站来说,一份好的 llms.txt 加上整洁的页面就足够了。

我们关于什么是 llms.txt 的文章介绍了索引文件本身:它的格式、来历以及谁会读取它。本文讲的是它更大的“兄弟”。如果你在某个文档网站上见过 llms-full.txt,或者某个检测工具问你有没有它,下面介绍这个文件是什么、提案说了什么和没说什么,以及它是否值得投入。

本页内容
  1. llms-full.txt 是 llms.txt 规范的一部分吗?
  2. llms-full.txt 与 llms.txt 和 .md 页面有何不同?
  3. 谁在发布 llms-full.txt?
  4. AI 爬虫会读取 llms.txt 或 llms-full.txt 吗?
  5. llms-full.txt 可以有多大?
  6. 如何生成和检查 llms-full.txt?
  7. llms-full.txt 应该优先处理吗?

llms-full.txt 是 llms.txt 规范的一部分吗?

不是。llmstxt.org 上的提案目前为第 2 版(2026 年 8 月 10 日修改),只定义了名为 llms.txt 的文件,可以放在网站根目录或任意路径,一个文件涵盖其路径下的页面。它还提出了单个页面的 Markdown 版本,位于在页面网址后加上 .md 的地址(page.html.md)或替换扩展名的地址(page.md),对于没有文件名的网址则是 index.html.md 或 index.md。

包含全部内容的单个文件在规范中根本没有出现。第 1 版描述了一个工具 llms_txt2ctx,可以把 llms.txt 展开成一个上下文文件。第 2 版从提案中删除了这个工具,转而说明预期用法:代理读取或搜索 llms.txt,然后跟随它们需要的链接。作为提案自身示例的 FastHTML 文档,仍然提供一个名为 llms-ctx-full.txt 的展开文件。

所以 llms-full.txt 只是一种命名惯例。除了“所有页面一个接一个”之外,没有公认的格式。

llms-full.txt 与 llms.txt 和 .md 页面有何不同?

提案第 2 版增加了一种方式,让代理可以通过 HTTP 标头或页面 HTML 中的标准链接关系,找到页面的 Markdown 版本以及涵盖该页面的 llms.txt:

# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"

# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt">

llms-full.txt 没有对应的链接关系。发布它的网站通常会在 llms.txt 中链接到它。

谁在发布 llms-full.txt?

主要是开发者文档网站。我们在 2026 年 11 月 17 日检查时,以下文件均可访问:

这四个都是 API 和产品文档,读者是开发者和编程代理。在我们 2026 年 11 月对 1,000 个最热门域名的研究中,没有统计 llms-full.txt;其中 132 个发布了 llms.txt,其中 117 个遵循 llmstxt.org 格式。

AI 爬虫会读取 llms.txt 或 llms-full.txt 吗?

根据我们能找到的任何文档,都不会。OpenAI、Anthropic 和 Perplexity 的爬虫页面介绍了它们的机器人和 robots.txt 标识,但没有一个说这些爬虫会读取其他网站上的 llms.txt 或 llms-full.txt。Google 表示,要出现在 AI Overviews 或 AI Mode 中,你不需要创建新的机器可读文件、AI 文本文件或标记。

为自己的文档发布这些文件,并不等于会读取你的文件。llmstxt.org 表示,这些文件在软件文档中使用最多,编程代理会跟随它们。Chrome 的 Lighthouse 包含一项 llms.txt 审核,但它只在获取 /llms.txt 时出现服务器错误才会标记;缺少该文件被视为不适用,而且该审核没有提到 llms-full.txt。

如果你想为自己的网站找证据,可以在服务器日志中搜索对 /llms-full.txt 的请求,并查看用户代理。

llms-full.txt 可以有多大?

没有记录在案的上限,因为没有任何规范定义这个文件。实际的上限在于读取方。llmstxt.org 指出,上下文窗口虽然比以前大,但对大多数网站的全部内容来说仍然太小。几兆字节的文件无法一次读完,所以代理必须搜索它或分段读取,而这正是 llms.txt 索引和 .md 页面已经能做到的。

如果你还是要发布一份:

如何生成和检查 llms-full.txt?

从一份有效的 llms.txt 和页面的 Markdown 版本开始;这样 llms-full.txt 就只是一个构建步骤。这个脚本读取你的 llms.txt,抓取每个链接的 .md 页面,并为每个页面加上来源行后合并在一起:

import re
import urllib.request

SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}


def get(url):
    req = urllib.request.Request(url, headers=HEADERS)
    with urllib.request.urlopen(req, timeout=20) as resp:
        return resp.read().decode("utf-8", "replace")


index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)

parts = [index.strip()]
for title, url in links:
    if not url.endswith(".md"):
        continue  # include only pages that have a clean Markdown version
    parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")

with open("llms-full.txt", "w", encoding="utf-8") as f:
    f.write("\n\n---\n\n".join(parts) + "\n")

print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters")

然后检查结果。该文件应返回状态 200,类型为 text/plain 或 text/markdown,而不是 HTML 页面,并且其页面数应与 llms.txt 中的链接一致。免费的 AISeeWhy llms.txt 生成器帮你编写索引,免费的 llms.txt 验证器则按 llmstxt.org 格式检查它:标题、摘要、版块和链接,并为每个问题标出行号。llms-full.txt 没有可供验证的格式,所以上面这些检查才是有用的。

llms-full.txt 应该优先处理吗?

对大多数网站来说,不应该。只有在读取方能访问你的页面之后,这两个文件才有帮助。免费的 AISeeWhy 检测以 16 个 AI 和搜索爬虫的身份并结合浏览器抓取页面,显示 robots.txt、防火墙或 JavaScript 是否阻挡了它们,这对 AI 可见度的影响比任何一个文本文件都大。

此问题的修复方法

免费工具

下一步

常见问题

llms.txt 提案要求提供 llms-full.txt 吗?

不要求。该提案定义的是 llms.txt 和页面的 Markdown 版本。llms-full.txt 是一些文档网站遵循的惯例。

llm.txt 和 llms.txt 有什么区别?

提案中的文件名是 llms.txt,带 s。位于 /llm.txt 的文件不符合提案,查找 llms.txt 的工具也找不到它。

llms-full.txt 应该放在哪里?

没有任何规范规定。上面的例子都把它放在文档网站根目录的 llms.txt 旁边,并在 llms.txt 中链接到它,方便读取方找到。

llms-full.txt 对 Google AI Overviews 有帮助吗?

Google 表示,要出现在 AI Overviews 或 AI Mode 中,你不需要新的机器可读文件或 AI 文本文件。页面必须已被编入索引,并符合显示摘要的条件。

能用 llms.txt 检测工具检查 llms-full.txt 吗?

只能部分检查。llms.txt 检测工具验证的是索引格式,而全文文件并不遵循这种格式。对于 llms-full.txt,请检查状态码、内容类型、大小,以及它是否与你当前的页面一致。

参考资料

更多文章