有多少网站发布 llms.txt?我们检查了 10,000 个域名

发布于

简短回答

在访问量最高的 10,000 个域名中,12.4%(1,240 个)发布了 llms.txt;在首页返回 HTML 的域名中,这一比例为 16.7%。越大的网站发布得越多。发布它的网站拦截 AI 搜索爬虫的比例为 1.4%,而没有发布的网站为 15.0%。这里只统计是否发布:并不能说明有没有 AI 助手读取这个文件。

llms.txt 是 AI 搜索领域讨论最多、却最少被测量的文件之一。我们已经读取了前 10,000 个域名的 robots.txt,并在同一轮中向每个域名请求了 /llms.txt。以下是得到的结果。

本页内容
  1. 我们是如何检查的?
  2. 我们发现了什么?
  3. 更大的网站发布得更多吗?
  4. 谁会发布它?
  5. 这些数据没有说明什么?
  6. 你应该发布一个吗?

我们是如何检查的?

我们取 Tranco 列表(列表 ID JZWZY)的前 10,000 个域名,于 2026 年 11 月 21 日在读取首页并跟随其重定向到主站点之后,以 AISeeWhy 自己的 user agent 对每个域名请求一次 /llms.txt。

只有当 /llms.txt 本身返回 200,响应体是非空且不是 HTML 页面的文本,并且没有重定向到登录页或首页等其他页面时,才算该域名发布了 llms.txt。这一轮我们没有检查文件的格式。

我们发现了什么?

更大的网站发布得更多吗?

是的,差距明显。我们按 Tranco 排名拆分了网站(首页返回 HTML 的域名):

谁会发布它?

在提供 robots.txt 的 6,192 个域名中,发布 llms.txt 的域名与其余域名看起来不同:

换句话说,肯费心发布 llms.txt 的网站,大多本来就已经让 AI 爬虫进入。

这些数据没有说明什么?

它显示的是关联,而不是因果。重视 AI 可见度的网站可能既发布 llms.txt,又保持 robots.txt 开放;这并不意味着是这个文件带来了差别。这个统计也只衡量是否发布。它不能说明有没有 AI 助手读取该文件,而且主要的 AI 搜索爬虫并没有说它们会使用它。

这些数字描述的是最热门域名在某一天首页的规则和某一个地址上的文件。较小的网站可能情况不同。

你应该发布一个吗?

它成本低且无害:一份简短的 Markdown 摘要,介绍你的网站,并列出最有用的页面。保持内容准确,保证链接可用。不要把它当作允许爬虫访问的替代品:如果网站的防火墙拒绝爬虫,或者 robots.txt 禁止它,那么这样的 llms.txt 对谁都没有帮助。

免费工具

下一步

常见问题

有多少比例的网站有 llms.txt?

在我们检查的访问量最高的 10,000 个域名中,12.4% 发布了它。在首页返回 HTML 的域名中,这一比例是 16.7%,最大的网站更高:前 1,000 名中为 22.6%。

有 llms.txt 的网站更常允许 AI 爬虫吗?

在我们的数据中是的:它们拦截 AI 搜索和用户爬虫的比例为 1.4%,没有它的网站为 15.0%。这只是相关性,并不能说明这个文件会改变爬虫对待网站的方式。

llms.txt 能帮助我被 AI 助手引用吗?

我们的数据无法回答。它统计的是哪些网站发布了该文件,而不是助手是否使用它,主要的 AI 搜索爬虫也没有声明会读取它。可抓取的页面和开放的访问更重要。

如何判断一个网站是否有真正的 llms.txt?

请求 /llms.txt,检查它是否在该地址返回 200,且响应体是不属于 HTML 页面的文本。重定向到首页或登录页的不算 llms.txt。

参考资料

更多文章