robots.txt 是一个 HTML 页面
robots.invalid
含义
robots.txt 地址返回的是 HTML(通常是以状态 200 返回的 404 页面),因此爬虫无法读取任何规则。
优先级
P2
如何修复
免费检测你的页面。报告会显示这条发现在你网站上的证据，以及可直接粘贴的修复方案：robots.txt 修改、Cloudflare 规则、JSON-LD 标记、llms.txt 草稿或一条简短说明。
如何确认修复
修改后，在报告上点击“再次检测”：它会列出已修复的内容以及评分的变化。