robots.txt 禁止了 GPTBot
robots.disallowed
含义
你的 robots.txt 规则不允许 GPTBot 抓取 /。
优先级
P1–P3,取决于爬虫类型
如何修复
免费检测你的页面。报告会显示这条发现在你网站上的证据,以及可直接粘贴的修复方案:robots.txt 修改、Cloudflare 规则、JSON-LD 标记、llms.txt 草稿或一条简短说明。
如何确认修复
修改后,在报告上点击“再次检测”:它会列出已修复的内容以及评分的变化。
robots.disallowed
你的 robots.txt 规则不允许 GPTBot 抓取 /。
P1–P3,取决于爬虫类型
免费检测你的页面。报告会显示这条发现在你网站上的证据,以及可直接粘贴的修复方案:robots.txt 修改、Cloudflare 规则、JSON-LD 标记、llms.txt 草稿或一条简短说明。
修改后,在报告上点击“再次检测”:它会列出已修复的内容以及评分的变化。