robots.txt 允许 GPTBot,但服务器将其拦截
简短回答
你的 robots.txt 允许该爬虫抓取此页面，但带有其 User-Agent 的请求被服务器、CDN 或防火墙拦截。声明的策略与实际行为不一致。请修改防火墙规则使之与 robots.txt 一致；如果本意是屏蔽它，则在 robots.txt 中禁止该爬虫。
含义
你的规则允许 GPTBot 访问,但使用其 user agent 的请求仍被拦截。防火墙或 CDN 覆盖了你声明的策略。
为什么这对 AI 搜索很重要
爬虫把 robots.txt 当作你的策略。当它说可以而服务器却返回 403，爬虫会浪费请求，可能稍后重试，而页面仍然进不了答案引擎的索引。团队常以为 robots.txt 这样写就等于允许 AI 搜索，实际上某条 bot 规则在悄悄拦截它。
探测请求来自未经验证的 IP 地址。因此，一条只允许爬虫从其公布 IP 段通过的规则（这是合理的配置）也可能出现在这里，即使真正的爬虫能进来。在改动任何东西之前，先确认是哪条规则触发的。
如何修复
- 把该发现中的 robots.txt 分组与被拦截请求的状态码对比。AISeeWhy 报告会显示证据和可直接粘贴的修复方案；之后点击“再次检测”确认结果。
- 找出拦截请求的规则：在 Cloudflare 上查看 Security → Events 以及 AI Crawl Control 和 Bot Fight Mode 设置；在其他 CDN 上查看 bot 管理日志。
- 如果希望它进入，为它添加例外；如果希望它出去，为它的标记添加 Disallow 分组，让策略集中写在一处。
如何确认修复
修改后，在报告上点击“再次检测”：它会列出已修复的内容以及评分的变化。