无法获取 robots.txt
简短回答
获取 /robots.txt 失败：服务器返回 5xx 或 429，或根本没有响应。按照 RFC 9309，爬虫此时会把整个网站视为禁止访问。请让 /robots.txt 返回状态码 200 和纯文本；如果没有规则，则返回 404。
含义
robots.txt 返回了状态 403 或没有响应。按照 RFC 9309,爬虫此时会将整个网站视为禁止抓取。
为什么这对 AI 搜索很重要
RFC 9309 规定，因服务器错误而无法访问 robots.txt 的爬虫必须假定全部禁止。遵循该标准的 Googlebot、Bingbot 和 AI 爬虫会停止抓取页面，直到 robots.txt 再次响应，所以一个出错的文件就可能让整个网站消失。
文件不存在则不同：404 或其他 4xx 状态码表示没有规则，一切都被允许，AISeeWhy 也不会报告。问题只出在服务器错误、速率限制（429），以及在返回任何状态码之前就超时或被拒绝的请求。
如何修复
- 从你的网络之外打开
https://your-domain/robots.txt，记下状态码。检测使用浏览器 User-Agent 获取它。 - 如果是 5xx，检查源站路由：Next.js 等框架从
public/robots.txt或app/robots.ts提供它，WordPress 是动态生成的，因此 PHP 错误会让它失效。 - 如果是 429 或超时，在 CDN 或 WAF 中让
/robots.txt不受速率限制和 bot 挑战影响。 - 在 CDN 缓存 robots.txt，使源站变慢时它仍能响应。AISeeWhy 报告会显示证据和可直接粘贴的修复方案；之后点击“再次检测”确认结果。
如何确认修复
修改后，在报告上点击“再次检测”：它会列出已修复的内容以及评分的变化。