无法获取 sitemap(状态 403)

简短回答

站点地图已声明或应当存在,但获取它时出错,或返回 401、403、429 或 5xx 状态码,所以爬虫可能同样无法读取。检测以浏览器身份获取它。请公开该站点地图 URL,并让它不受 bot 挑战和速率限制影响。

sitemap.unreachable · 优先级: P2

含义

找到了 sitemap,但它返回了状态 403 或没有响应,因此爬虫可能也无法使用它。请检查防火墙是否允许爬虫获取它。

为什么这对 AI 搜索很重要

返回 403 或服务器错误的站点地图等于缺失:爬虫无法从中得知新增或更改的页面。bot 防护是常见原因,因为站点地图请求几乎全部来自爬虫,而这些规则正是为阻止爬虫而设的。

每次请求都动态生成的大型站点地图也可能超时或触及服务器限制,表现为 5xx 状态码。由于检测以浏览器身份获取该文件,这里失败通常意味着爬虫同样被拒绝。

如何修复

  1. 打开报告中的站点地图 URL,记下状态码。AISeeWhy 报告会显示证据和可直接粘贴的修复方案;之后点击“再次检测”确认结果。
  2. 在 CDN 或 WAF 中,让站点地图路径(例如 /sitemap*.xml)不受挑战、Bot Fight Mode 和速率限制影响。
  3. 如果它处在类似预发布环境的认证之后,请在生产主机上将其公开。
  4. 对于 5xx 错误,缓存生成的站点地图或预先构建为静态文件,并用站点地图索引拆分特别大的站点地图。

如何确认修复

修改后,在报告上点击“再次检测”:它会列出已修复的内容以及评分的变化。

检测我的页面 →

所有发现及评分计算方式