2 个页面拒绝了抓取

简短回答

审计像浏览器一样抓取这些页面时,它们返回了 401、403、429 或 503,或者超时。这往往是防火墙、机器人防护或速率限制造成的,而不是页面损坏。请检查搜索和 AI 爬虫是否也收到同样的响应。

crawl.unreachable · 优先级: P1–P3,取决于爬虫类型

含义

这些页面返回了 401、403、429 或 503,或者超时。防火墙或速率限制可能也在阻挡爬虫。请检查搜索引擎爬虫和 AI 爬虫是否收到相同的响应。

为什么这对 AI 搜索很重要

审计会在短时间内从同一台服务器抓取许多页面,所以即使普通人能打开页面,速率限制也可能返回 429 或 503。如果同样的规则也适用于搜索和 AI 爬虫,这些页面就不会被抓取进它们的索引,也无法在 AI 回答中被引用。

401 表示页面需要登录,这对账户区域是正常的,但对公开内容不是。每个页面都返回 503,可能意味着维护模式没有关闭。这些页面与失效链接分开列出,因为修复方法取决于被拒绝的是谁。

如何修复

  1. 在无痕浏览器窗口中打开几个列出的 URL。如果它们能加载,说明拦截针对的是自动化请求。
  2. 在防火墙、CDN 或主机日志中查找被拒绝的请求。确保已验证的搜索爬虫(例如 Googlebot 和 Bingbot)以及你希望放行的 AI 搜索爬虫都被允许;许多 CDN(包括 Cloudflare)都有针对已验证机器人的设置。
  3. 如果是速率限制造成的,请提高普通页面请求的限制,或把 HTML 页面排除在外。
  4. 如果页面返回 401,请去掉公开页面的登录要求,或停止从公开页面链接到私有页面。
  5. 在你的账户中再次运行全站审计,确认结果。

如何确认修复

修改后,在报告上点击“再次检测”:它会列出已修复的内容以及评分的变化。

检测我的页面 →

所有发现及评分计算方式