2 个页面拒绝了抓取
简短回答
审计像浏览器一样抓取这些页面时,它们返回了 401、403、429 或 503,或者超时。这往往是防火墙、机器人防护或速率限制造成的,而不是页面损坏。请检查搜索和 AI 爬虫是否也收到同样的响应。
含义
这些页面返回了 401、403、429 或 503,或者超时。防火墙或速率限制可能也在阻挡爬虫。请检查搜索引擎爬虫和 AI 爬虫是否收到相同的响应。
为什么这对 AI 搜索很重要
审计会在短时间内从同一台服务器抓取许多页面,所以即使普通人能打开页面,速率限制也可能返回 429 或 503。如果同样的规则也适用于搜索和 AI 爬虫,这些页面就不会被抓取进它们的索引,也无法在 AI 回答中被引用。
401 表示页面需要登录,这对账户区域是正常的,但对公开内容不是。每个页面都返回 503,可能意味着维护模式没有关闭。这些页面与失效链接分开列出,因为修复方法取决于被拒绝的是谁。
如何修复
- 在无痕浏览器窗口中打开几个列出的 URL。如果它们能加载,说明拦截针对的是自动化请求。
- 在防火墙、CDN 或主机日志中查找被拒绝的请求。确保已验证的搜索爬虫(例如 Googlebot 和 Bingbot)以及你希望放行的 AI 搜索爬虫都被允许;许多 CDN(包括 Cloudflare)都有针对已验证机器人的设置。
- 如果是速率限制造成的,请提高普通页面请求的限制,或把 HTML 页面排除在外。
- 如果页面返回 401,请去掉公开页面的登录要求,或停止从公开页面链接到私有页面。
- 在你的账户中再次运行全站审计,确认结果。
如何确认修复
修改后,在报告上点击“再次检测”:它会列出已修复的内容以及评分的变化。