无法抓取起始页面(403)

简短回答

全站审计无法开始:起始页没有返回 200,或者请求失败,例如超时、DNS 或连接错误,或重定向次数过多。重定向会被跟随,所以只有最终响应才算数。没有起始页就没有可跟随的链接,因此其他内容都没有被检查。

crawl.start_failed · 优先级: P1

含义

起始页面没有返回可用的 HTML 页面,因此无法跟踪任何链接。请检查 URL,并确认网站正常运行。

为什么这对 AI 搜索很重要

审计会像浏览器一样,从起始页出发向外跟随内部链接,所以起始页必须能加载。失败通常意味着 URL 错误、网站宕机,或者防火墙、机器人防护或速率限制用拦截或验证挑战回应了审计服务器。

如果防火墙拦截了审计,它也可能拦截来自数据中心地址的搜索和 AI 爬虫。请把该发现中的状态码与你在浏览器中看到的结果进行比较,并在防火墙日志中查找该请求。

如何修复

  1. 在无痕浏览器窗口中打开起始 URL,确认无需登录即可加载。
  2. 使用网站实际提供服务的地址,带 https:// 和正确的主机。
  3. 如果状态码是 403、429 或 503,请在防火墙、CDN 或主机的机器人防护日志中找到被拦截的请求并放行,或降低普通页面请求的验证级别。
  4. 如果请求超时,请检查服务器负载,以及页面从你的网络外部访问时的响应速度。
  5. 在你的账户中再次运行全站审计,确认结果。

如何确认修复

修改后,在报告上点击“再次检测”:它会列出已修复的内容以及评分的变化。

检测我的页面 →

所有发现及评分计算方式