无法抓取起始页面(403)
简短回答
全站审计无法开始:起始页没有返回 200,或者请求失败,例如超时、DNS 或连接错误,或重定向次数过多。重定向会被跟随,所以只有最终响应才算数。没有起始页就没有可跟随的链接,因此其他内容都没有被检查。
含义
起始页面没有返回可用的 HTML 页面,因此无法跟踪任何链接。请检查 URL,并确认网站正常运行。
为什么这对 AI 搜索很重要
审计会像浏览器一样,从起始页出发向外跟随内部链接,所以起始页必须能加载。失败通常意味着 URL 错误、网站宕机,或者防火墙、机器人防护或速率限制用拦截或验证挑战回应了审计服务器。
如果防火墙拦截了审计,它也可能拦截来自数据中心地址的搜索和 AI 爬虫。请把该发现中的状态码与你在浏览器中看到的结果进行比较,并在防火墙日志中查找该请求。
如何修复
- 在无痕浏览器窗口中打开起始 URL,确认无需登录即可加载。
- 使用网站实际提供服务的地址,带
https://和正确的主机。 - 如果状态码是 403、429 或 503,请在防火墙、CDN 或主机的机器人防护日志中找到被拦截的请求并放行,或降低普通页面请求的验证级别。
- 如果请求超时,请检查服务器负载,以及页面从你的网络外部访问时的响应速度。
- 在你的账户中再次运行全站审计,确认结果。
如何确认修复
修改后,在报告上点击“再次检测”:它会列出已修复的内容以及评分的变化。