Không thể tải sitemap (trạng thái 403)
Sitemap được khai báo hoặc được kỳ vọng, nhưng tải nó thất bại với lỗi, mã 401, 403, 429 hoặc 5xx, nên trình thu thập cũng có thể không đọc được. Lần kiểm tra tải nó như trình duyệt. Hãy mở công khai URL sitemap và loại nó khỏi thử thách bot và giới hạn tốc độ.
Ý nghĩa
Đã tìm thấy sitemap nhưng nó trả về trạng thái 403 hoặc không phản hồi, nên trình thu thập dữ liệu cũng có thể không dùng được. Hãy kiểm tra tường lửa có cho phép trình thu thập tải sitemap hay không.
Vì sao điều này quan trọng với tìm kiếm AI
Sitemap trả 403 hoặc lỗi máy chủ cũng như không có: trình thu thập không biết được trang mới hay trang đã đổi từ nó. Bảo vệ bot là nguyên nhân phổ biến, vì yêu cầu sitemap gần như toàn đến từ trình thu thập, đúng đối tượng mà các quy tắc đó sinh ra để chặn.
Sitemap lớn tạo ra ở mỗi yêu cầu cũng có thể hết thời gian hoặc chạm giới hạn máy chủ, biểu hiện là mã 5xx. Vì lần kiểm tra tải tệp như trình duyệt, lỗi ở đây thường có nghĩa trình thu thập cũng bị từ chối.
Cách khắc phục
- Mở URL sitemap trong báo cáo và ghi lại mã trạng thái. Báo cáo AISeeWhy hiển thị bằng chứng và bản sửa sẵn để dán; sau đó chạy "Kiểm tra lại" để xác nhận kết quả.
- Trong CDN hoặc WAF, loại các đường dẫn sitemap (ví dụ
/sitemap*.xml) khỏi thử thách, Bot Fight Mode và giới hạn tốc độ. - Nếu nó nằm sau xác thực kiểu staging, hãy mở công khai trên máy chủ production.
- Với lỗi 5xx, lưu sitemap đã tạo vào bộ nhớ đệm hoặc dựng sẵn thành tệp tĩnh, và chia sitemap rất lớn bằng chỉ mục sitemap.
Cách xác nhận đã khắc phục
Sau khi thay đổi, nhấn "Kiểm tra lại" trên báo cáo: báo cáo liệt kê những gì đã khắc phục và điểm thay đổi ra sao.