2 trang từ chối thu thập dữ liệu
Các trang này trả về 401, 403, 429 hoặc 503, hoặc hết thời gian chờ, khi lần kiểm tra tải chúng như một trình duyệt. Đó thường là tường lửa, bảo vệ bot hoặc giới hạn tần suất chứ không phải trang hỏng. Hãy kiểm tra xem các trình thu thập tìm kiếm và AI có nhận cùng phản hồi không.
Ý nghĩa
Các trang này trả về 401, 403, 429 hoặc 503, hoặc hết thời gian chờ. Tường lửa hoặc giới hạn tốc độ có thể cũng đang chặn trình thu thập dữ liệu. Hãy kiểm tra xem trình thu thập của công cụ tìm kiếm và AI có nhận cùng một phản hồi không.
Vì sao điều này quan trọng với tìm kiếm AI
Lần kiểm tra tải nhiều trang trong thời gian ngắn từ một máy chủ, nên giới hạn tần suất có thể trả về 429 hoặc 503 ngay cả khi người dùng vẫn xem được trang. Nếu cùng quy tắc áp dụng cho trình thu thập tìm kiếm và AI, các trang này không được tải cho chỉ mục của chúng và không thể được trích dẫn trong câu trả lời AI.
Mã 401 nghĩa là trang cần đăng nhập, điều bình thường với khu vực tài khoản nhưng không phải với nội dung công khai. Mã 503 trên mọi trang có thể nghĩa là chế độ bảo trì vẫn đang bật. Các trang này được tách riêng khỏi liên kết hỏng vì cách sửa phụ thuộc vào việc ai đang bị từ chối.
Cách khắc phục
- Mở vài URL được liệt kê trong cửa sổ trình duyệt riêng tư. Nếu chúng tải được, lệnh chặn nhắm vào yêu cầu tự động.
- Tìm các yêu cầu bị từ chối trong nhật ký tường lửa, CDN hoặc hosting. Bảo đảm các trình thu thập tìm kiếm đã xác minh như Googlebot và Bingbot, cùng các trình thu thập tìm kiếm AI bạn muốn, được cho phép; nhiều CDN, trong đó có Cloudflare, có cài đặt cho bot đã xác minh.
- Nếu nguyên nhân là giới hạn tần suất, nâng giới hạn cho các yêu cầu trang thông thường hoặc loại trang HTML khỏi giới hạn đó.
- Nếu trang trả về 401, gỡ yêu cầu đăng nhập khỏi trang công khai, hoặc ngừng liên kết tới trang riêng tư từ trang công khai.
- Chạy lại kiểm tra toàn site từ tài khoản của bạn để xác nhận kết quả.
Cách xác nhận đã khắc phục
Sau khi thay đổi, nhấn "Kiểm tra lại" trên báo cáo: báo cáo liệt kê những gì đã khắc phục và điểm thay đổi ra sao.