Trang yêu cầu công cụ tìm kiếm không lập chỉ mục
Trang yêu cầu công cụ tìm kiếm không lập chỉ mục: noindex hoặc none xuất hiện trong thẻ meta robots, googlebot hoặc bingbot, hoặc trong header HTTP X-Robots-Tag. Phát hiện cho biết đó là cái nào. Khi đó Google và Bing loại trang khỏi kết quả của họ. Hãy gỡ quy tắc nếu trang cần được tìm thấy.
Ý nghĩa
Một quy tắc noindex (meta) khiến trang này không xuất hiện trên Google và Bing, do đó cũng không có trong câu trả lời AI dựa trên chỉ mục của họ. Hãy gỡ bỏ nếu trang cần được tìm thấy.
Vì sao điều này quan trọng với tìm kiếm AI
Google và Bing tuân theo quy tắc noindex ở lần thu thập trang tiếp theo, và trang biến khỏi kết quả của họ. Câu trả lời AI và các tính năng tìm kiếm AI dựa trên các chỉ mục tìm kiếm đó cũng sẽ không tìm thấy trang.
Noindex phù hợp với các trang như bước thanh toán, kết quả tìm kiếm nội bộ hoặc trang cảm ơn. Nó là vấn đề khi còn sót từ site staging, được đặt bởi tùy chọn toàn site kiểu "ngăn công cụ tìm kiếm", hoặc được gửi dưới dạng header bởi một quy tắc máy chủ hay CDN mà không ai thấy trong HTML.
Cách khắc phục
- Kiểm tra nguồn trong phát hiện: thẻ meta trong HTML hay header
X-Robots-Tag. - Với thẻ meta, xóa
noindexvànonekhỏi thẻ hoặc xóa cả thẻ. Trên WordPress, kiểm tra mục Settings → Reading → "Discourage search engines from indexing this site" đang tắt, và kiểm tra cài đặt SEO riêng của trang. Trên Shopify, kiểm tra mã giao diện và các ứng dụng thêm thẻ meta robots. - Với header, tìm nơi đặt nó, như
add_headercủa Nginx,Header setcủa Apache, tệp_headers, Transform Rule của Cloudflare hoặc middleware của framework, và gỡ nó cho trang này. - Đừng đồng thời chặn trang trong robots.txt: trình thu thập phải tải được trang mới thấy noindex đã được gỡ.
- Chạy "Kiểm tra lại" trên báo cáo trang để xác nhận kết quả.
Ví dụ
# nginx: send noindex only where it belongs, not site-wide
location /search/ {
add_header X-Robots-Tag "noindex";
} Cách xác nhận đã khắc phục
Sau khi thay đổi, nhấn "Kiểm tra lại" trên báo cáo: báo cáo liệt kê những gì đã khắc phục và điểm thay đổi ra sao.