صفحه به موتورهای جستجو میگوید آن را ایندکس نکنند
صفحه به موتورهای جستجو میگوید آن را ایندکس نکنند: noindex یا none در یک متاتگ robots، googlebot یا bingbot، یا در هدر HTTP X-Robots-Tag آمده است. یافته نشان میدهد کدام. در این حالت Google و Bing صفحه را از نتایج خود بیرون نگه میدارند. اگر صفحه باید پیدا شود، این قانون را حذف کنید.
یعنی چه
یک قانون noindex (meta) این صفحه را از Google و Bing و در نتیجه از پاسخهای هوش مصنوعی مبتنی بر ایندکس آنها بیرون نگه میدارد. اگر صفحه باید پیدا شود، آن را حذف کنید.
چرا برای جستجوی هوش مصنوعی مهم است
Google و Bing در خزش بعدی صفحه از قانون noindex پیروی میکنند و صفحه از نتایج آنها حذف میشود. در نتیجه پاسخهای هوش مصنوعی و قابلیتهای جستجوی هوش مصنوعی که روی این ایندکسهای جستجو ساخته شدهاند هم صفحه را پیدا نمیکنند.
noindex برای صفحههایی مانند مراحل پرداخت، نتایج جستجوی داخلی یا صفحههای تشکر درست است. مشکل وقتی است که از یک سایت staging جا مانده باشد، با گزینهای سراسری مانند «منصرف کردن موتورهای جستجو» تنظیم شده باشد، یا با یک قانون سرور یا CDN بهصورت هدر فرستاده شود که هیچکس آن را در HTML نمیبیند.
چطور آن را اصلاح کنید
- منبع را در یافته بررسی کنید: یک متاتگ در HTML یا هدر
X-Robots-Tag. - برای متاتگ،
noindexوnoneرا از آن حذف کنید یا تگ را پاک کنید. در WordPress بررسی کنید که گزینه Settings → Reading → «Discourage search engines from indexing this site» خاموش باشد و تنظیمات SEO خود صفحه را هم بررسی کنید. در Shopify، کد پوسته و اپهایی را که متاتگ robots اضافه میکنند بررسی کنید. - برای هدر، پیدا کنید کجا تنظیم شده است، مانند
add_headerدر Nginx،Header setدر Apache، فایل_headers، یک Transform Rule در Cloudflare یا middleware فریمورک، و آن را برای این صفحه حذف کنید. - همزمان صفحه را در robots.txt مسدود نکنید: خزندهها باید صفحه را دریافت کنند تا ببینند noindex برداشته شده است.
- در گزارش صفحه «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
نمونه
# nginx: send noindex only where it belongs, not site-wide
location /search/ {
add_header X-Robots-Tag "noindex";
} چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.