صفحه‌ای که وجود ندارد به‌جای 404 پاسخ 200 می‌دهد

پاسخ کوتاه

ممیزی یک نشانی ساختگی در سایت شما (/aisw-not-a-page- و پس از آن چند نویسه تصادفی) را درخواست کرد و به‌جای 404 یک صفحه HTML عادی با وضعیت 200 گرفت. کاری کنید که سرور یا اپلیکیشن به نشانی‌هایی که وجود ندارند با وضعیت 404 پاسخ دهد؛ همچنان می‌تواند صفحه خطای خودتان را نشان دهد.

crawl.soft_404 · اولویت: P1 تا P3، بسته به نوع خزنده

یعنی چه

یک نشانی ساختگی درخواست کردیم و سایت با یک صفحهٔ عادی پاسخ داد. در این حالت موتورهای جستجو صفحه‌های خطا را مثل صفحه‌های واقعی ایندکس می‌کنند (soft 404). به نشانی‌های ناموجود با وضعیت 404 پاسخ دهید.

چرا برای جستجوی هوش مصنوعی مهم است

وقتی صفحه‌ای که وجود ندارد پاسخ 200 می‌دهد، موتورهای جستجو نمی‌توانند آن را از یک صفحه واقعی تشخیص دهند. صفحه‌های خطا ممکن است خزش و ایندکس شوند، هر لینک شکسته یا اشتباه‌تایپ‌شده مثل یک صفحه سالم به نظر می‌رسد و Google این صفحه‌ها را در Search Console به‌عنوان soft 404 فهرست می‌کند. خزنده‌ها هم درخواست‌هایشان را صرف نشانی‌هایی می‌کنند که باید کنار گذاشته می‌شدند.

اینجا فقط کد وضعیت مهم است: یک صفحه خطای دوستانه اشکالی ندارد، به شرط آنکه با 404 (یا 410) فرستاده شود. ریدایرکت نشانی ساختگی، مثلاً به صفحه اصلی، در این بررسی گزارش نمی‌شود، اما موتورهای جستجو معمولاً چنین ریدایرکت‌هایی را هم soft 404 حساب می‌کنند.

چطور آن را اصلاح کنید

  1. یک نشانی ساختگی در سایت خود باز کنید و وضعیت آن را در پنل شبکه مرورگر یا با curl -I بررسی کنید.
  2. پیدا کنید چه چیزی به آن پاسخ می‌دهد. علت‌های رایج: یک مسیر catch-all در اپلیکیشن، یک قانون سرور که هر مسیری را به index.html می‌فرستد، یا افزونه‌ای در CMS که برای صفحه‌های ناموجود صفحه اصلی را نشان می‌دهد.
  3. کاری کنید که مسیر «پیدا نشد» وضعیت را تنظیم کند: در nginx، try_files که به =404 ختم شود به‌همراه error_page؛ در Apache، ErrorDocument 404 با یک مسیر محلی (URL کامل آن را به ریدایرکت تبدیل می‌کند)؛ در Next.js، notFound()؛ در Express، res.status(404).
  4. در اپ تک‌صفحه‌ای، بگذارید سرور فقط به مسیرهای شناخته‌شده اپ با index.html پاسخ دهد و بقیه را به صفحه 404 بفرستد. تگ noindex در نمای «پیدا نشد» اپ به موتورهای جستجو کمک می‌کند اما وضعیت را تغییر نمی‌دهد، پس این بررسی همچنان آن را گزارش می‌کند.
  5. ممیزی سایت را دوباره از حساب خود اجرا کنید تا نتیجه را تأیید کنید.

نمونه

# nginx
location / {
    try_files $uri $uri/ =404;
}
error_page 404 /404.html;

# Apache (.htaccess)
ErrorDocument 404 /404.html

چطور از رفع مشکل مطمئن شویم

پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست می‌کند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.

بررسی صفحه من ←

همه یافته‌ها و نحوه محاسبه امتیاز