صفحهای که وجود ندارد بهجای 404 پاسخ 200 میدهد
ممیزی یک نشانی ساختگی در سایت شما (/aisw-not-a-page- و پس از آن چند نویسه تصادفی) را درخواست کرد و بهجای 404 یک صفحه HTML عادی با وضعیت 200 گرفت. کاری کنید که سرور یا اپلیکیشن به نشانیهایی که وجود ندارند با وضعیت 404 پاسخ دهد؛ همچنان میتواند صفحه خطای خودتان را نشان دهد.
یعنی چه
یک نشانی ساختگی درخواست کردیم و سایت با یک صفحهٔ عادی پاسخ داد. در این حالت موتورهای جستجو صفحههای خطا را مثل صفحههای واقعی ایندکس میکنند (soft 404). به نشانیهای ناموجود با وضعیت 404 پاسخ دهید.
چرا برای جستجوی هوش مصنوعی مهم است
وقتی صفحهای که وجود ندارد پاسخ 200 میدهد، موتورهای جستجو نمیتوانند آن را از یک صفحه واقعی تشخیص دهند. صفحههای خطا ممکن است خزش و ایندکس شوند، هر لینک شکسته یا اشتباهتایپشده مثل یک صفحه سالم به نظر میرسد و Google این صفحهها را در Search Console بهعنوان soft 404 فهرست میکند. خزندهها هم درخواستهایشان را صرف نشانیهایی میکنند که باید کنار گذاشته میشدند.
اینجا فقط کد وضعیت مهم است: یک صفحه خطای دوستانه اشکالی ندارد، به شرط آنکه با 404 (یا 410) فرستاده شود. ریدایرکت نشانی ساختگی، مثلاً به صفحه اصلی، در این بررسی گزارش نمیشود، اما موتورهای جستجو معمولاً چنین ریدایرکتهایی را هم soft 404 حساب میکنند.
چطور آن را اصلاح کنید
- یک نشانی ساختگی در سایت خود باز کنید و وضعیت آن را در پنل شبکه مرورگر یا با
curl -Iبررسی کنید. - پیدا کنید چه چیزی به آن پاسخ میدهد. علتهای رایج: یک مسیر catch-all در اپلیکیشن، یک قانون سرور که هر مسیری را به
index.htmlمیفرستد، یا افزونهای در CMS که برای صفحههای ناموجود صفحه اصلی را نشان میدهد. - کاری کنید که مسیر «پیدا نشد» وضعیت را تنظیم کند: در nginx،
try_filesکه به=404ختم شود بههمراهerror_page؛ در Apache،ErrorDocument 404با یک مسیر محلی (URL کامل آن را به ریدایرکت تبدیل میکند)؛ در Next.js،notFound()؛ در Express،res.status(404). - در اپ تکصفحهای، بگذارید سرور فقط به مسیرهای شناختهشده اپ با
index.htmlپاسخ دهد و بقیه را به صفحه 404 بفرستد. تگnoindexدر نمای «پیدا نشد» اپ به موتورهای جستجو کمک میکند اما وضعیت را تغییر نمیدهد، پس این بررسی همچنان آن را گزارش میکند. - ممیزی سایت را دوباره از حساب خود اجرا کنید تا نتیجه را تأیید کنید.
نمونه
# nginx
location / {
try_files $uri $uri/ =404;
}
error_page 404 /404.html;
# Apache (.htaccess)
ErrorDocument 404 /404.html چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.