Несуществующая страница отвечает 200 вместо 404

Короткий ответ

Аудит запросил на вашем сайте выдуманный адрес (/aisw-not-a-page- и случайные символы) и получил обычную HTML-страницу со статусом 200 вместо 404. Настройте сервер или приложение так, чтобы на несуществующие адреса они отвечали статусом 404; показывать при этом можно и собственную страницу ошибки.

crawl.soft_404 · Приоритет: P1–P3, в зависимости от типа краулера

Что это значит

Мы запросили выдуманный адрес, и сайт ответил обычной страницей. Тогда поисковики индексируют страницы ошибок как настоящие (soft 404). Отвечайте на несуществующие адреса статусом 404.

Почему это важно для AI-поиска

Когда отсутствующая страница отвечает 200, поисковики не могут отличить её от настоящей. Страницы ошибок могут обходиться и попадать в индекс, любая битая или опечатанная ссылка выглядит рабочей страницей, а Google показывает такие страницы в Search Console как ложные 404 (soft 404). Краулеры к тому же продолжают тратить запросы на адреса, которые должны были отпасть.

Здесь важен только код статуса: дружелюбная страница ошибки подходит, если она отдаётся с кодом 404 (или 410). Редирект выдуманного адреса, например на главную страницу, эта проверка не отмечает, но поисковики обычно тоже считают такие редиректы ложными 404.

Как исправить

  1. Откройте выдуманный адрес на своём сайте и посмотрите его статус в панели сети браузера или с помощью curl -I.
  2. Найдите, что на него отвечает. Частые причины — маршрут-заглушка для всех путей в приложении, правило сервера, отправляющее любой путь на index.html, или плагин CMS, который показывает главную страницу вместо отсутствующих.
  3. Сделайте так, чтобы обработчик «не найдено» задавал статус: в nginx — try_files, заканчивающийся на =404, плюс error_page; в Apache — ErrorDocument 404 с локальным путём (полный URL превращает его в редирект); в Next.js — notFound(); в Express — res.status(404).
  4. Для одностраничного приложения пусть сервер отдаёт index.html только на известные маршруты приложения, а всё остальное отправляет на страницу 404. Тег noindex на экране «не найдено» помогает поисковикам, но не меняет статус, поэтому проверка всё равно об этом сообщит.
  5. Запустите аудит сайта снова из своего аккаунта, чтобы подтвердить результат.

Пример

# nginx
location / {
    try_files $uri $uri/ =404;
}
error_page 404 /404.html;

# Apache (.htaccess)
ErrorDocument 404 /404.html

Как проверить исправление

После изменения нажмите «Проверить ещё раз» в отчёте: он покажет, что исправлено и как изменилась оценка.

Проверить мою страницу →

Все находки и как считается оценка