Неіснуюча сторінка відповідає 200 замість 404

Коротка відповідь

Аудит запросив на вашому сайті вигадану адресу (/aisw-not-a-page- і випадкові символи) й отримав звичайну HTML-сторінку зі статусом 200 замість 404. Налаштуйте сервер або застосунок так, щоб на неіснуючі адреси вони відповідали статусом 404; показувати при цьому можна й власну сторінку помилки.

crawl.soft_404 · Пріоритет: P1–P3, залежно від типу краулера

Що це означає

Ми запросили вигадану адресу, і сайт відповів звичайною сторінкою. Тоді пошукові системи індексують сторінки помилок як справжні (soft 404). Відповідайте на неіснуючі адреси статусом 404.

Чому це важливо для ШІ-пошуку

Коли відсутня сторінка відповідає 200, пошукові системи не можуть відрізнити її від справжньої. Сторінки помилок можуть скануватися й потрапляти в індекс, будь-яке бите чи набране з помилкою посилання виглядає робочою сторінкою, а Google показує такі сторінки в Search Console як м'які 404 (soft 404). Краулери до того ж і далі витрачають запити на адреси, які мали б відпасти.

Тут важить лише код статусу: дружня сторінка помилки підходить, якщо її надіслано з кодом 404 (або 410). Переспрямування вигаданої адреси, наприклад на головну сторінку, ця перевірка не позначає, але пошукові системи зазвичай теж вважають такі переспрямування м'якими 404.

Як виправити

  1. Відкрийте вигадану адресу на своєму сайті й перевірте її статус у панелі мережі браузера або за допомогою curl -I.
  2. Знайдіть, що на неї відповідає. Поширені причини — маршрут-заглушка для всіх шляхів у застосунку, правило сервера, що надсилає будь-який шлях на index.html, або плагін CMS, який показує головну сторінку замість відсутніх.
  3. Зробіть так, щоб обробник «не знайдено» задавав статус: у nginx — try_files, що закінчується на =404, плюс error_page; в Apache — ErrorDocument 404 з локальним шляхом (повний URL перетворює його на переспрямування); у Next.js — notFound(); в Express — res.status(404).
  4. Для односторінкового застосунку нехай сервер віддає index.html лише на відомі маршрути застосунку, а все інше надсилає на сторінку 404. Тег noindex на екрані «не знайдено» допомагає пошуковим системам, але не змінює статус, тож перевірка однаково про це повідомить.
  5. Запустіть аудит сайту ще раз зі свого акаунта, щоб підтвердити результат.

Приклад

# nginx
location / {
    try_files $uri $uri/ =404;
}
error_page 404 /404.html;

# Apache (.htaccess)
ErrorDocument 404 /404.html

Як перевірити виправлення

Після зміни натисніть «Перевірити ще раз» у звіті: він покаже, що виправлено і як змінилася оцінка.

Перевірити мою сторінку →

Усі знахідки і як рахується оцінка