Страница запрещает поисковикам её индексировать

Короткий ответ

Страница запрещает поисковикам её индексировать: noindex или none указан в мета-теге robots, googlebot или bingbot либо в HTTP-заголовке X-Robots-Tag. В находке указано, где именно. Google и Bing тогда не показывают страницу в результатах. Уберите правило, если страницу должны находить.

seo.noindex · Приоритет: P1

Что это значит

Правило noindex (meta) исключает страницу из Google и Bing, а значит, и из ответов AI, построенных на их индексе. Уберите его, если страницу должны находить.

Почему это важно для AI-поиска

Google и Bing выполняют правило noindex при следующем обходе страницы, и она пропадает из их результатов. Ответы AI и AI-функции поиска, построенные на этих поисковых индексах, тогда тоже не находят страницу.

Noindex уместен для таких страниц, как шаги оформления заказа, результаты внутреннего поиска или страницы благодарности. Проблема возникает, когда он остался с тестовой версии сайта, включён общей настройкой «попросить поисковые системы не индексировать сайт» или отправляется заголовком из правила сервера или CDN, которого никто не видит в HTML.

Как исправить

  1. Проверьте источник в находке: мета-тег в HTML или заголовок X-Robots-Tag.
  2. Для мета-тега уберите из него noindex и none или удалите тег. В WordPress проверьте, что в Настройки → Чтение отключён пункт «Попросить поисковые системы не индексировать сайт», и проверьте SEO-настройки самой страницы. В Shopify проверьте код темы и приложения, которые добавляют мета-тег robots.
  3. Для заголовка найдите, где он задаётся, — например, add_header в Nginx, Header set в Apache, файл _headers, Transform Rule в Cloudflare или middleware фреймворка — и уберите его для этой страницы.
  4. Не блокируйте страницу в robots.txt одновременно с этим: краулерам нужно загрузить страницу, чтобы увидеть, что noindex убран.
  5. Нажмите «Проверить снова» в отчёте по странице, чтобы подтвердить результат.

Пример

# nginx: send noindex only where it belongs, not site-wide
location /search/ {
    add_header X-Robots-Tag "noindex";
}

Как проверить исправление

После изменения нажмите «Проверить ещё раз» в отчёте: он покажет, что исправлено и как изменилась оценка.

Проверить мою страницу →

Связанные руководства

Все находки и как считается оценка