Сторінка забороняє пошуковим системам її індексувати
Сторінка просить пошукові системи не індексувати її: noindex або none стоїть у метатегу robots, googlebot чи bingbot або в HTTP-заголовку X-Robots-Tag. Знахідка показує, де саме. Google і Bing тоді не показують сторінку в результатах. Приберіть правило, якщо сторінку мають знаходити.
Що це означає
Правило noindex (meta) виключає сторінку з Google і Bing, а отже, і з відповідей AI, побудованих на їхньому індексі. Приберіть його, якщо сторінку мають знаходити.
Чому це важливо для ШІ-пошуку
Google і Bing виконують правило noindex під час наступного сканування сторінки, і вона зникає з їхніх результатів. Відповіді ШІ та функції ШІ-пошуку, побудовані на цих пошукових індексах, тоді теж не знаходять сторінку.
Noindex доречний для таких сторінок, як кроки оформлення замовлення, результати внутрішнього пошуку чи сторінки подяки. Проблема виникає, коли він залишився з тестового сайту, задається загальним параметром «не індексувати сайт» або надсилається як заголовок правилом сервера чи CDN, якого ніхто не бачить у HTML.
Як виправити
- Перевірте джерело у знахідці: метатег у HTML чи заголовок
X-Robots-Tag. - Для метатегу приберіть із нього
noindexіnoneабо видаліть тег. У WordPress перевірте, що в Settings → Reading вимкнено «Discourage search engines from indexing this site», а також перевірте SEO-налаштування самої сторінки. У Shopify перевірте код теми й застосунки, що додають метатег robots. - Для заголовка знайдіть, де його задано, наприклад Nginx
add_header, ApacheHeader set, файл_headers, Cloudflare Transform Rule чи проміжне ПЗ фреймворку, і приберіть його для цієї сторінки. - Не блокуйте сторінку в robots.txt одночасно з цим: краулерам потрібно завантажити сторінку, щоб побачити, що noindex прибрано.
- Запустіть «Перевірити ще раз» у звіті сторінки, щоб підтвердити результат.
Приклад
# nginx: send noindex only where it belongs, not site-wide
location /search/ {
add_header X-Robots-Tag "noindex";
} Як перевірити виправлення
Після зміни натисніть «Перевірити ще раз» у звіті: він покаже, що виправлено і як змінилася оцінка.