robots.txt не вдається отримати
robots.unreachable
Що це означає
robots.txt відповів зі статусом 403 або не відповів узагалі. Згідно з RFC 9309 краулери тоді вважають закритим увесь сайт.
Пріоритет
P1
Як виправити
Запустіть безкоштовну перевірку своєї сторінки. Звіт покаже докази цієї знахідки на вашому сайті й готове виправлення: зміну robots.txt, правило Cloudflare, розмітку JSON-LD, чернетку llms.txt або коротку інструкцію.
Як перевірити виправлення
Після зміни натисніть «Перевірити ще раз» у звіті: він покаже, що виправлено і як змінилася оцінка.