robots.txt недоступен
robots.unreachable
Что это значит
robots.txt ответил статусом 403 или не ответил. По RFC 9309 краулеры в этом случае считают весь сайт закрытым.
Приоритет
P1
Как исправить
Запустите бесплатную проверку своей страницы. Отчёт покажет свидетельства этой находки на вашем сайте и готовое исправление: изменение robots.txt, правило Cloudflare, разметку JSON-LD, черновик llms.txt или короткую инструкцию.
Как проверить исправление
После изменения нажмите «Проверить ещё раз» в отчёте: он покажет, что исправлено и как изменилась оценка.