robots.txt оказался HTML-страницей
robots.invalid
Что это значит
По адресу robots.txt отдаётся HTML (часто страница 404 со статусом 200), поэтому краулеры не могут прочитать ни одного правила.
Приоритет
P2
Как исправить
Запустите бесплатную проверку своей страницы. Отчёт покажет свидетельства этой находки на вашем сайте и готовое исправление: изменение robots.txt, правило Cloudflare, разметку JSON-LD, черновик llms.txt или короткую инструкцию.
Как проверить исправление
После изменения нажмите «Проверить ещё раз» в отчёте: он покажет, что исправлено и как изменилась оценка.