Sitemap не удаётся получить (статус 403)
Карта сайта объявлена или ожидается, но её загрузка завершилась ошибкой, статусом 401, 403, 429 или 5xx, так что краулеры, возможно, тоже не смогут её прочитать. Аудит загружает её как браузер. Сделайте URL карты сайта общедоступным и исключите его из проверок на ботов и ограничений частоты.
Что это значит
Sitemap найден, но он ответил со статусом 403 или не ответил вовсе, поэтому роботы тоже могут не суметь его использовать. Проверьте, что файрвол разрешает роботам его загружать.
Почему это важно для AI-поиска
Карта сайта, возвращающая 403 или ошибку сервера, равносильна отсутствующей: краулеры не могут узнать из неё о новых или изменённых страницах. Частая причина — защита от ботов, потому что запросы карты сайта приходят почти исключительно от краулеров, а эти правила как раз созданы, чтобы их останавливать.
Большие карты сайта, создаваемые при каждом запросе, могут также завершаться по тайм-ауту или упираться в лимиты сервера, что проявляется как статус 5xx. Поскольку аудит загружает файл как браузер, сбой здесь обычно означает, что и краулерам отказывают.
Как исправить
- Откройте URL карты сайта из отчёта и отметьте статус. Отчёт AISeeWhy показывает доказательства и готовое исправление; затем нажмите «Проверить снова», чтобы подтвердить результат.
- В CDN или WAF исключите пути карты сайта (например
/sitemap*.xml) из проверок, Bot Fight Mode и ограничения частоты. - Если она закрыта авторизацией, как на тестовом сервере, сделайте её общедоступной на рабочем хосте.
- При ошибках 5xx кешируйте созданную карту сайта или заранее собирайте её как статический файл, а очень большие разбейте с помощью индекса карт сайта.
Как проверить исправление
После изменения нажмите «Проверить ещё раз» в отчёте: он покажет, что исправлено и как изменилась оценка.