Sitemap не вдається отримати (статус 403)
Sitemap оголошено або очікується, але його завантаження завершилося помилкою, 401, 403, 429 чи статусом 5xx, тож краулери теж, можливо, не можуть його прочитати. Перевірка завантажує його як браузер. Зробіть URL sitemap публічним і виключіть його з перевірок ботів та обмежень частоти.
Що це означає
Sitemap знайдено, але він відповів зі статусом 403 або не відповів узагалі, тож роботи теж можуть не змогти його використати. Перевірте, що файрвол дозволяє роботам його завантажувати.
Чому це важливо для ШІ-пошуку
Sitemap, що повертає 403 чи помилку сервера, практично відсутній: краулери не можуть дізнатися з нього про нові чи змінені сторінки. Захист від ботів — типова причина, бо запити до sitemap майже повністю надходять від краулерів, яких ці правила й створені зупиняти.
Великі sitemap, що генеруються на кожен запит, також можуть вичерпувати час або впиратися в ліміти сервера, що проявляється як статус 5xx. Оскільки перевірка завантажує файл як браузер, збій тут зазвичай означає, що краулерам теж відмовляють.
Як виправити
- Відкрийте URL sitemap зі звіту й запишіть статус. Звіт AISeeWhy показує докази та готове до вставлення виправлення; після цього запустіть «Перевірити ще раз», щоб підтвердити результат.
- У вашому CDN чи WAF виключіть шляхи sitemap (наприклад
/sitemap*.xml) із перевірок, Bot Fight Mode та обмеження частоти. - Якщо він за автентифікацією в налаштуванні на кшталт тестового середовища, зробіть його публічним на робочому хості.
- Для помилок 5xx кешуйте згенерований sitemap або заздалегідь збудуйте його як статичний файл, а дуже великі розбийте за допомогою індексу sitemap.
Як перевірити виправлення
Після зміни натисніть «Перевірити ще раз» у звіті: він покаже, що виправлено і як змінилася оцінка.