Сторінок, що відмовили в скануванні: 2
Ці сторінки відповіли 401, 403, 429 чи 503 або перевищили час очікування, коли аудит завантажував їх як браузер. Часто причина — фаєрвол, захист від ботів чи обмеження частоти запитів, а не зламана сторінка. Перевірте, чи пошукові та ШІ-краулери отримують таку саму відповідь.
Що це означає
Ці сторінки відповіли 401, 403, 429 або 503 чи не відповіли вчасно. Файрвол або обмеження частоти запитів може блокувати й краулери. Перевірте, чи отримують пошукові та ШІ-краулери ту саму відповідь.
Чому це важливо для ШІ-пошуку
Аудит завантажує багато сторінок за короткий час з одного сервера, тож обмеження частоти запитів може відповісти 429 чи 503, навіть коли люди сторінку отримують. Якщо те саме правило діє для пошукових і ШІ-краулерів, ці сторінки не завантажуються до їхніх індексів і не можуть бути процитовані у відповідях ШІ.
401 означає, що сторінка вимагає входу, — це очікувано для розділів акаунта, але не для публічного вмісту. 503 на кожній сторінці може означати, що режим обслуговування залишили ввімкненим. Ці сторінки відокремлено від битих посилань, бо виправлення залежить від того, кому відмовляють.
Як виправити
- Відкрийте кілька URL зі списку в приватному вікні браузера. Якщо вони завантажуються, блокування спрямоване на автоматизовані запити.
- Знайдіть відхилені запити в логах фаєрвола, CDN чи хостингу. Переконайтеся, що перевірені пошукові краулери, як-от Googlebot і Bingbot, а також потрібні вам ШІ-краулери пошуку дозволені; багато CDN, зокрема Cloudflare, мають налаштування для перевірених ботів.
- Якщо причина в обмеженні частоти запитів, підвищте ліміт для звичайних запитів сторінок або виключіть із нього HTML-сторінки.
- Якщо сторінки відповідають 401, приберіть вхід із публічних сторінок або перестаньте посилатися на приватні сторінки з публічних.
- Запустіть аудит сайту ще раз зі свого акаунта, щоб підтвердити результат.
Як перевірити виправлення
Після зміни натисніть «Перевірити ще раз» у звіті: він покаже, що виправлено і як змінилася оцінка.