Страниц, отказавших в сканировании: 2

Короткий ответ

Эти страницы ответили 401, 403, 429 или 503 либо превысили тайм-аут, когда аудит загружал их как браузер. Часто причина — файрвол, защита от ботов или ограничение частоты запросов, а не сломанная страница. Проверьте, получают ли поисковые и AI-краулеры такой же ответ.

crawl.unreachable · Приоритет: P1–P3, в зависимости от типа краулера

Что это значит

Эти страницы ответили 401, 403, 429 или 503 либо не ответили вовремя. Файрвол или ограничение частоты запросов может блокировать и краулеры. Проверьте, получают ли поисковые и AI-краулеры тот же ответ.

Почему это важно для AI-поиска

Аудит загружает много страниц за короткое время с одного сервера, поэтому ограничение частоты запросов может отвечать 429 или 503, даже когда люди получают страницу. Если то же правило действует на поисковые и AI-краулеры, эти страницы не загружаются в их индексы и не могут цитироваться в ответах AI.

401 означает, что страница требует входа, — это ожидаемо для личных кабинетов, но не для публичного контента. 503 на каждой странице может означать, что не выключен режим обслуживания. Эти страницы отделены от битых ссылок, потому что исправление зависит от того, кому отказывают.

Как исправить

  1. Откройте несколько URL из списка в приватном окне браузера. Если они загружаются, блокировка направлена на автоматические запросы.
  2. Найдите отклонённые запросы в логах файрвола, CDN или хостинга. Убедитесь, что проверенные поисковые краулеры, такие как Googlebot и Bingbot, и нужные вам AI-поисковые краулеры разрешены; во многих CDN, в том числе в Cloudflare, есть настройка для проверенных ботов.
  3. Если причина в ограничении частоты запросов, поднимите лимит для обычных запросов страниц или исключите из него HTML-страницы.
  4. Если страницы отвечают 401, уберите вход с публичных страниц или перестаньте ссылаться с публичных страниц на закрытые.
  5. Запустите аудит сайта снова из своего аккаунта, чтобы подтвердить результат.

Как проверить исправление

После изменения нажмите «Проверить ещё раз» в отчёте: он покажет, что исправлено и как изменилась оценка.

Проверить мою страницу →

Все находки и как считается оценка