Мониторинг AI-краулеров
Правило файрвола, настройка CDN или новый robots.txt могут за ночь закрыть доступ AI-краулерам, и для людей на сайте ничего не выглядит сломанным. Мониторинг перепроверяет ваши важные страницы и пишет вам, когда их что-то новое блокирует.
Бесплатно · Без регистрации · Результат за 30 секунд
Тарифы и цены → Посмотреть пример полного отчёта →
Этот текст переведён с английского машинным способом.
Что проверяет мониторинг
Каждый запуск — это та же проверка, что и бесплатная на нашей главной странице. Ваша страница загружается как 16 AI-краулеров и поисковых ботов, как curl и как настольный браузер, каждый со своим опубликованным user agent. robots.txt оценивается для каждого токена краулера, а также проверяются структурированные данные, контент, даты, карты сайта, hreflang и llms.txt страницы. Результат — оценка от 0 до 100 и список находок с приоритетами от P1 до P3.
Когда приходит письмо
Отслеживаемые страницы перепроверяются ежедневно или еженедельно, как вы выберете. Письмо приходит, когда появляется новая блокирующая проблема, например краулер теперь получает 403 или страницу проверки, или когда оценка падает на 10 баллов или больше. В письме сказано, что изменилось, и есть ссылка на отчёт с исправлением.
Чего он не видит
Запросы идут с нашего сервера с user agent каждого краулера, а не с IP-адресов самих операторов краулеров. Файрвол, который доверяет настоящим краулерам по IP, может обращаться с ними иначе, чем с нами, и в каждой находке о блокировке это указано. Чтобы увидеть, как отвечали настоящим краулерам, проверка серверных журналов на платных тарифах читает ваш журнал доступа и считает визиты и коды статуса каждого AI-краулера.
Тарифы с мониторингом
- Pro, $22 в месяц: 3 отслеживаемых страниц, для личного некоммерческого сайта.
- Business, $88 в месяц: 25 отслеживаемых страниц, для сайтов компаний и работы с клиентами.
- Agency, $288 в месяц: 60 отслеживаемых страниц для множества клиентских сайтов.
- Enterprise, $888 в месяц: 100 отслеживаемых страниц.
В бесплатном тарифе мониторинга нет: он даёт одну проверку в день с оценкой и первой находкой. Тарифы оплачиваются ежемесячно, их можно отменить в любой момент, а любой платёж можно полностью вернуть в течение 14 дней.
Как начать
- Запустите бесплатную проверку самой важной страницы и посмотрите на первую находку.
- Выберите тариф на странице цен и войдите по электронной почте.
- Добавьте страницы для отслеживания в разделе «Мониторинг» в аккаунте: главную, цены, основные страницы продуктов или услуг и ключевые статьи.
- Выберите ежедневно или еженедельно. После исправления перепроверьте страницу, чтобы увидеть оценку до и после.
Частые вопросы
Какие изменения вызывают оповещение?
Новая блокирующая проблема на отслеживаемой странице, например краулер, которому теперь отказывают, или падение оценки на 10 баллов или больше с предыдущей проверки.
Использует ли мониторинг настоящие GPTBot или ClaudeBot?
Нет. Он отправляет их опубликованные user agent с нашего сервера. Это показывает, как ваш файрвол и сервер обращаются с этими user agent; проверка серверных журналов показывает настоящие визиты.
Можно ли отслеживать сайты клиентов?
Да, на Business, Agency и Enterprise. Pro предназначен для личного некоммерческого использования.
Можно ли попробовать до оплаты?
Бесплатная проверка показывает, что находит один запуск на любой странице. Сам мониторинг требует платного тарифа, который можно отменить в любой момент и вернуть деньги в течение 14 дней.