Моніторинг AI-краулерів
Правило файрвола, налаштування CDN або новий robots.txt можуть за ніч закрити доступ AI-краулерам, і для людей на сайті нічого не виглядатиме зламаним. Моніторинг повторно перевіряє ваші важливі сторінки й пише вам, коли їх щось нове блокує.
Безкоштовно · Без реєстрації · Результат за 30 секунд
Тарифи та ціни → Переглянути приклад повного звіту →
Цей текст перекладено з англійської машинним способом.
Що перевіряє моніторинг
Кожен запуск — це та сама перевірка, що й безкоштовна на нашій головній сторінці. Вашу сторінку завантажують як 16 AI-краулерів і пошукових ботів, як curl і як настільний браузер, кожен зі своїм опублікованим user agent. robots.txt оцінюється для кожного токена краулера, а також перевіряються структуровані дані, контент, дати, карти сайту, hreflang і llms.txt сторінки. Результат — оцінка від 0 до 100 і список знахідок із пріоритетами від P1 до P3.
Коли приходить лист
Відстежувані сторінки повторно перевіряються щодня або щотижня, як ви оберете. Лист приходить, коли з'являється нова блокувальна проблема, наприклад краулер тепер отримує 403 або сторінку перевірки, або коли оцінка падає на 10 балів чи більше. У листі сказано, що змінилося, і є посилання на звіт із виправленням.
Чого він не бачить
Запити йдуть із нашого сервера з user agent кожного краулера, а не з IP-адрес самих операторів краулерів. Файрвол, який довіряє справжнім краулерам за IP, може поводитися з ними інакше, ніж із нами, і в кожній знахідці про блокування це зазначено. Щоб побачити, як відповідали справжнім краулерам, перевірка серверних журналів на платних тарифах читає ваш журнал доступу й рахує візити та коди статусу кожного AI-краулера.
Тарифи з моніторингом
- Pro, $22 на місяць: 3 відстежуваних сторінок, для особистого некомерційного сайту.
- Business, $88 на місяць: 25 відстежуваних сторінок, для сайтів компаній і роботи з клієнтами.
- Agency, $288 на місяць: 60 відстежуваних сторінок для багатьох клієнтських сайтів.
- Enterprise, $888 на місяць: 100 відстежуваних сторінок.
У безкоштовному тарифі моніторингу немає: він дає одну перевірку на день з оцінкою та першою знахідкою. Тарифи оплачуються щомісяця, їх можна скасувати будь-коли, а будь-який платіж можна повністю повернути протягом 14 днів.
Як почати
- Запустіть безкоштовну перевірку найважливішої сторінки й подивіться на першу знахідку.
- Виберіть тариф на сторінці цін і увійдіть через електронну пошту.
- Додайте сторінки для відстеження в розділі «Моніторинг» в обліковому записі: головну, ціни, основні сторінки продуктів чи послуг і ключові статті.
- Виберіть щодня або щотижня. Після виправлення повторно перевірте сторінку, щоб побачити оцінку до і після.
Поширені запитання
Які зміни викликають сповіщення?
Нова блокувальна проблема на відстежуваній сторінці, наприклад краулер, якому тепер відмовляють, або падіння оцінки на 10 балів чи більше від попередньої перевірки.
Чи використовує моніторинг справжні GPTBot або ClaudeBot?
Ні. Він надсилає їхні опубліковані user agent з нашого сервера. Це показує, як ваш файрвол і сервер поводяться з цими user agent; перевірка серверних журналів показує справжні візити.
Чи можна відстежувати сайти клієнтів?
Так, на Business, Agency та Enterprise. Pro призначений для особистого некомерційного використання.
Чи можна спробувати до оплати?
Безкоштовна перевірка показує, що знаходить один запуск на будь-якій сторінці. Сам моніторинг потребує платного тарифу, який можна скасувати будь-коли й повернути гроші протягом 14 днів.