Перейшли на Cloudflare? Перевірте, чи ШІ-краулери досі потрапляють на сайт
Захист від ботів, «Block AI bots» і правила WAF у багатьох налаштуваннях Cloudflare увімкнені за замовчуванням. Вони можуть не пускати пошукові ШІ-краулери без жодної помилки з вашого боку.
Безкоштовно · Без реєстрації · Результат за 30 секунд
Що їх блокує
Bot Fight Mode, блокування ШІ-ботів, керовані перевірки та власні правила WAF, що збігаються з user agent краулера або його мережею.
Що ми перевіряємо
Ваші сторінки, отримані від імені 16 ШІ- та пошукових краулерів поряд зі звичайним браузером, з кодом статусу й заголовком Cloudflare, який показує блокування.
Тримайте під контролем
Правила змінюються. Моніторинг повторно перевіряє ваші ключові сторінки й надсилає вам лист, коли краулер знову не може потрапити на сайт.
Після редизайну · Після переходу на Shopify · Після зміни robots.txt