Переехали на Cloudflare? Проверьте, что AI-краулеры всё ещё проходят
Защита от ботов, «Block AI bots» и правила WAF во многих настройках Cloudflare включены по умолчанию. Они могут не пускать краулеры AI-поиска, а вы не увидите на своей стороне никакой ошибки.
Бесплатно · Без регистрации · Результат за 30 секунд
Что их блокирует
Bot Fight Mode, блокировка AI-ботов, управляемые проверки и собственные правила WAF, которые срабатывают на user agent краулера или его сеть.
Что мы проверяем
Ваши страницы, загруженные от имени 16 AI- и поисковых краулеров рядом с обычным браузером, с кодом ответа и заголовком Cloudflare, который показывает блокировку.
Держите под контролем
Правила меняются. Мониторинг перепроверяет ваши ключевые страницы и присылает письмо, когда какой-то краулер снова оказывается за дверью.
После редизайна · После переезда на Shopify · После изменения robots.txt