Изменили robots.txt? Посмотрите, как его читает каждый AI-краулер

Одна строка не в той группе может заблокировать поиск ChatGPT, хотя вы хотели закрыть только обучение ИИ. Проверьте результат для 16 краулеров.

Бесплатно · Без регистрации · Результат за 30 секунд

Какая группа применяется

Краулер следует группе, где он назван по имени, а не группе *, и это удивляет многих владельцев сайтов.

Поиск или обучение

Закройте краулеры для обучения, если хотите, и оставьте те, благодаря которым вы попадаете в ответы AI-поиска.

Точное исправление

Строки, которые нужно изменить, готовые для вставки, и повторная проверка для подтверждения.

Получить полный пакет

После переезда на Cloudflare · После редизайна · После переезда на Shopify