Изменили robots.txt? Посмотрите, как его читает каждый AI-краулер
Одна строка не в той группе может заблокировать поиск ChatGPT, хотя вы хотели закрыть только обучение ИИ. Проверьте результат для 16 краулеров.
Бесплатно · Без регистрации · Результат за 30 секунд
Какая группа применяется
Краулер следует группе, где он назван по имени, а не группе *, и это удивляет многих владельцев сайтов.
Поиск или обучение
Закройте краулеры для обучения, если хотите, и оставьте те, благодаря которым вы попадаете в ответы AI-поиска.
Точное исправление
Строки, которые нужно изменить, готовые для вставки, и повторная проверка для подтверждения.
После переезда на Cloudflare · После редизайна · После переезда на Shopify