Змінили robots.txt? Подивіться, як його читає кожен ШІ-краулер
Один рядок не в тій групі може заблокувати пошук ChatGPT, хоча ви хотіли заблокувати лише навчання ШІ. Перевірте результат для 16 краулерів.
Безкоштовно · Без реєстрації · Результат за 30 секунд
Яка група застосовується
Краулер виконує групу, у якій названо його, а не групу *, і це дивує багатьох власників сайтів.
Пошук чи навчання
Блокуйте краулери для навчання, якщо бажаєте, але залиште ті, що додають вас у відповіді ШІ-пошуку.
Точне виправлення
Рядки, які треба змінити, готові до вставлення, і повторна перевірка для підтвердження.
Після переходу на Cloudflare · Після редизайну · Після переходу на Shopify