Генератор robots.txt для ШІ-краулерів
Виберіть, які ШІ-краулери можуть читати ваш сайт, і скопіюйте згенерований robots.txt. Поширений вибір — заблокувати ШІ-краулери для навчання, як-от GPTBot і ClaudeBot, але дозволити ШІ-краулери пошуку, як-от OAI-SearchBot і PerplexityBot, щоб ваші сторінки й надалі могли з'являтися та цитуватися у відповідях ШІ.
Блокування агентів, що завантажують за запитом користувача, має обмежений ефект: деякі вендори кажуть, що ці агенти можуть не дотримуватися robots.txt, бо сторінку попросила людина. Перед публікацією перевірте результат перевіркою robots.txt. Перевірка robots.txt для ШІ-краулерів →
Як цим користуватися
Покладіть файл у корінь свого домену (https://example.com/robots.txt). Якщо у вас уже є правила для інших краулерів, залиште їх і додайте лише групи для ШІ. Зміни набувають чинності, коли кожен краулер наступного разу читає файл, зазвичай протягом доби.