Перевірка robots.txt для ШІ-краулерів

Введіть адресу сторінки: ми прочитаємо robots.txt сайту й покажемо для кожного ШІ- та пошукового краулера, чи може він завантажити цю сторінку. Або вставте robots.txt, щоб перевірити його до публікації.

robots.txt — це лише прохання. Фаєрвол або захист від ботів усе одно може заблокувати краулер, якому robots.txt дозволяє доступ; повна перевірка це тестує. Запустити повну перевірку →

Як ШІ-краулери читають robots.txt

Кожен краулер дотримується групи, у якій названо його токен (наприклад, GPTBot або PerplexityBot); лише якщо такої групи немає, він дотримується User-agent: *. Усередині групи перемагає найдовше правило, що збіглося, а за рівності перемагає Allow. Блокування навчальних краулерів, як-от GPTBot, ClaudeBot або Google-Extended, виключає ваш контент із навчання моделей; блокування пошукових і користувацьких краулерів, як-от OAI-SearchBot, ChatGPT-User або PerplexityBot, виключає ваші сторінки з відповідей ШІ.