AISeeWhy
UK
Почати пробний період

Як заблокувати навчання AI, але лишитися у відповідях AI-пошуку

Опубліковано

Коротка відповідь

Більшість вендорів AI використовують окремі токени robots.txt для навчання моделей і для пошуку. Забороніть токени навчання, як-от GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent і CCBot, і дозвольте токени пошуку та користувача, як-от OAI-SearchBot, Claude-SearchBot і PerplexityBot. Додайте рядок Content-Signal, щоб виразити ту саму вподобу словами.

Багато власників сайтів хочуть двох речей одночасно: не хочуть, щоб їхній контент навчав моделі AI, і хочуть, щоб AI-асистенти знаходили, цитували та посилалися на їхні сторінки. Оскільки найбільші вендори тепер розділяють ці завдання між різними краулерами чи токенами, robots.txt може виразити обидва вибори. Підступ у тому, що назви різняться між вендорами, кілька вендорів не вписуються в цю схему, а один хибний рядок може прибрати вас із відповідей AI замість навчальних даних.

На цій сторінці
  1. Чим краулер навчання відрізняється від пошукового краулера
  2. Які токени керують навчанням, а які пошуком
  3. Як виглядає такий robots.txt
  4. Скільки сайтів уже так роблять
  5. Що додає Content-Signal
  6. Де розділення працює не зовсім чисто
  7. Як перевірити, що розділення працює

Чим краулер навчання відрізняється від пошукового краулера

Краулер навчання збирає сторінки, які можуть використовуватися для створення чи вдосконалення моделей AI. Саме навчання не дає ні цитати, ні посилання. Пошуковий краулер будує індекс, за яким AI-асистент шукає джерела для відповіді, і саме ці джерела він може цитувати. Завантажувач на запит користувача відкриває сторінку наживо, бо хтось про неї спитав.

Вендори документують ці ролі окремо й кажуть, що налаштування незалежні. Наприклад, OpenAI повідомляє, що кожне налаштування robots.txt для її краулерів не залежить від інших. Тож правильно зроблена відмова від навчання не зачіпає вашої видимості в пошуку.

Які токени керують навчанням, а які пошуком

Ось токени, які документують вендори, згруповані за тим, чим вони керують:

Як виглядає такий robots.txt

За RFC 9309 кілька рядків User-agent поспіль утворюють одну групу, тож правила діють для кожного з них. Цей файл відмовляється від токенів навчання, наведених вище, дозволяє агентів пошуку й користувача та залишає один приватний шлях закритим для всіх:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Важливі дві деталі. По-перше, іменована група не успадковує правила від *, тож будь-які приватні шляхи треба повторити в групі пошуку. По-друге, не додавайте Googlebot чи Applebot до групи навчання: це пошукові краулери, і їх блокування прибирає вас із Google Search та пошукових функцій Apple. Зміни набувають чинності не миттєво: OpenAI називає близько 24 годин для пошуку, а Perplexity — до 24 годин.

Скільки сайтів уже так роблять

Менше, ніж можна чекати. 2026-11-12 ми прочитали файли robots.txt 1000 найпопулярніших доменів зі списку Tranco. Із 518, що віддавали robots.txt, 155 (29,9 %) забороняють головну сторінку принаймні для одного AI-краулера навчання. Лише 57 (11,0 %) обирають вибірковий шлях: блокують краулери навчання й дозволяють усі протестовані нами краулери AI-пошуку та користувача. Загалом 101 сайт (19,5 %) блокує принаймні один краулер AI-пошуку чи користувача.

Цифри за окремими краулерами показують той самий розподіл. GPTBot заблоковано на 111 сайтах (21,4 %), а OAI-SearchBot — на 58 (11,2 %). ClaudeBot заблоковано на 110 (21,2 %), а Claude-SearchBot — на 67 (12,9 %). Google-Extended заблоковано на 94 (18,1 %), Googlebot — на 14 (2,7 %). Лише 18 сайтів (3,5 %) використовують Content-Signal.

Дослідження розглядає правила robots.txt лише для головної сторінки. Воно не вимірює блокування на рівні файрвола й не показує, що мав на меті кожен сайт.

Що додає Content-Signal

Content Signals — це розширення robots.txt, яке Cloudflare опублікувала на contentsignals.org. Рядок Content-Signal вказує, як можна використовувати контент, трьома сигналами: search (побудова пошукового індексу та показ посилань і коротких фрагментів), ai-input (передача контенту моделям AI в реальному часі, наприклад grounding чи retrieval для генеративних відповідей) і ai-train (навчання або донавчання моделей).

Зверніть увагу, що визначення search виключає згенеровані AI пошукові підсумки. Якщо ви хочете з’являтися у відповідях AI, встановіть також ai-input=yes, як у прикладі вище. Кероване robots.txt від Cloudflare за замовчуванням додає search=yes, ai-train=no; сигнал, який ви пропустили, не дозволяє й не обмежує таке використання.

Це заявлені вподобання. Сайт Content Signals каже, що вони не перешкоджають обходу на технічному рівні, а Cloudflare зауважує, що дотримання robots.txt добровільне. Жодна зі сторінок краулерів OpenAI, Anthropic, Google чи Perplexity, які ми перевірили, не каже, чи читають вони Content-Signal, тож сприймайте його як доповнення до груп для окремих краулерів, а не заміну.

Де розділення працює не зовсім чисто

Кілька випадків потребують уваги:

Як перевірити, що розділення працює

Прочитайте свій robots.txt так, як це зробив би кожен краулер: знайдіть групу, що його називає, перейдіть до *, лише якщо такої немає, і застосуйте найдовше правило, що збіглося. Потім запросіть сторінку з user agent кожного пошукового краулера й переконайтеся, що він отримує 200 з повним вмістом, а не 403 чи сторінку-перевірку.

AISeeWhy робить і те, і те для 14 краулерів, згрупованих як агенти навчання, пошуку та користувача, і позначає найпоширенішу помилку: блокування токена пошуку, як-от PerplexityBot чи Claude-SearchBot, коли мали на увазі блокування навчання.

Поширені запитання

Чи прибере блокування GPTBot мій сайт із відповідей ChatGPT?

Ні. OpenAI каже, що GPTBot призначений для навчання і що кожне налаштування robots.txt незалежне. Пошук ChatGPT використовує OAI-SearchBot; доки його дозволено й ваш файрвол його не блокує, ваші сторінки лишаються придатними.

Чи прибирає блокування Google-Extended мене з AI Overviews?

За документацією Google — ні. Google каже, що Google-Extended не впливає на включення до Google Search, а AI Overviews спираються на індекс Search. Google пропонує окремий елемент керування в Search Console, щоб виключити сайт із AI Overviews і AI Mode.

Чи є один рядок, що блокує все навчання AI?

Стандартного такого рядка немає. Content-Signal: ai-train=no висловлює вподобання для всіх краулерів, але чи дотримується його краулер, залежить від оператора. Задокументований спосіб — іменовані групи для кожного токена навчання.

Чи блокувати Perplexity, щоб зупинити навчання AI?

Perplexity каже, що його агенти не використовуються для збору навчальних даних. Блокування PerplexityBot зменшує вашу видимість у результатах пошуку Perplexity, не даючи відмови від навчання.

Джерела

Інші статті