Как да блокирате обучението на AI, но да останете в отговорите на AI търсенето

Публикувано

Кратък отговор

Повечето AI компании използват отделни токени в robots.txt за обучение на модели и за търсене. Забранете токените за обучение, като GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent и CCBot, и разрешете токените за търсене и за потребители, като OAI-SearchBot, Claude-SearchBot и PerplexityBot. Добавете ред Content-Signal, за да заявите същото предпочитание и с думи.

Много собственици на сайтове искат две неща едновременно: не искат съдържанието им да се използва за обучение на AI модели, но искат AI асистентите да намират, цитират и посочват с връзки страниците им. Тъй като големите компании вече разделят тези задачи между различни ботове или токени, robots.txt може да изрази и двата избора. Уловката е, че имената се различават според компанията, някои компании не следват модела, а един грешен ред може да ви извади от AI отговорите вместо от данните за обучение.

На тази страница
  1. Каква е разликата между бот за обучение и бот за търсене?
  2. Кои токени управляват обучението и кои търсенето?
  3. Как изглежда robots.txt?
  4. Колко сайта вече правят това?
  5. Какво добавя Content-Signal?
  6. Къде разделението не работи чисто?
  7. Как да проверя дали разделението работи?

Каква е разликата между бот за обучение и бот за търсене?

Ботът за обучение събира страници, които може да се използват за създаване или подобряване на AI модели. Обучението само по себе си не носи цитиране или връзка. Ботът за търсене изгражда индекс, който AI асистентът използва, за да намери източници за отговора, и именно тези източници той може да цитира. Ботът, задействан от потребител, отваря страница на живо, защото някой е попитал за нея.

Компаниите документират тези роли поотделно и казват, че настройките са независими. OpenAI например казва, че всяка настройка в robots.txt за ботовете ѝ е независима от останалите. Така че правилно направеният отказ от обучение не засяга видимостта ви в търсенето.

Кои токени управляват обучението и кои търсенето?

Това са токените, които компаниите документират, групирани според това какво управляват:

Как изглежда robots.txt?

Няколко поредни реда User-agent образуват една група според RFC 9309, така че правилата се прилагат за всеки от тях. Този файл отказва токените за обучение по-горе, разрешава агентите за търсене и за потребители и държи един частен път затворен за всички:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Два детайла са важни. Първо, група с конкретно име не наследява нищо от *, затова частните пътища трябва да се повторят в групата за търсене. Второ, не добавяйте Googlebot или Applebot в групата за обучение: това са ботовете за търсене и блокирането им ви изважда от Google Search и от функциите за търсене на Apple. Промените не са мигновени: OpenAI посочва около 24 часа за търсенето, а Perplexity – до 24 часа.

Колко сайта вече правят това?

По-малко, отколкото може би очаквате. На 2026-11-12 прочетохме файловете robots.txt на 1000-те най-популярни домейна от списъка Tranco. От 518-те, които имаха robots.txt, 155 (29,9%) забраняват началната страница за поне един AI бот за обучение. Само 57 (11,0%) избират селективния път: блокират ботовете за обучение и разрешават всички AI ботове за търсене и за потребители, които тествахме. Общо 101 сайта (19,5%) блокират поне един AI бот за търсене или за потребители.

Данните по отделни ботове показват същото разделение. GPTBot е блокиран на 111 сайта (21,4%), а OAI-SearchBot – на 58 (11,2%). ClaudeBot е блокиран на 110 (21,2%), а Claude-SearchBot – на 67 (12,9%). Google-Extended е блокиран на 94 (18,1%), Googlebot – на 14 (2,7%). Само 18 сайта (3,5%) използват Content-Signal.

Проучването разглежда правилата в robots.txt само за началната страница. То не измерва блокировките от защитни стени и не показва какво е било намерението на всеки сайт.

Какво добавя Content-Signal?

Content Signals е разширение на robots.txt, публикувано от Cloudflare на contentsignals.org. Редът Content-Signal заявява как може да се използва съдържанието чрез три сигнала: search (изграждане на индекс за търсене и показване на връзки и кратки откъси), ai-input (подаване на съдържание към AI модели в реално време, например за обосноваване или извличане при генерирани отговори) и ai-train (обучение или фина настройка на модели).

Обърнете внимание, че определението на search изключва генерираните от AI обобщения в търсенето. Ако искате да се появявате в AI отговорите, задайте и ai-input=yes, както в примера по-горе. Управляваният robots.txt на Cloudflare добавя по подразбиране search=yes, ai-train=no; сигнал, който пропуснете, нито разрешава, нито ограничава съответното използване.

Това са заявени предпочитания. Сайтът на Content Signals казва, че те не пречат на обхождането на техническо ниво, а Cloudflare отбелязва, че спазването на robots.txt е доброволно. Нито една от страниците за ботовете на OpenAI, Anthropic, Google или Perplexity, които проверихме, не казва дали чете Content-Signal, затова го третирайте като допълнение към групите за отделните ботове, а не като заместител.

Къде разделението не работи чисто?

Няколко случая изискват внимание:

Как да проверя дали разделението работи?

Прочетете robots.txt така, както би го прочел всеки бот: намерете групата, която го назовава, върнете се към * само ако няма такава, и приложете най-дългото съвпадащо правило. След това заявете страница с user agent на всеки бот за търсене и се уверете, че получава 200 с пълното съдържание, а не 403 или страница за проверка.

AISeeWhy прави и двете за 14 бота, групирани като ботове за обучение, за търсене и за потребители, и отбелязва най-честата грешка: блокиране на токен за търсене като PerplexityBot или Claude-SearchBot с намерението да се блокира обучението.

Безплатни инструменти

Следващи стъпки

Ботове в тази статия

Често задавани въпроси

Ще извади ли блокирането на GPTBot сайта ми от отговорите на ChatGPT?

Не. OpenAI казва, че GPTBot е за обучение и че всяка настройка в robots.txt е независима. Търсенето в ChatGPT използва OAI-SearchBot; докато той е разрешен и не е блокиран от защитната ви стена, страниците ви остават допустими.

Изважда ли ме блокирането на Google-Extended от AI Overviews?

Не според документацията на Google. Google казва, че Google-Extended не влияе на включването в Google Search, а AI Overviews се основават на индекса на търсенето. Google предлага отделна настройка в Search Console, с която сайтът се изключва от AI Overviews и AI Mode.

Има ли един ред, който блокира цялото обучение на AI?

Стандартен такъв ред няма. Content-Signal: ai-train=no заявява предпочитанието за всички ботове, но дали ботът го спазва, зависи от оператора му. Документираният начин са отделни групи за всеки токен за обучение.

Трябва ли да блокирам Perplexity, за да спра обучението на AI?

Perplexity казва, че агентите му не се използват за събиране на данни за обучение. Блокирането на PerplexityBot намалява видимостта ви в резултатите от търсенето на Perplexity, без да служи като отказ от обучение.

Източници

Още статии