Как да блокирате обучението на AI, но да останете в отговорите на AI търсенето
Повечето AI компании използват отделни токени в robots.txt за обучение на модели и за търсене. Забранете токените за обучение, като GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent и CCBot, и разрешете токените за търсене и за потребители, като OAI-SearchBot, Claude-SearchBot и PerplexityBot. Добавете ред Content-Signal, за да заявите същото предпочитание и с думи.
Много собственици на сайтове искат две неща едновременно: не искат съдържанието им да се използва за обучение на AI модели, но искат AI асистентите да намират, цитират и посочват с връзки страниците им. Тъй като големите компании вече разделят тези задачи между различни ботове или токени, robots.txt може да изрази и двата избора. Уловката е, че имената се различават според компанията, някои компании не следват модела, а един грешен ред може да ви извади от AI отговорите вместо от данните за обучение.
На тази страница
Каква е разликата между бот за обучение и бот за търсене?
Ботът за обучение събира страници, които може да се използват за създаване или подобряване на AI модели. Обучението само по себе си не носи цитиране или връзка. Ботът за търсене изгражда индекс, който AI асистентът използва, за да намери източници за отговора, и именно тези източници той може да цитира. Ботът, задействан от потребител, отваря страница на живо, защото някой е попитал за нея.
Компаниите документират тези роли поотделно и казват, че настройките са независими. OpenAI например казва, че всяка настройка в robots.txt за ботовете ѝ е независима от останалите. Така че правилно направеният отказ от обучение не засяга видимостта ви в търсенето.
Кои токени управляват обучението и кои търсенето?
Това са токените, които компаниите документират, групирани според това какво управляват:
- OpenAI:
GPTBotобхожда съдържание, което може да се използва за обучение на базовите му модели.OAI-SearchBotе за търсенето в ChatGPT, аChatGPT-Userобслужва действия на потребители; OpenAI казва, че robots.txt може да не се прилага за него. - Anthropic:
ClaudeBotсъбира съдържание, което може да допринесе за обучението.Claude-SearchBotподобрява резултатите от търсенето на Claude, аClaude-Userизтегля страници за потребители. Anthropic казва, че ботовете му спазват robots.txt. - Google:
Google-Extendedе токен за robots.txt без собствен бот. Той управлява използването за обучение на бъдещи модели Gemini и за обосноваване (grounding) в Gemini Apps и Vertex AI. Google казва, че той не влияе на включването или класирането в Google Search, което се управлява чрезGooglebot. - Apple:
Applebot-Extendedне обхожда; той определя дали съдържанието, обходено отApplebot, се използва за обучение на базовите модели на Apple. Apple казва, че страниците, които го забраняват, пак могат да се появяват в резултатите от търсенето ѝ. - Meta:
meta-externalagentобхожда за цели като обучение на базови модели, аmeta-webindexerподобрява резултатите от търсенето в Meta AI. - Common Crawl:
CCBotизгражда публичния уеб архив на Common Crawl. Управляваният robots.txt на Cloudflare го посочва сред ботовете за обучение на AI, които забранява. - Perplexity:
PerplexityBotиPerplexity-Userобслужват търсенето и заявките на потребители. Perplexity казва, че нито един от тях не се използва за събиране на данни за обучение, така че няма токен за обучение на Perplexity, който да блокирате.
Как изглежда robots.txt?
Няколко поредни реда User-agent образуват една група според RFC 9309, така че правилата се прилагат за всеки от тях. Този файл отказва токените за обучение по-горе, разрешава агентите за търсене и за потребители и държи един частен път затворен за всички:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Два детайла са важни. Първо, група с конкретно име не наследява нищо от *, затова частните пътища трябва да се повторят в групата за търсене. Второ, не добавяйте Googlebot или Applebot в групата за обучение: това са ботовете за търсене и блокирането им ви изважда от Google Search и от функциите за търсене на Apple. Промените не са мигновени: OpenAI посочва около 24 часа за търсенето, а Perplexity – до 24 часа.
Колко сайта вече правят това?
По-малко, отколкото може би очаквате. На 2026-11-12 прочетохме файловете robots.txt на 1000-те най-популярни домейна от списъка Tranco. От 518-те, които имаха robots.txt, 155 (29,9%) забраняват началната страница за поне един AI бот за обучение. Само 57 (11,0%) избират селективния път: блокират ботовете за обучение и разрешават всички AI ботове за търсене и за потребители, които тествахме. Общо 101 сайта (19,5%) блокират поне един AI бот за търсене или за потребители.
Данните по отделни ботове показват същото разделение. GPTBot е блокиран на 111 сайта (21,4%), а OAI-SearchBot – на 58 (11,2%). ClaudeBot е блокиран на 110 (21,2%), а Claude-SearchBot – на 67 (12,9%). Google-Extended е блокиран на 94 (18,1%), Googlebot – на 14 (2,7%). Само 18 сайта (3,5%) използват Content-Signal.
Проучването разглежда правилата в robots.txt само за началната страница. То не измерва блокировките от защитни стени и не показва какво е било намерението на всеки сайт.
Какво добавя Content-Signal?
Content Signals е разширение на robots.txt, публикувано от Cloudflare на contentsignals.org. Редът Content-Signal заявява как може да се използва съдържанието чрез три сигнала: search (изграждане на индекс за търсене и показване на връзки и кратки откъси), ai-input (подаване на съдържание към AI модели в реално време, например за обосноваване или извличане при генерирани отговори) и ai-train (обучение или фина настройка на модели).
Обърнете внимание, че определението на search изключва генерираните от AI обобщения в търсенето. Ако искате да се появявате в AI отговорите, задайте и ai-input=yes, както в примера по-горе. Управляваният robots.txt на Cloudflare добавя по подразбиране search=yes, ai-train=no; сигнал, който пропуснете, нито разрешава, нито ограничава съответното използване.
Това са заявени предпочитания. Сайтът на Content Signals казва, че те не пречат на обхождането на техническо ниво, а Cloudflare отбелязва, че спазването на robots.txt е доброволно. Нито една от страниците за ботовете на OpenAI, Anthropic, Google или Perplexity, които проверихме, не казва дали чете Content-Signal, затова го третирайте като допълнение към групите за отделните ботове, а не като заместител.
Къде разделението не работи чисто?
Няколко случая изискват внимание:
- Google AI Overviews и AI Mode използват индекса на търсенето, който изгражда
Googlebot, затоваGoogle-Extendedне ви изважда от тях. Помощта за Search Console на Google добавя, чеGoogle-Extendedограничава обучението на моделите зад функциите с генеративен AI в търсенето – обхват, който документацията за ботовете ѝ не споменава. Google вече предлага отделна настройка в Search Console, с която сайтът се изключва от AI Overviews и AI Mode. - OpenAI казва, че ако сайтът разрешава и
GPTBot, иOAI-SearchBot, тя може да използва резултатите от едно обхождане и за двете цели. Именно забраната наGPTBotсигнализира, че съдържанието не трябва да се използва за обучение. - Отказите важат занапред. Anthropic например описва забраната на
ClaudeBotкато изключване на бъдещото съдържание на сайта ви от наборите от данни за обучение. - Ботовете, задействани от потребители, са по средата. OpenAI и Perplexity казват, че robots.txt може да не се прилага за
ChatGPT-Userи по правило не се прилага заPerplexity-User. - Защитните стени не четат robots.txt. Широко правило за блокиране на ботове може да спре ботовете за търсене, които сте разрешили. Ако налагате блокирането на обучението в защитната стена, съпоставяйте агентите за обучение по име и ги проверявайте по публикуваните им IP диапазони.
Как да проверя дали разделението работи?
Прочетете robots.txt така, както би го прочел всеки бот: намерете групата, която го назовава, върнете се към * само ако няма такава, и приложете най-дългото съвпадащо правило. След това заявете страница с user agent на всеки бот за търсене и се уверете, че получава 200 с пълното съдържание, а не 403 или страница за проверка.
AISeeWhy прави и двете за 14 бота, групирани като ботове за обучение, за търсене и за потребители, и отбелязва най-честата грешка: блокиране на токен за търсене като PerplexityBot или Claude-SearchBot с намерението да се блокира обучението.
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка на IP на AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Ще извади ли блокирането на GPTBot сайта ми от отговорите на ChatGPT?
Не. OpenAI казва, че GPTBot е за обучение и че всяка настройка в robots.txt е независима. Търсенето в ChatGPT използва OAI-SearchBot; докато той е разрешен и не е блокиран от защитната ви стена, страниците ви остават допустими.
Изважда ли ме блокирането на Google-Extended от AI Overviews?
Не според документацията на Google. Google казва, че Google-Extended не влияе на включването в Google Search, а AI Overviews се основават на индекса на търсенето. Google предлага отделна настройка в Search Console, с която сайтът се изключва от AI Overviews и AI Mode.
Има ли един ред, който блокира цялото обучение на AI?
Стандартен такъв ред няма. Content-Signal: ai-train=no заявява предпочитанието за всички ботове, но дали ботът го спазва, зависи от оператора му. Документираният начин са отделни групи за всеки токен за обучение.
Трябва ли да блокирам Perplexity, за да спра обучението на AI?
Perplexity казва, че агентите му не се използват за събиране на данни за обучение. Блокирането на PerplexityBot намалява видимостта ви в резултатите от търсенето на Perplexity, без да служи като отказ от обучение.
Източници
- OpenAI: Преглед на ботовете на OpenAI
- Anthropic: Обхожда ли Anthropic данни от уеб и как собствениците на сайтове могат да блокират бота?
- Google: Общи ботове, включително Google-Extended
- Помощ за Google Search Console: Управление на генеративния AI в търсенето
- Apple: За Applebot
- Meta: Уеб ботовете на Meta
- Common Crawl: CCBot
- Perplexity: ботовете на Perplexity
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Управляван robots.txt и Content Signals
- AISeeWhy: Отчет за достъпа на AI ботове, 2026-11