Како блокирати AI обуку, а остати у одговорима AI претраге

Објављено

Кратак одговор

Већина AI компанија користи различите robots.txt токене за обуку модела и за претрагу. Забраните токене за обуку, као што су GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent и CCBot, а дозволите токене за претрагу и кориснике, као што су OAI-SearchBot, Claude-SearchBot и PerplexityBot. Додајте ред Content-Signal да исту жељу изразите и речима.

Многи власници сајтова желе две ствари истовремено: не желе да се њихов садржај користи за обуку AI модела, а желе да их AI асистенти проналазе, цитирају и линкују. Пошто велике компаније сада ове задатке деле на различите краулере или токене, robots.txt може да изрази оба избора. Замка је у томе што се називи разликују од компаније до компаније, неке компаније се не уклапају у овај образац, а један погрешан ред може да вас уклони из AI одговора уместо из података за обуку.

На овој страници
  1. Која је разлика између краулера за обуку и краулера за претрагу?
  2. Који токени контролишу обуку, а који претрагу?
  3. Како изгледа robots.txt?
  4. Колико сајтова то већ ради?
  5. Шта додаје Content-Signal?
  6. Где подела не функционише чисто?
  7. Како да проверим да подела ради?

Која је разлика између краулера за обуку и краулера за претрагу?

Краулер за обуку прикупља странице које се могу користити за изградњу или унапређење AI модела. Обука сама по себи не доноси цитат ни линк. Краулер за претрагу гради индекс који AI асистент користи да пронађе изворе за одговор, а управо те изворе може да цитира. Преузимач који покреће корисник отвара страницу уживо зато што је неко питао о њој.

Компаније ове улоге документују одвојено и кажу да су подешавања независна. OpenAI, на пример, каже да је свако robots.txt подешавање за његове краулере независно од осталих. Дакле, исправно урађена одјава од обуке не утиче на вашу видљивост у претрази.

Који токени контролишу обуку, а који претрагу?

Ово су токени које компаније документују, груписани према томе шта контролишу:

Како изгледа robots.txt?

Више узастопних редова User-agent чини једну групу према RFC 9309, па се правила примењују на сваки од њих. Овај фајл се одјављује од горе наведених токена за обуку, дозвољава агенте за претрагу и кориснике и држи једну приватну путању затвореном за све:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Важна су два детаља. Прво, именована група не наслеђује ништа од *, па се приватне путање морају поновити у групи за претрагу. Друго, не додајте Googlebot ни Applebot у групу за обуку: то су краулери за претрагу, а њихово блокирање вас уклања из Google претраге и Apple-ових функција претраге. Промене нису тренутне: OpenAI наводи око 24 сата за претрагу, а Perplexity до 24 сата.

Колико сајтова то већ ради?

Мање него што бисте очекивали. Прочитали смо robots.txt фајлове 1000 најпопуларнијих домена са Tranco листе 2026-11-12. Од 518 који су послужили robots.txt, 155 (29,9%) забрањује почетну страницу бар једном AI краулеру за обуку. Само 57 (11,0%) бира селективни пут: блокирају краулере за обуку и дозвољавају све AI краулере за претрагу и кориснике које смо тестирали. Укупно 101 сајт (19,5%) блокира бар један AI краулер за претрагу или кориснике.

Бројеви по краулерима показују исту поделу. GPTBot је блокиран на 111 сајтова (21,4%), а OAI-SearchBot на 58 (11,2%). ClaudeBot је блокиран на 110 (21,2%), а Claude-SearchBot на 67 (12,9%). Google-Extended је блокиран на 94 (18,1%), Googlebot на 14 (2,7%). Само 18 сајтова (3,5%) користи Content-Signal.

Истраживање посматра само robots.txt правила за почетну страницу. Не мери блокаде у заштитном зиду и не показује шта је сваки сајт намеравао.

Шта додаје Content-Signal?

Content Signals је проширење за robots.txt које је Cloudflare објавио на contentsignals.org. Ред Content-Signal наводи како се садржај сме користити, помоћу три сигнала: search (изградња индекса претраге и приказивање линкова и кратких одломака), ai-input (убацивање садржаја у AI моделе у реалном времену, на пример за утемељивање или преузимање за генерисане одговоре) и ai-train (обука или фино подешавање модела).

Имајте на уму да дефиниција search искључује резимее претраге које генерише AI. Ако желите да се појављујете у AI одговорима, поставите и ai-input=yes, као у примеру изнад. Cloudflare-ов управљани robots.txt подразумевано додаје search=yes, ai-train=no; сигнал који изоставите нити дозвољава нити ограничава ту употребу.

Ово су изражене жеље. Сајт Content Signals каже да оне технички не спречавају обилажење, а Cloudflare напомиње да је поштовање robots.txt добровољно. Ниједна од страница о краулерима OpenAI-ја, Anthropic-а, Google-а или Perplexity-ја које смо проверили не каже да ли читају Content-Signal, па га третирајте као додатак групама по краулеру, а не као замену.

Где подела не функционише чисто?

Неколико случајева захтева пажњу:

Како да проверим да подела ради?

Прочитајте свој robots.txt онако како би га прочитао сваки краулер: пронађите групу која га наводи, вратите се на * само ако таква не постоји и примените најдуже правило које се поклапа. Затим затражите страницу са user agent-ом сваког краулера за претрагу и потврдите да добија 200 са целим садржајем, а не 403 или страницу са изазовом.

AISeeWhy ради обоје за 14 краулера, груписаних као агенти за обуку, претрагу и кориснике, и означава најчешћу грешку: блокирање токена за претрагу као што је PerplexityBot или Claude-SearchBot када је намера била да се блокира обука.

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Честа питања

Да ли ће блокирање GPTBot-а уклонити мој сајт из одговора ChatGPT-а?

Неће. OpenAI каже да GPTBot служи за обуку и да је свако robots.txt подешавање независно. ChatGPT претрага користи OAI-SearchBot; све док је он дозвољен и не блокира га ваш заштитни зид, ваше странице остају подобне.

Да ли ме блокирање Google-Extended уклања из AI Overviews?

Не према Google-овој документацији. Google каже да Google-Extended не утиче на укључивање у Google претрагу, а AI Overviews се ослањају на индекс претраге. Google нуди посебну контролу у Search Console-у за искључивање сајта из AI Overviews и AI Mode.

Постоји ли један ред који блокира сву AI обуку?

Не постоји стандардни ред. Content-Signal: ai-train=no изражава жељу за све краулере, али да ли ће је краулер поштовати зависи од оператера. Именоване групе за сваки токен за обуку су документовани начин.

Да ли треба да блокирам Perplexity да бих зауставио AI обуку?

Perplexity каже да се његови агенти не користе за прикупљање података за обуку. Блокирање PerplexityBot-а смањује вашу видљивост у резултатима претраге Perplexity-ја, а не служи као одјава од обуке.

Извори

Још чланака