Како да ја блокирате AI обуката и да останете во AI одговорите

Објавено

Краток одговор

Повеќето AI производители користат посебни ознаки во robots.txt за обука на модели и за пребарување. Забранете ги ознаките за обука, како GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent и CCBot, а дозволете ги ознаките за пребарување и за корисници, како OAI-SearchBot, Claude-SearchBot и PerplexityBot. Додајте ред Content-Signal за истата желба да ја наведете и со зборови.

Многу сопственици на сајтови сакаат две работи одеднаш: не сакаат нивната содржина да се користи за обука на AI модели, а сакаат AI асистентите да ги наоѓаат, цитираат и да поставуваат врски до нивните страници. Бидејќи големите производители сега ги делат овие задачи меѓу различни краулери или ознаки, robots.txt може да ги изрази двата избора. Пречката е што имињата се разликуваат кај производителите, неколку производители не се вклопуваат во шемата, а еден погрешен ред може да ве отстрани од AI одговорите наместо од податоците за обука.

На оваа страница
  1. Која е разликата меѓу краулер за обука и краулер за пребарување?
  2. Кои ознаки ја контролираат обуката, а кои пребарувањето?
  3. Како изгледа robots.txt?
  4. Колку сајтови веќе го прават ова?
  5. Што додава Content-Signal?
  6. Каде поделбата не функционира чисто?
  7. Како да проверам дали поделбата функционира?

Која е разликата меѓу краулер за обука и краулер за пребарување?

Краулерот за обука собира страници што може да се користат за изградба или подобрување на AI модели. Самата обука не носи цитирање ниту врска. Краулерот за пребарување гради индекс што AI асистентот го користи за да најде извори за одговорот, а тие извори се она што може да го цитира. Преземачот што го активира корисникот отвора страница во живо затоа што некој прашал за неа.

Производителите ги документираат овие улоги одделно и наведуваат дека поставките се независни. OpenAI, на пример, наведува дека секоја поставка во robots.txt за неговите краулери е независна од другите. Така, правилно направеното откажување од обуката не влијае на вашата видливост во пребарувањето.

Кои ознаки ја контролираат обуката, а кои пребарувањето?

Ова се ознаките што ги документираат производителите, групирани според она што го контролираат:

Како изгледа robots.txt?

Неколку редови User-agent по ред формираат една група според RFC 9309, па правилата важат за секој од нив. Оваа датотека се откажува од ознаките за обука погоре, ги дозволува агентите за пребарување и за корисници, а една приватна патека ја држи затворена за сите:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Две ситници се важни. Прво, именуваната група не наследува од *, па сите приватни патеки мора да се повторат во групата за пребарување. Второ, не додавајте Googlebot или Applebot во групата за обука: тие се краулерите за пребарување, а нивното блокирање ве отстранува од Google Search и од функциите за пребарување на Apple. Промените не се моментални: OpenAI наведува околу 24 часа за пребарувањето, а Perplexity до 24 часа.

Колку сајтови веќе го прават ова?

Помалку отколку што би очекувале. На 2026-11-12 ги прочитавме robots.txt датотеките на 1.000 најпопуларни домени од листата Tranco. Од 518 што сервираа robots.txt, 155 (29,9%) ја забрануваат почетната страница за најмалку еден AI краулер за обука. Само 57 (11,0%) одат по селективниот пат: ги блокираат краулерите за обука и ги дозволуваат сите AI краулери за пребарување и за корисници што ги тестиравме. Вкупно 101 сајт (19,5%) блокира најмалку еден AI краулер за пребарување или за корисници.

Бројките по краулер ја покажуваат истата поделба. GPTBot е блокиран на 111 сајтови (21,4%), а OAI-SearchBot на 58 (11,2%). ClaudeBot е блокиран на 110 (21,2%), а Claude-SearchBot на 67 (12,9%). Google-Extended е блокиран на 94 (18,1%), Googlebot на 14 (2,7%). Само 18 сајтови (3,5%) користат Content-Signal.

Студијата ги разгледува само robots.txt правилата за почетната страница. Не ги мери блокирањата од заштитниот ѕид и не покажува што намерувал секој сајт.

Што додава Content-Signal?

Content Signals е проширување на robots.txt што Cloudflare го објави на contentsignals.org. Редот Content-Signal наведува како смее да се користи содржината, со три сигнали: search (изградба на индекс за пребарување и прикажување врски и кратки извадоци), ai-input (внесување содржина во AI модели во реално време, како поткрепување или пребарување за генеративни одговори) и ai-train (обука или дотерување на модели).

Имајте предвид дека дефиницијата на search ги исклучува резимеата од пребарување генерирани со AI. Ако сакате да се појавувате во AI одговорите, поставете и ai-input=yes, како во примерот погоре. Управуваниот robots.txt на Cloudflare стандардно додава search=yes, ai-train=no; сигнал што ќе го изоставите ниту ја дозволува ниту ја ограничува таа употреба.

Ова се изразени желби. Сајтот Content Signals наведува дека тие не го спречуваат обиколувањето на техничко ниво, а Cloudflare забележува дека почитувањето на robots.txt е доброволно. Ниту една од страниците за краулери на OpenAI, Anthropic, Google или Perplexity што ги проверивме не кажува дали го читаат Content-Signal, па сметајте го за додаток на групите по краулер, а не за замена.

Каде поделбата не функционира чисто?

Неколку случаи бараат внимание:

Како да проверам дали поделбата функционира?

Прочитајте го вашиот robots.txt како што би го прочитал секој краулер: најдете ја групата што го именува, вратете се на * само ако таква нема, и применете го најдолгото совпаднато правило. Потоа побарајте страница со user agent-от на секој краулер за пребарување и потврдете дека добива 200 со целата содржина, а не 403 или страница со предизвик.

AISeeWhy го прави и двете за 14 краулери, групирани како агенти за обука, за пребарување и за корисници, и ја означува најчестата грешка: блокирање на ознака за пребарување, како PerplexityBot или Claude-SearchBot, со намера да се блокира обуката.

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Дали блокирањето на GPTBot ќе го отстрани мојот сајт од одговорите на ChatGPT?

Не. OpenAI наведува дека GPTBot е за обука и дека секоја поставка во robots.txt е независна. Пребарувањето во ChatGPT користи OAI-SearchBot; сè додека тој е дозволен и не е блокиран од вашиот заштитен ѕид, вашите страници остануваат подобни.

Дали блокирањето на Google-Extended ме отстранува од AI Overviews?

Не според документацијата на Google. Google наведува дека Google-Extended не влијае на вклучувањето во Google Search, а AI Overviews се потпираат на индексот за пребарување. Google нуди посебна контрола во Search Console за исклучување сајт од AI Overviews и AI Mode.

Постои ли еден ред што ја блокира целата AI обука?

Нема стандарден таков ред. Content-Signal: ai-train=no ја изразува желбата за сите краулери, но дали краулерот ќе ја почитува зависи од операторот. Именуваните групи за секоја ознака за обука се документираниот начин.

Дали треба да го блокирам Perplexity за да ја запрам AI обуката?

Perplexity наведува дека неговите агенти не се користат за собирање податоци за обука. Блокирањето на PerplexityBot ја намалува вашата видливост во резултатите од пребарување на Perplexity, а не служи како откажување од обуката.

Извори

Уште статии