Како да ја блокирате AI обуката и да останете во AI одговорите
Повеќето AI производители користат посебни ознаки во robots.txt за обука на модели и за пребарување. Забранете ги ознаките за обука, како GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent и CCBot, а дозволете ги ознаките за пребарување и за корисници, како OAI-SearchBot, Claude-SearchBot и PerplexityBot. Додајте ред Content-Signal за истата желба да ја наведете и со зборови.
Многу сопственици на сајтови сакаат две работи одеднаш: не сакаат нивната содржина да се користи за обука на AI модели, а сакаат AI асистентите да ги наоѓаат, цитираат и да поставуваат врски до нивните страници. Бидејќи големите производители сега ги делат овие задачи меѓу различни краулери или ознаки, robots.txt може да ги изрази двата избора. Пречката е што имињата се разликуваат кај производителите, неколку производители не се вклопуваат во шемата, а еден погрешен ред може да ве отстрани од AI одговорите наместо од податоците за обука.
На оваа страница
Која е разликата меѓу краулер за обука и краулер за пребарување?
Краулерот за обука собира страници што може да се користат за изградба или подобрување на AI модели. Самата обука не носи цитирање ниту врска. Краулерот за пребарување гради индекс што AI асистентот го користи за да најде извори за одговорот, а тие извори се она што може да го цитира. Преземачот што го активира корисникот отвора страница во живо затоа што некој прашал за неа.
Производителите ги документираат овие улоги одделно и наведуваат дека поставките се независни. OpenAI, на пример, наведува дека секоја поставка во robots.txt за неговите краулери е независна од другите. Така, правилно направеното откажување од обуката не влијае на вашата видливост во пребарувањето.
Кои ознаки ја контролираат обуката, а кои пребарувањето?
Ова се ознаките што ги документираат производителите, групирани според она што го контролираат:
- OpenAI:
GPTBotобиколува содржина што може да се користи за обука на неговите основни модели.OAI-SearchBotе за пребарувањето во ChatGPT, аChatGPT-Userсе грижи за дејствата на корисниците; OpenAI наведува дека robots.txt можеби не важи за него. - Anthropic:
ClaudeBotсобира содржина што може да придонесе за обуката.Claude-SearchBotги подобрува резултатите од пребарување на Claude, аClaude-Userпрезема страници за корисниците. Anthropic наведува дека неговите ботови го почитуваат robots.txt. - Google:
Google-Extendedе ознака во robots.txt без сопствен краулер. Ја контролира употребата во обуката на идните модели Gemini и во поткрепувањето (grounding) за Gemini Apps и Vertex AI. Google наведува дека не влијае на вклучувањето ниту на рангирањето во Google Search, што се контролира прекуGooglebot. - Apple:
Applebot-Extendedне обиколува; контролира дали содржината што ја обиколилApplebotсе користи за обука на основните модели на Apple. Apple наведува дека страниците што го забрануваат сепак можат да се појават во неговите резултати од пребарување. - Meta:
meta-externalagentобиколува за намени како обука на основни модели, додекаmeta-webindexerги подобрува резултатите од пребарување на Meta AI. - Common Crawl:
CCBotја гради јавната веб-архива на Common Crawl. Управуваниот robots.txt на Cloudflare го наведува меѓу AI краулерите за обука што ги забранува. - Perplexity:
PerplexityBotиPerplexity-Userслужат за пребарување и за барања на корисници. Perplexity наведува дека ниту еден не се користи за собирање податоци за обука, па нема ознака за обука на Perplexity што би ја блокирале.
Како изгледа robots.txt?
Неколку редови User-agent по ред формираат една група според RFC 9309, па правилата важат за секој од нив. Оваа датотека се откажува од ознаките за обука погоре, ги дозволува агентите за пребарување и за корисници, а една приватна патека ја држи затворена за сите:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Две ситници се важни. Прво, именуваната група не наследува од *, па сите приватни патеки мора да се повторат во групата за пребарување. Второ, не додавајте Googlebot или Applebot во групата за обука: тие се краулерите за пребарување, а нивното блокирање ве отстранува од Google Search и од функциите за пребарување на Apple. Промените не се моментални: OpenAI наведува околу 24 часа за пребарувањето, а Perplexity до 24 часа.
Колку сајтови веќе го прават ова?
Помалку отколку што би очекувале. На 2026-11-12 ги прочитавме robots.txt датотеките на 1.000 најпопуларни домени од листата Tranco. Од 518 што сервираа robots.txt, 155 (29,9%) ја забрануваат почетната страница за најмалку еден AI краулер за обука. Само 57 (11,0%) одат по селективниот пат: ги блокираат краулерите за обука и ги дозволуваат сите AI краулери за пребарување и за корисници што ги тестиравме. Вкупно 101 сајт (19,5%) блокира најмалку еден AI краулер за пребарување или за корисници.
Бројките по краулер ја покажуваат истата поделба. GPTBot е блокиран на 111 сајтови (21,4%), а OAI-SearchBot на 58 (11,2%). ClaudeBot е блокиран на 110 (21,2%), а Claude-SearchBot на 67 (12,9%). Google-Extended е блокиран на 94 (18,1%), Googlebot на 14 (2,7%). Само 18 сајтови (3,5%) користат Content-Signal.
Студијата ги разгледува само robots.txt правилата за почетната страница. Не ги мери блокирањата од заштитниот ѕид и не покажува што намерувал секој сајт.
Што додава Content-Signal?
Content Signals е проширување на robots.txt што Cloudflare го објави на contentsignals.org. Редот Content-Signal наведува како смее да се користи содржината, со три сигнали: search (изградба на индекс за пребарување и прикажување врски и кратки извадоци), ai-input (внесување содржина во AI модели во реално време, како поткрепување или пребарување за генеративни одговори) и ai-train (обука или дотерување на модели).
Имајте предвид дека дефиницијата на search ги исклучува резимеата од пребарување генерирани со AI. Ако сакате да се појавувате во AI одговорите, поставете и ai-input=yes, како во примерот погоре. Управуваниот robots.txt на Cloudflare стандардно додава search=yes, ai-train=no; сигнал што ќе го изоставите ниту ја дозволува ниту ја ограничува таа употреба.
Ова се изразени желби. Сајтот Content Signals наведува дека тие не го спречуваат обиколувањето на техничко ниво, а Cloudflare забележува дека почитувањето на robots.txt е доброволно. Ниту една од страниците за краулери на OpenAI, Anthropic, Google или Perplexity што ги проверивме не кажува дали го читаат Content-Signal, па сметајте го за додаток на групите по краулер, а не за замена.
Каде поделбата не функционира чисто?
Неколку случаи бараат внимание:
- Google AI Overviews и AI Mode се потпираат на индексот за пребарување што го гради
Googlebot, паGoogle-Extendedне ве вади од нив. Помошта за Search Console на Google додава декаGoogle-Extendedја ограничува обуката на моделите зад функциите на генеративна AI во пребарувањето, опфат што документацијата за краулерот не го споменува. Google сега нуди посебна поставка во Search Console за исклучување сајт од AI Overviews и AI Mode. - OpenAI наведува дека ако сајтот ги дозволува и
GPTBotиOAI-SearchBot, може да ги користи резултатите од едно обиколување за двете намени. Забраната наGPTBotе она што сигнализира дека содржината не треба да се користи за обука. - Откажувањата важат за во иднина. Anthropic, на пример, ја опишува забраната на
ClaudeBotкако исклучување на идната содржина на вашиот сајт од збирките податоци за обука. - Преземачите што ги активира корисникот се некаде помеѓу. OpenAI и Perplexity наведуваат дека robots.txt можеби не важи за
ChatGPT-Userи генерално не важи заPerplexity-User. - Заштитните ѕидови не го читаат robots.txt. Широко правило за блокирање ботови може да ги запре краулерите за пребарување што сте ги дозволиле. Ако блокирањето на обуката го спроведувате на заштитниот ѕид, совпаѓајте ги агентите за обука по име и потврдете ги преку нивните објавени IP опсези.
Како да проверам дали поделбата функционира?
Прочитајте го вашиот robots.txt како што би го прочитал секој краулер: најдете ја групата што го именува, вратете се на * само ако таква нема, и применете го најдолгото совпаднато правило. Потоа побарајте страница со user agent-от на секој краулер за пребарување и потврдете дека добива 200 со целата содржина, а не 403 или страница со предизвик.
AISeeWhy го прави и двете за 14 краулери, групирани како агенти за обука, за пребарување и за корисници, и ја означува најчестата грешка: блокирање на ознака за пребарување, како PerplexityBot или Claude-SearchBot, со намера да се блокира обуката.
Следни чекори
- Тестер и проверка на robots.txt за AI краулери
- IP проверка на AI краулери
- Погледнете пример за целосен извештај
- Следење на AI краулери
- Планови и цени
Краулери во оваа статија
Често поставувани прашања
Дали блокирањето на GPTBot ќе го отстрани мојот сајт од одговорите на ChatGPT?
Не. OpenAI наведува дека GPTBot е за обука и дека секоја поставка во robots.txt е независна. Пребарувањето во ChatGPT користи OAI-SearchBot; сè додека тој е дозволен и не е блокиран од вашиот заштитен ѕид, вашите страници остануваат подобни.
Дали блокирањето на Google-Extended ме отстранува од AI Overviews?
Не според документацијата на Google. Google наведува дека Google-Extended не влијае на вклучувањето во Google Search, а AI Overviews се потпираат на индексот за пребарување. Google нуди посебна контрола во Search Console за исклучување сајт од AI Overviews и AI Mode.
Постои ли еден ред што ја блокира целата AI обука?
Нема стандарден таков ред. Content-Signal: ai-train=no ја изразува желбата за сите краулери, но дали краулерот ќе ја почитува зависи од операторот. Именуваните групи за секоја ознака за обука се документираниот начин.
Дали треба да го блокирам Perplexity за да ја запрам AI обуката?
Perplexity наведува дека неговите агенти не се користат за собирање податоци за обука. Блокирањето на PerplexityBot ја намалува вашата видливост во резултатите од пребарување на Perplexity, а не служи како откажување од обуката.
Извори
- OpenAI: Преглед на краулерите на OpenAI
- Anthropic: Дали Anthropic обиколува податоци од интернетот и како сопствениците на сајтови можат да го блокираат краулерот?
- Google: Вообичаени краулери, вклучително Google-Extended
- Помош за Google Search Console: Контрола на генеративната AI во пребарувањето
- Apple: За Applebot
- Meta: Веб-краулери на Meta
- Common Crawl: CCBot
- Perplexity: краулери на Perplexity
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Управуван robots.txt и Content Signals
- AISeeWhy: Извештај за пристапот на AI краулерите, 2026-11