Ako zablokovať AI trénovanie a zostať v odpovediach AI vyhľadávania
Väčšina dodávateľov AI používa v robots.txt samostatné tokeny pre trénovanie modelov a pre vyhľadávanie. Zakážte tréningové tokeny, napríklad GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent a CCBot, a povoľte vyhľadávacie a používateľské tokeny, napríklad OAI-SearchBot, Claude-SearchBot a PerplexityBot. Pridajte riadok Content-Signal, ktorý tú istú preferenciu vyjadrí slovami.
Mnohí majitelia webov chcú dve veci naraz: nechcú, aby sa ich obsah používal na trénovanie modelov AI, a zároveň chcú, aby ich stránky AI asistenti našli, citovali a odkazovali. Keďže veľkí dodávatelia dnes tieto úlohy rozdeľujú medzi rôzne crawlery alebo tokeny, robots.txt dokáže vyjadriť obe voľby. Háčik je v tom, že názvy sa medzi dodávateľmi líšia, niekoľko dodávateľov do vzoru nezapadá a jeden nesprávny riadok vás môže odstrániť z odpovedí AI namiesto z tréningových dát.
Na tejto stránke
Aký je rozdiel medzi tréningovým a vyhľadávacím crawlerom?
Tréningový crawler zbiera stránky, ktoré sa môžu použiť na vytvorenie alebo zlepšenie modelov AI. Samotné trénovanie neprinesie citáciu ani odkaz. Vyhľadávací crawler zostavuje index, v ktorom AI asistent hľadá zdroje pre odpoveď, a práve tieto zdroje môže citovať. Fetcher spúšťaný používateľom otvorí stránku naživo, pretože sa na ňu niekto spýtal.
Dodávatelia tieto roly dokumentujú oddelene a uvádzajú, že nastavenia sú nezávislé. OpenAI napríklad uvádza, že každé nastavenie robots.txt pre jeho crawlery je nezávislé od ostatných. Správne urobené odmietnutie trénovania teda vašu viditeľnosť vo vyhľadávaní neovplyvní.
Ktoré tokeny riadia trénovanie a ktoré vyhľadávanie?
Toto sú tokeny, ktoré dodávatelia dokumentujú, zoskupené podľa toho, čo riadia:
- OpenAI:
GPTBotprechádza obsah, ktorý sa môže použiť na trénovanie jeho základných modelov.OAI-SearchBotslúži pre vyhľadávanie v ChatGPT aChatGPT-Userspracúva akcie používateľov; OpenAI uvádza, že naň sa robots.txt nemusí vzťahovať. - Anthropic:
ClaudeBotzbiera obsah, ktorý môže prispieť k trénovaniu.Claude-SearchBotzlepšuje výsledky vyhľadávania Claude aClaude-Usersťahuje stránky pre používateľov. Anthropic uvádza, že jeho boty rešpektujú robots.txt. - Google:
Google-Extendedje token v robots.txt bez vlastného crawlera. Riadi použitie na trénovanie budúcich modelov Gemini a na grounding pre Gemini Apps a Vertex AI. Google uvádza, že neovplyvňuje zaradenie ani poradie vo Vyhľadávaní Google, ktoré sa riadi cezGooglebot. - Apple:
Applebot-Extendednič neprechádza; riadi, či sa obsah prejdený crawleromApplebotpoužije na trénovanie základných modelov Apple. Apple uvádza, že stránky, ktoré ho zakazujú, sa môžu naďalej zobrazovať v jeho výsledkoch vyhľadávania. - Meta:
meta-externalagentprechádza web na účely ako trénovanie základných modelov, kýmmeta-webindexerzlepšuje výsledky vyhľadávania Meta AI. - Common Crawl:
CCBotzostavuje verejný archív webu Common Crawl. Spravovaný robots.txt od Cloudflare ho uvádza medzi tréningovými crawlermi AI, ktoré zakazuje. - Perplexity:
PerplexityBotaPerplexity-Userslúžia vyhľadávaniu a požiadavkám používateľov. Perplexity uvádza, že ani jeden sa nepoužíva na zber tréningových dát, takže neexistuje tréningový token Perplexity, ktorý by sa dal blokovať.
Ako vyzerá taký robots.txt?
Niekoľko riadkov User-agent za sebou tvorí podľa RFC 9309 jednu skupinu, takže pravidlá platia pre každý z nich. Tento súbor odmieta tréningové tokeny uvedené vyššie, povoľuje vyhľadávacích a používateľských agentov a jednu súkromnú cestu nechá zatvorenú pre všetkých:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Dôležité sú dva detaily. Po prvé, pomenovaná skupina nič nededí od *, takže súkromné cesty treba zopakovať aj vo vyhľadávacej skupine. Po druhé, nepridávajte Googlebot ani Applebot do tréningovej skupiny: sú to vyhľadávacie crawlery a ich blokovanie vás odstráni z Vyhľadávania Google a z vyhľadávacích funkcií Apple. Zmeny sa neprejavia okamžite: OpenAI uvádza pri vyhľadávaní asi 24 hodín, Perplexity až 24 hodín.
Koľko webov to už robí?
Menej, než by ste čakali. Dňa 2026-11-12 sme prečítali súbory robots.txt 1 000 najpopulárnejších domén zo zoznamu Tranco. Z 518, ktoré robots.txt poskytovali, 155 (29,9 %) zakazuje domovskú stránku aspoň jednému tréningovému crawleru AI. Len 57 (11,0 %) ide selektívnou cestou: blokujú tréningové crawlery a povoľujú všetky AI vyhľadávacie a používateľské crawlery, ktoré sme testovali. Celkovo 101 webov (19,5 %) blokuje aspoň jeden AI vyhľadávací alebo používateľský crawler.
Rovnaké rozdelenie ukazujú aj čísla pre jednotlivé crawlery. GPTBot je zablokovaný na 111 weboch (21,4 %) a OAI-SearchBot na 58 (11,2 %). ClaudeBot je zablokovaný na 110 (21,2 %) a Claude-SearchBot na 67 (12,9 %). Google-Extended je zablokovaný na 94 (18,1 %), Googlebot na 14 (2,7 %). Content-Signal používa len 18 webov (3,5 %).
Štúdia sleduje pravidlá robots.txt len pre domovskú stránku. Nemeria blokovanie firewallom a neukazuje, aký bol zámer jednotlivých webov.
Čo pridáva Content-Signal?
Content Signals je rozšírenie robots.txt, ktoré Cloudflare zverejnil na contentsignals.org. Riadok Content-Signal uvádza, ako sa smie obsah používať, pomocou troch signálov: search (zostavenie vyhľadávacieho indexu a zobrazovanie odkazov a krátkych úryvkov), ai-input (vkladanie obsahu do modelov AI v reálnom čase, napríklad grounding alebo vyhľadávanie pre generované odpovede) a ai-train (trénovanie alebo dolaďovanie modelov).
Všimnite si, že definícia search nezahŕňa súhrny vyhľadávania generované AI. Ak sa chcete zobrazovať v odpovediach AI, nastavte aj ai-input=yes, ako v príklade vyššie. Spravovaný robots.txt od Cloudflare predvolene pridáva search=yes, ai-train=no; signál, ktorý vynecháte, také použitie ani nepovoľuje, ani neobmedzuje.
Ide o vyjadrené preferencie. Web Content Signals uvádza, že technicky prechádzaniu nebránia, a Cloudflare pripomína, že dodržiavanie robots.txt je dobrovoľné. Žiadna zo stránok o crawleroch OpenAI, Anthropic, Google ani Perplexity, ktoré sme skontrolovali, neuvádza, či čítajú Content-Signal, preto ho berte ako doplnok skupín pre jednotlivé crawlery, nie ako náhradu.
Kde rozdelenie nefunguje čisto?
Niekoľko prípadov si vyžaduje pozornosť:
- Prehľady od AI (AI Overviews) a Režim AI v Google čerpajú z indexu Vyhľadávania, ktorý zostavuje
Googlebot, takžeGoogle-Extendedvás z nich nevyradí. Pomocník Search Console dodáva, žeGoogle-Extendedobmedzuje trénovanie modelov, na ktorých stoja funkcie generatívnej AI vo Vyhľadávaní, čo dokumentácia crawlerov neuvádza. Google teraz ponúka samostatné nastavenie v Search Console, ktorým web vyradíte z prehľadov od AI a Režimu AI. - OpenAI uvádza, že ak web povoľuje
GPTBotajOAI-SearchBot, môže výsledky jedného prechádzania použiť na oba účely. Práve zákazGPTBotsignalizuje, že obsah sa nemá použiť na trénovanie. - Odmietnutia platia do budúcnosti. Anthropic napríklad opisuje zákaz
ClaudeBotako vylúčenie budúceho obsahu vášho webu z tréningových dátových súborov. - Fetchery spúšťané používateľom sú niekde medzi. OpenAI a Perplexity uvádzajú, že na
ChatGPT-Usersa robots.txt nemusí vzťahovať a naPerplexity-Usersa spravidla nevzťahuje. - Firewally robots.txt nečítajú. Široké pravidlo na blokovanie botov môže zastaviť aj vyhľadávacie crawlery, ktoré ste povolili. Ak tréningový blok vynucujete vo firewalle, porovnávajte tréningových agentov podľa názvu a overujte ich podľa zverejnených rozsahov IP.
Ako overiť, že rozdelenie funguje?
Prečítajte svoj robots.txt tak, ako by ho čítal každý crawler: nájdite skupinu, ktorá ho menuje, na * prejdite len vtedy, keď žiadna taká nie je, a použite najdlhšie zhodné pravidlo. Potom stiahnite stránku s user agentom každého vyhľadávacieho crawlera a overte, že dostane 200 s úplným obsahom, nie 403 ani overovaciu stránku.
AISeeWhy robí oboje pre 14 crawlerov zoskupených na tréningových, vyhľadávacích a používateľských agentov a upozorní na najčastejšiu chybu: blokovanie vyhľadávacieho tokenu ako PerplexityBot alebo Claude-SearchBot v snahe zablokovať trénovanie.
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Overenie IP AI crawlerov
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Odstráni blokovanie GPTBot môj web z odpovedí ChatGPT?
Nie. OpenAI uvádza, že GPTBot slúži na trénovanie a že každé nastavenie robots.txt je nezávislé. Vyhľadávanie v ChatGPT používa OAI-SearchBot; kým je povolený a neblokuje ho váš firewall, vaše stránky sa v ňom môžu zobrazovať.
Odstráni ma blokovanie Google-Extended z prehľadov od AI?
Podľa dokumentácie Google nie. Google uvádza, že Google-Extended neovplyvňuje zaradenie do Vyhľadávania Google, a prehľady od AI čerpajú z indexu Vyhľadávania. Na vyradenie webu z prehľadov od AI a Režimu AI ponúka Google samostatné nastavenie v Search Console.
Existuje jeden riadok, ktorý zablokuje všetko AI trénovanie?
Žiadny štandardný riadok to nedokáže. Content-Signal: ai-train=no vyjadruje preferenciu pre všetky crawlery, no či ju crawler rešpektuje, závisí od prevádzkovateľa. Zdokumentovaným spôsobom sú pomenované skupiny pre každý tréningový token.
Mám blokovať Perplexity, aby som zastavil AI trénovanie?
Perplexity uvádza, že jeho agenti sa nepoužívajú na zber tréningových dát. Blokovanie PerplexityBot znižuje vašu viditeľnosť vo výsledkoch vyhľadávania Perplexity a ako odmietnutie trénovania neslúži.
Zdroje
- OpenAI: Prehľad crawlerov OpenAI
- Anthropic: Prechádza Anthropic dáta z webu a ako môžu majitelia webov crawler zablokovať?
- Google: Bežné crawlery vrátane Google-Extended
- Pomocník Google Search Console: Ovládanie generatívnej AI vo Vyhľadávaní
- Apple: O crawleri Applebot
- Meta: Webové crawlery Meta
- Common Crawl: CCBot
- Perplexity: crawlery Perplexity
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Spravovaný robots.txt a Content Signals
- AISeeWhy: Správa o prístupe AI crawlerov, 2026-11