Ako zablokovať AI trénovanie a zostať v odpovediach AI vyhľadávania

Publikované

Krátka odpoveď

Väčšina dodávateľov AI používa v robots.txt samostatné tokeny pre trénovanie modelov a pre vyhľadávanie. Zakážte tréningové tokeny, napríklad GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent a CCBot, a povoľte vyhľadávacie a používateľské tokeny, napríklad OAI-SearchBot, Claude-SearchBot a PerplexityBot. Pridajte riadok Content-Signal, ktorý tú istú preferenciu vyjadrí slovami.

Mnohí majitelia webov chcú dve veci naraz: nechcú, aby sa ich obsah používal na trénovanie modelov AI, a zároveň chcú, aby ich stránky AI asistenti našli, citovali a odkazovali. Keďže veľkí dodávatelia dnes tieto úlohy rozdeľujú medzi rôzne crawlery alebo tokeny, robots.txt dokáže vyjadriť obe voľby. Háčik je v tom, že názvy sa medzi dodávateľmi líšia, niekoľko dodávateľov do vzoru nezapadá a jeden nesprávny riadok vás môže odstrániť z odpovedí AI namiesto z tréningových dát.

Na tejto stránke
  1. Aký je rozdiel medzi tréningovým a vyhľadávacím crawlerom?
  2. Ktoré tokeny riadia trénovanie a ktoré vyhľadávanie?
  3. Ako vyzerá taký robots.txt?
  4. Koľko webov to už robí?
  5. Čo pridáva Content-Signal?
  6. Kde rozdelenie nefunguje čisto?
  7. Ako overiť, že rozdelenie funguje?

Aký je rozdiel medzi tréningovým a vyhľadávacím crawlerom?

Tréningový crawler zbiera stránky, ktoré sa môžu použiť na vytvorenie alebo zlepšenie modelov AI. Samotné trénovanie neprinesie citáciu ani odkaz. Vyhľadávací crawler zostavuje index, v ktorom AI asistent hľadá zdroje pre odpoveď, a práve tieto zdroje môže citovať. Fetcher spúšťaný používateľom otvorí stránku naživo, pretože sa na ňu niekto spýtal.

Dodávatelia tieto roly dokumentujú oddelene a uvádzajú, že nastavenia sú nezávislé. OpenAI napríklad uvádza, že každé nastavenie robots.txt pre jeho crawlery je nezávislé od ostatných. Správne urobené odmietnutie trénovania teda vašu viditeľnosť vo vyhľadávaní neovplyvní.

Ktoré tokeny riadia trénovanie a ktoré vyhľadávanie?

Toto sú tokeny, ktoré dodávatelia dokumentujú, zoskupené podľa toho, čo riadia:

Ako vyzerá taký robots.txt?

Niekoľko riadkov User-agent za sebou tvorí podľa RFC 9309 jednu skupinu, takže pravidlá platia pre každý z nich. Tento súbor odmieta tréningové tokeny uvedené vyššie, povoľuje vyhľadávacích a používateľských agentov a jednu súkromnú cestu nechá zatvorenú pre všetkých:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Dôležité sú dva detaily. Po prvé, pomenovaná skupina nič nededí od *, takže súkromné cesty treba zopakovať aj vo vyhľadávacej skupine. Po druhé, nepridávajte Googlebot ani Applebot do tréningovej skupiny: sú to vyhľadávacie crawlery a ich blokovanie vás odstráni z Vyhľadávania Google a z vyhľadávacích funkcií Apple. Zmeny sa neprejavia okamžite: OpenAI uvádza pri vyhľadávaní asi 24 hodín, Perplexity až 24 hodín.

Koľko webov to už robí?

Menej, než by ste čakali. Dňa 2026-11-12 sme prečítali súbory robots.txt 1 000 najpopulárnejších domén zo zoznamu Tranco. Z 518, ktoré robots.txt poskytovali, 155 (29,9 %) zakazuje domovskú stránku aspoň jednému tréningovému crawleru AI. Len 57 (11,0 %) ide selektívnou cestou: blokujú tréningové crawlery a povoľujú všetky AI vyhľadávacie a používateľské crawlery, ktoré sme testovali. Celkovo 101 webov (19,5 %) blokuje aspoň jeden AI vyhľadávací alebo používateľský crawler.

Rovnaké rozdelenie ukazujú aj čísla pre jednotlivé crawlery. GPTBot je zablokovaný na 111 weboch (21,4 %) a OAI-SearchBot na 58 (11,2 %). ClaudeBot je zablokovaný na 110 (21,2 %) a Claude-SearchBot na 67 (12,9 %). Google-Extended je zablokovaný na 94 (18,1 %), Googlebot na 14 (2,7 %). Content-Signal používa len 18 webov (3,5 %).

Štúdia sleduje pravidlá robots.txt len pre domovskú stránku. Nemeria blokovanie firewallom a neukazuje, aký bol zámer jednotlivých webov.

Čo pridáva Content-Signal?

Content Signals je rozšírenie robots.txt, ktoré Cloudflare zverejnil na contentsignals.org. Riadok Content-Signal uvádza, ako sa smie obsah používať, pomocou troch signálov: search (zostavenie vyhľadávacieho indexu a zobrazovanie odkazov a krátkych úryvkov), ai-input (vkladanie obsahu do modelov AI v reálnom čase, napríklad grounding alebo vyhľadávanie pre generované odpovede) a ai-train (trénovanie alebo dolaďovanie modelov).

Všimnite si, že definícia search nezahŕňa súhrny vyhľadávania generované AI. Ak sa chcete zobrazovať v odpovediach AI, nastavte aj ai-input=yes, ako v príklade vyššie. Spravovaný robots.txt od Cloudflare predvolene pridáva search=yes, ai-train=no; signál, ktorý vynecháte, také použitie ani nepovoľuje, ani neobmedzuje.

Ide o vyjadrené preferencie. Web Content Signals uvádza, že technicky prechádzaniu nebránia, a Cloudflare pripomína, že dodržiavanie robots.txt je dobrovoľné. Žiadna zo stránok o crawleroch OpenAI, Anthropic, Google ani Perplexity, ktoré sme skontrolovali, neuvádza, či čítajú Content-Signal, preto ho berte ako doplnok skupín pre jednotlivé crawlery, nie ako náhradu.

Kde rozdelenie nefunguje čisto?

Niekoľko prípadov si vyžaduje pozornosť:

Ako overiť, že rozdelenie funguje?

Prečítajte svoj robots.txt tak, ako by ho čítal každý crawler: nájdite skupinu, ktorá ho menuje, na * prejdite len vtedy, keď žiadna taká nie je, a použite najdlhšie zhodné pravidlo. Potom stiahnite stránku s user agentom každého vyhľadávacieho crawlera a overte, že dostane 200 s úplným obsahom, nie 403 ani overovaciu stránku.

AISeeWhy robí oboje pre 14 crawlerov zoskupených na tréningových, vyhľadávacích a používateľských agentov a upozorní na najčastejšiu chybu: blokovanie vyhľadávacieho tokenu ako PerplexityBot alebo Claude-SearchBot v snahe zablokovať trénovanie.

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Odstráni blokovanie GPTBot môj web z odpovedí ChatGPT?

Nie. OpenAI uvádza, že GPTBot slúži na trénovanie a že každé nastavenie robots.txt je nezávislé. Vyhľadávanie v ChatGPT používa OAI-SearchBot; kým je povolený a neblokuje ho váš firewall, vaše stránky sa v ňom môžu zobrazovať.

Odstráni ma blokovanie Google-Extended z prehľadov od AI?

Podľa dokumentácie Google nie. Google uvádza, že Google-Extended neovplyvňuje zaradenie do Vyhľadávania Google, a prehľady od AI čerpajú z indexu Vyhľadávania. Na vyradenie webu z prehľadov od AI a Režimu AI ponúka Google samostatné nastavenie v Search Console.

Existuje jeden riadok, ktorý zablokuje všetko AI trénovanie?

Žiadny štandardný riadok to nedokáže. Content-Signal: ai-train=no vyjadruje preferenciu pre všetky crawlery, no či ju crawler rešpektuje, závisí od prevádzkovateľa. Zdokumentovaným spôsobom sú pomenované skupiny pre každý tréningový token.

Mám blokovať Perplexity, aby som zastavil AI trénovanie?

Perplexity uvádza, že jeho agenti sa nepoužívajú na zber tréningových dát. Blokovanie PerplexityBot znižuje vašu viditeľnosť vo výsledkoch vyhľadávania Perplexity a ako odmietnutie trénovania neslúži.

Zdroje

Ďalšie články