AISeeWhy
CS
Spustit zkušební verzi zdarma

Jak blokovat trénování AI a zůstat v odpovědích AI vyhledávání

Publikováno

Stručná odpověď

Většina poskytovatelů AI používá v robots.txt oddělené tokeny pro trénování modelů a pro vyhledávání. Zakažte trénovací tokeny, například GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent a CCBot, a povolte tokeny vyhledávání a uživatelských požadavků, například OAI-SearchBot, Claude-SearchBot a PerplexityBot. Přidejte řádek Content-Signal, který stejnou preferenci vyjádří slovy.

Mnoho majitelů webů chce dvě věci současně: nechtějí, aby se jejich obsah používal k trénování modelů AI, ale chtějí, aby asistenti AI jejich stránky našli, citovali a odkazovali na ně. Protože velcí poskytovatelé tyto úlohy rozdělují mezi různé crawlery nebo tokeny, může robots.txt vyjádřit obě volby. Háček je v tom, že názvy se u jednotlivých poskytovatelů liší, několik poskytovatelů do tohoto schématu nezapadá a jediný chybný řádek vás může místo z trénovacích dat vyřadit z odpovědí AI.

Na této stránce
  1. Jaký je rozdíl mezi trénovacím crawlerem a crawlerem vyhledávání?
  2. Které tokeny řídí trénování a které vyhledávání?
  3. Jak vypadá takový robots.txt?
  4. Kolik webů to už dělá?
  5. Co přidává Content-Signal?
  6. Kde rozdělení nefunguje čistě?
  7. Jak ověřím, že rozdělení funguje?

Jaký je rozdíl mezi trénovacím crawlerem a crawlerem vyhledávání?

Trénovací crawler sbírá stránky, které se mohou použít k vytváření nebo vylepšování modelů AI. Samotné trénování citaci ani odkaz nevytváří. Crawler vyhledávání buduje index, který asistent AI používá k hledání zdrojů pro odpověď, a právě tyto zdroje může citovat. Nástroj spouštěný uživatelem otevře stránku naživo, protože se na ni někdo zeptal.

Poskytovatelé tyto role dokumentují odděleně a uvádějí, že nastavení jsou nezávislá. OpenAI například uvádí, že každé nastavení robots.txt pro její crawlery je nezávislé na ostatních. Správně provedené odhlášení z trénování tedy vaši viditelnost ve vyhledávání neovlivní.

Které tokeny řídí trénování a které vyhledávání?

Toto jsou tokeny, které poskytovatelé dokumentují, seskupené podle toho, co řídí:

Jak vypadá takový robots.txt?

Několik řádků User-agent za sebou tvoří podle RFC 9309 jednu skupinu, takže pravidla platí pro každý z nich. Tento soubor se odhlašuje z trénovacích tokenů uvedených výše, povoluje agenty vyhledávání a uživatelských požadavků a pro všechny nechává zavřenou jednu soukromou cestu:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Záleží na dvou detailech. Za prvé, pojmenovaná skupina nedědí z *, takže soukromé cesty je nutné zopakovat ve skupině pro vyhledávání. Za druhé, do trénovací skupiny nepřidávejte Googlebot ani Applebot: jsou to crawlery vyhledávání a jejich zablokování vás vyřadí z Google Search a z vyhledávacích funkcí Applu. Změny se neprojeví okamžitě: OpenAI uvádí asi 24 hodin pro vyhledávání a Perplexity uvádí až 24 hodin.

Kolik webů to už dělá?

Méně, než byste čekali. Přečetli jsme soubory robots.txt 1000 nejpopulárnějších domén ze seznamu Tranco k 2026-11-12. Z 518 webů, které robots.txt poskytly, 155 (29,9 %) zakazuje domovskou stránku alespoň jednomu trénovacímu AI crawleru. Selektivní cestou se vydává jen 57 (11,0 %): blokují trénovací crawlery a povolují všechny AI crawlery pro vyhledávání a uživatelské požadavky, které jsme testovali. Celkem 101 webů (19,5 %) blokuje alespoň jeden AI crawler pro vyhledávání nebo uživatelské požadavky.

Čísla po jednotlivých crawlerech ukazují stejné rozdělení. GPTBot je blokován na 111 webech (21,4 %) a OAI-SearchBot na 58 (11,2 %). ClaudeBot je blokován na 110 (21,2 %) a Claude-SearchBot na 67 (12,9 %). Google-Extended je blokován na 94 (18,1 %), Googlebot na 14 (2,7 %). Content-Signal používá jen 18 webů (3,5 %).

Studie sleduje pouze pravidla robots.txt pro domovskou stránku. Neměří blokování na firewallu a neukazuje, co který web zamýšlel.

Co přidává Content-Signal?

Content Signals je rozšíření robots.txt, které zveřejnil Cloudflare na contentsignals.org. Řádek Content-Signal uvádí, jak se obsah smí používat, pomocí tří signálů: search (budování vyhledávacího indexu a zobrazování odkazů a krátkých úryvků), ai-input (vkládání obsahu do modelů AI v reálném čase, například pro grounding nebo načítání informací pro generativní odpovědi) a ai-train (trénování nebo dolaďování modelů).

Všimněte si, že definice search vylučuje souhrny vyhledávání generované AI. Pokud chcete být v odpovědích AI, nastavte také ai-input=yes, jako v příkladu výše. Spravovaný robots.txt od Cloudflare přidává ve výchozím stavu search=yes, ai-train=no; signál, který vynecháte, dané použití neuděluje ani neomezuje.

Jde o deklarované preference. Web Content Signals uvádí, že technicky procházení nebrání, a Cloudflare poznamenává, že dodržování robots.txt je dobrovolné. Žádná ze stránek o crawlerech OpenAI, Anthropic, Google ani Perplexity, které jsme zkontrolovali, neuvádí, zda Content-Signal čtou, takže ho berte jako doplněk skupin pro jednotlivé crawlery, ne jako jejich náhradu.

Kde rozdělení nefunguje čistě?

Několik případů vyžaduje pozornost:

Jak ověřím, že rozdělení funguje?

Přečtěte si robots.txt tak, jak by ho četl každý crawler: najděte skupinu, která ho jmenuje, k * se vraťte jen tehdy, když žádná není, a použijte nejdelší odpovídající pravidlo. Potom vyžádejte stránku s user agentem každého crawleru vyhledávání a ověřte, že dostane 200 s plným obsahem, ne 403 ani ověřovací stránku.

AISeeWhy dělá obojí pro 14 crawlerů, seskupených jako trénovací agenti, agenti vyhledávání a agenti uživatelských požadavků, a upozorňuje na nejčastější chybu: zablokování tokenu vyhledávání, například PerplexityBot nebo Claude-SearchBot, ačkoli jste chtěli zablokovat trénování.

Časté dotazy

Odstraní zablokování GPTBot můj web z odpovědí ChatGPT?

Ne. OpenAI uvádí, že GPTBot slouží k trénování a že každé nastavení robots.txt je nezávislé. Vyhledávání ChatGPT používá OAI-SearchBot; dokud je povolen a váš firewall ho neblokuje, vaše stránky zůstávají způsobilé.

Vyřadí mě zablokování Google-Extended z AI Overviews?

Podle dokumentace Google ne. Google uvádí, že Google-Extended neovlivňuje zařazení do Google Search a že AI Overviews čerpají z indexu Google Search. Google nabízí samostatný ovládací prvek v Search Console pro vyloučení webu z AI Overviews a AI Mode.

Existuje jeden řádek, který zablokuje veškeré trénování AI?

Žádný standardní řádek neexistuje. Content-Signal: ai-train=no vyjadřuje preferenci pro všechny crawlery, ale to, zda ji crawler dodržuje, závisí na provozovateli. Zdokumentovaným způsobem jsou pojmenované skupiny pro každý trénovací token.

Mám blokovat Perplexity, abych zabránil trénování AI?

Perplexity uvádí, že její agenti se nepoužívají ke sběru trénovacích dat. Zablokování PerplexityBot snižuje vaši viditelnost ve výsledcích vyhledávání Perplexity, aniž by sloužilo jako odhlášení z trénování.

Zdroje

Další články