Kako blokirati učenje UI in ostati v odgovorih iskanja z UI
Večina ponudnikov UI uporablja ločene žetone robots.txt za učenje modelov in za iskanje. Prepovejte žetone za učenje, kot so GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent in CCBot, ter dovolite žetone za iskanje in uporabnike, kot so OAI-SearchBot, Claude-SearchBot in PerplexityBot. Dodajte vrstico Content-Signal, ki isto željo izrazi z besedami.
Mnogi lastniki spletnih mest želijo dvoje hkrati: nočejo, da se njihova vsebina uporablja za učenje modelov UI, želijo pa, da jih asistenti UI najdejo, citirajo in povežejo na njihove strani. Ker veliki ponudniki ti nalogi zdaj delijo med različne pajke ali žetone, lahko robots.txt izrazi obe odločitvi. Zaplet je v tem, da se imena med ponudniki razlikujejo, nekaj ponudnikov v ta vzorec ne spada, ena napačna vrstica pa vas lahko odstrani iz odgovorov UI namesto iz podatkov za učenje.
Na tej strani
Kakšna je razlika med pajkom za učenje in pajkom za iskanje?
Pajek za učenje zbira strani, ki se lahko uporabijo za gradnjo ali izboljšavo modelov UI. Učenje samo po sebi ne prinese citata ali povezave. Pajek za iskanje gradi indeks, ki ga asistent UI uporablja za iskanje virov za odgovor, in te vire lahko citira. Uporabniški pajek odpre stran v živo, ker je nekdo vprašal o njej.
Ponudniki te vloge dokumentirajo ločeno in pravijo, da so nastavitve neodvisne. OpenAI na primer pravi, da je vsaka nastavitev robots.txt za njegove pajke neodvisna od drugih. Pravilno izvedena zavrnitev učenja torej vaše vidnosti v iskanju ne spremeni.
Kateri žetoni nadzorujejo učenje in kateri iskanje?
To so žetoni, ki jih ponudniki dokumentirajo, razvrščeni po tem, kaj nadzorujejo:
- OpenAI:
GPTBotpajka vsebino, ki se lahko uporabi za učenje njegovih temeljnih modelov.OAI-SearchBotje namenjen iskanju ChatGPT,ChatGPT-Userpa obravnava dejanja uporabnikov; OpenAI pravi, da zanj robots.txt morda ne velja. - Anthropic:
ClaudeBotzbira vsebino, ki bi lahko prispevala k učenju.Claude-SearchBotizboljšuje rezultate iskanja Claude,Claude-Userpa prenaša strani za uporabnike. Anthropic pravi, da njegovi boti upoštevajo robots.txt. - Google:
Google-Extendedje žeton robots.txt brez lastnega pajka. Nadzoruje uporabo pri učenju prihodnjih modelov Gemini in pri utemeljevanju (grounding) za aplikacije Gemini in Vertex AI. Google pravi, da ne vpliva na vključitev ali uvrstitev v Google Iskanju, ki ju nadzorujeGooglebot. - Apple:
Applebot-Extendedne pajka; nadzoruje, ali se vsebina, ki jo pajkaApplebot, uporablja za učenje Applovih temeljnih modelov. Apple pravi, da se strani, ki ga prepovedujejo, še vedno lahko pojavijo v njegovih rezultatih iskanja. - Meta:
meta-externalagentpajka za namene, kot je učenje temeljnih modelov,meta-webindexerpa izboljšuje rezultate iskanja Meta AI. - Common Crawl:
CCBotgradi javni spletni arhiv Common Crawl. Cloudflarov upravljani robots.txt ga navaja med pajki za učenje UI, ki jih prepoveduje. - Perplexity:
PerplexityBotinPerplexity-Userslužita iskanju in zahtevam uporabnikov. Perplexity pravi, da se nobeden ne uporablja za zbiranje podatkov za učenje, zato žetona za učenje Perplexity, ki bi ga blokirali, ni.
Kako je videti robots.txt?
Več zaporednih vrstic User-agent po RFC 9309 tvori eno skupino, zato pravila veljajo za vsako od njih. Ta datoteka zavrne žetone za učenje zgoraj, dovoli agente za iskanje in uporabnike ter eno zasebno pot ohrani zaprto za vse:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Pomembni sta dve podrobnosti. Prvič, poimenovana skupina ne podeduje pravil iz *, zato morate zasebne poti ponoviti v skupini za iskanje. Drugič, Googlebot ali Applebot ne dodajajte v skupino za učenje: to sta pajka za iskanje in njuno blokiranje vas odstrani iz Google Iskanja in Applovih funkcij iskanja. Spremembe niso takojšnje: OpenAI za iskanje navaja približno 24 ur, Perplexity pa do 24 ur.
Koliko mest to že počne?
Manj, kot bi morda pričakovali. 2026-11-12 smo prebrali datoteke robots.txt 1.000 najbolj priljubljenih domen na seznamu Tranco. Od 518, ki so stregle robots.txt, jih 155 (29,9 %) prepoveduje domačo stran vsaj enemu pajku za učenje UI. Samo 57 (11,0 %) jih ubere selektivno pot: blokirajo pajke za učenje in dovolijo vse pajke za iskanje z UI in uporabniške pajke, ki smo jih preizkusili. Skupno 101 mesto (19,5 %) blokira vsaj enega pajka za iskanje z UI ali uporabniškega pajka.
Številke po posameznih pajkih kažejo enako delitev. GPTBot je blokiran na 111 mestih (21,4 %), OAI-SearchBot na 58 (11,2 %). ClaudeBot je blokiran na 110 (21,2 %), Claude-SearchBot na 67 (12,9 %). Google-Extended je blokiran na 94 (18,1 %), Googlebot na 14 (2,7 %). Samo 18 mest (3,5 %) uporablja Content-Signal.
Raziskava obravnava samo pravila robots.txt za domačo stran. Ne meri blokad požarnega zidu in ne pokaže, kaj je posamezno mesto nameravalo.
Kaj doda Content-Signal?
Content Signals je razširitev robots.txt, ki jo je Cloudflare objavil na contentsignals.org. Vrstica Content-Signal pove, kako se sme vsebina uporabljati, s tremi signali: search (gradnja iskalnega indeksa ter prikaz povezav in kratkih izsekov), ai-input (vnos vsebine v modele UI v realnem času, na primer za utemeljevanje ali pridobivanje za generativne odgovore) in ai-train (učenje ali dodatno prilagajanje modelov).
Upoštevajte, da definicija search izključuje povzetke iskanja, ki jih ustvari UI. Če se želite pojaviti v odgovorih UI, nastavite tudi ai-input=yes, kot v zgornjem primeru. Cloudflarov upravljani robots.txt privzeto doda search=yes, ai-train=no; signal, ki ga izpustite, te uporabe niti ne dovoli niti ne omeji.
To so izražene želje. Spletno mesto Content Signals pravi, da tehnično ne preprečujejo pajkanja, Cloudflare pa opozarja, da je upoštevanje robots.txt prostovoljno. Nobena od strani o pajkih OpenAI, Anthropic, Google ali Perplexity, ki smo jih preverili, ne pove, ali berejo Content-Signal, zato ga obravnavajte kot dodatek k skupinam za posamezne pajke, ne kot njihovo zamenjavo.
Kje delitev ne deluje čisto?
Nekaj primerov zahteva previdnost:
- Google AI Overviews in AI Mode črpata iz indeksa Iskanja, ki ga gradi
Googlebot, zato vasGoogle-Extendediz njiju ne odstrani. Pomoč za Search Console dodaja, daGoogle-Extendedomejuje učenje modelov za funkcijami generativne UI v Iskanju, česar Googlova dokumentacija o pajkih ne omenja. Google zdaj ponuja ločeno nastavitev v Search Console za izključitev mesta iz AI Overviews in AI Mode. - OpenAI pravi, da lahko, če mesto dovoli tako
GPTBotkotOAI-SearchBot, rezultate enega pajkanja uporabi za oba namena. Prav prepovedGPTBotsporoči, da se vsebina ne sme uporabljati za učenje. - Zavrnitve veljajo za naprej. Anthropic na primer prepoved
ClaudeBotopisuje kot izključitev prihodnje vsebine vašega mesta iz naborov podatkov za učenje. - Uporabniški pajki so nekje vmes. OpenAI in Perplexity pravita, da robots.txt za
ChatGPT-Usermorda ne velja oziroma zaPerplexity-Userna splošno ne velja. - Požarni zidovi robots.txt ne berejo. Široko pravilo za blokiranje botov lahko ustavi pajke za iskanje, ki ste jih dovolili. Če blokado učenja uveljavljate na požarnem zidu, agente za učenje ujemajte po imenu in jih preverite po njihovih objavljenih obsegih IP.
Kako preverim, ali delitev deluje?
Preberite robots.txt tako, kot bi ga prebral vsak pajek: poiščite skupino, ki ga navaja, na * se vrnite samo, če take skupine ni, in uporabite najdaljše ujemajoče se pravilo. Nato zahtevajte stran z user agentom vsakega pajka za iskanje in potrdite, da dobi 200 s celotno vsebino, ne 403 ali strani z izzivom.
AISeeWhy naredi oboje za 14 pajkov, razvrščenih v agente za učenje, iskanje in uporabnike, in označi najpogostejšo napako: blokiranje žetona za iskanje, kot sta PerplexityBot ali Claude-SearchBot, z namenom blokiranja učenja.
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje IP pajkov UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Ali blokiranje GPTBot odstrani moje mesto iz odgovorov ChatGPT?
Ne. OpenAI pravi, da je GPTBot namenjen učenju in da je vsaka nastavitev robots.txt neodvisna. Iskanje ChatGPT uporablja OAI-SearchBot; dokler je ta dovoljen in ga ne blokira vaš požarni zid, so vaše strani še vedno lahko izbrane.
Ali me blokiranje Google-Extended odstrani iz AI Overviews?
Po Googlovi dokumentaciji ne. Google pravi, da Google-Extended ne vpliva na vključitev v Google Iskanje, AI Overviews pa črpajo iz indeksa Iskanja. Google ponuja ločen nadzor v Search Console za izključitev mesta iz AI Overviews in AI Mode.
Ali obstaja ena vrstica, ki blokira vse učenje UI?
Standardne take vrstice ni. Content-Signal: ai-train=no izrazi željo za vse pajke, ali jo pajek upošteva, pa je odvisno od upravljavca. Dokumentirani način so poimenovane skupine za vsak žeton za učenje.
Ali naj blokiram Perplexity, da ustavim učenje UI?
Perplexity pravi, da se njegovi agenti ne uporabljajo za zbiranje podatkov za učenje. Blokiranje PerplexityBot zmanjša vašo vidnost v rezultatih iskanja Perplexity, učenja pa ne zavrne.
Viri
- OpenAI: pregled pajkov OpenAI
- Anthropic: Ali Anthropic pajka podatke s spleta in kako lahko lastniki spletnih mest pajka blokirajo?
- Google: običajni pajki, vključno z Google-Extended
- Pomoč za Google Search Console: nadzor generativne UI v iskanju
- Apple: o Applebotu
- Meta: spletni pajki Meta
- Common Crawl: CCBot
- Perplexity: pajki Perplexity
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: upravljani robots.txt in Content Signals
- AISeeWhy: poročilo o dostopu pajkov UI, 2026-11