Kako blokirati učenje UI in ostati v odgovorih iskanja z UI

Objavljeno

Kratek odgovor

Večina ponudnikov UI uporablja ločene žetone robots.txt za učenje modelov in za iskanje. Prepovejte žetone za učenje, kot so GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent in CCBot, ter dovolite žetone za iskanje in uporabnike, kot so OAI-SearchBot, Claude-SearchBot in PerplexityBot. Dodajte vrstico Content-Signal, ki isto željo izrazi z besedami.

Mnogi lastniki spletnih mest želijo dvoje hkrati: nočejo, da se njihova vsebina uporablja za učenje modelov UI, želijo pa, da jih asistenti UI najdejo, citirajo in povežejo na njihove strani. Ker veliki ponudniki ti nalogi zdaj delijo med različne pajke ali žetone, lahko robots.txt izrazi obe odločitvi. Zaplet je v tem, da se imena med ponudniki razlikujejo, nekaj ponudnikov v ta vzorec ne spada, ena napačna vrstica pa vas lahko odstrani iz odgovorov UI namesto iz podatkov za učenje.

Na tej strani
  1. Kakšna je razlika med pajkom za učenje in pajkom za iskanje?
  2. Kateri žetoni nadzorujejo učenje in kateri iskanje?
  3. Kako je videti robots.txt?
  4. Koliko mest to že počne?
  5. Kaj doda Content-Signal?
  6. Kje delitev ne deluje čisto?
  7. Kako preverim, ali delitev deluje?

Kakšna je razlika med pajkom za učenje in pajkom za iskanje?

Pajek za učenje zbira strani, ki se lahko uporabijo za gradnjo ali izboljšavo modelov UI. Učenje samo po sebi ne prinese citata ali povezave. Pajek za iskanje gradi indeks, ki ga asistent UI uporablja za iskanje virov za odgovor, in te vire lahko citira. Uporabniški pajek odpre stran v živo, ker je nekdo vprašal o njej.

Ponudniki te vloge dokumentirajo ločeno in pravijo, da so nastavitve neodvisne. OpenAI na primer pravi, da je vsaka nastavitev robots.txt za njegove pajke neodvisna od drugih. Pravilno izvedena zavrnitev učenja torej vaše vidnosti v iskanju ne spremeni.

Kateri žetoni nadzorujejo učenje in kateri iskanje?

To so žetoni, ki jih ponudniki dokumentirajo, razvrščeni po tem, kaj nadzorujejo:

Kako je videti robots.txt?

Več zaporednih vrstic User-agent po RFC 9309 tvori eno skupino, zato pravila veljajo za vsako od njih. Ta datoteka zavrne žetone za učenje zgoraj, dovoli agente za iskanje in uporabnike ter eno zasebno pot ohrani zaprto za vse:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Pomembni sta dve podrobnosti. Prvič, poimenovana skupina ne podeduje pravil iz *, zato morate zasebne poti ponoviti v skupini za iskanje. Drugič, Googlebot ali Applebot ne dodajajte v skupino za učenje: to sta pajka za iskanje in njuno blokiranje vas odstrani iz Google Iskanja in Applovih funkcij iskanja. Spremembe niso takojšnje: OpenAI za iskanje navaja približno 24 ur, Perplexity pa do 24 ur.

Koliko mest to že počne?

Manj, kot bi morda pričakovali. 2026-11-12 smo prebrali datoteke robots.txt 1.000 najbolj priljubljenih domen na seznamu Tranco. Od 518, ki so stregle robots.txt, jih 155 (29,9 %) prepoveduje domačo stran vsaj enemu pajku za učenje UI. Samo 57 (11,0 %) jih ubere selektivno pot: blokirajo pajke za učenje in dovolijo vse pajke za iskanje z UI in uporabniške pajke, ki smo jih preizkusili. Skupno 101 mesto (19,5 %) blokira vsaj enega pajka za iskanje z UI ali uporabniškega pajka.

Številke po posameznih pajkih kažejo enako delitev. GPTBot je blokiran na 111 mestih (21,4 %), OAI-SearchBot na 58 (11,2 %). ClaudeBot je blokiran na 110 (21,2 %), Claude-SearchBot na 67 (12,9 %). Google-Extended je blokiran na 94 (18,1 %), Googlebot na 14 (2,7 %). Samo 18 mest (3,5 %) uporablja Content-Signal.

Raziskava obravnava samo pravila robots.txt za domačo stran. Ne meri blokad požarnega zidu in ne pokaže, kaj je posamezno mesto nameravalo.

Kaj doda Content-Signal?

Content Signals je razširitev robots.txt, ki jo je Cloudflare objavil na contentsignals.org. Vrstica Content-Signal pove, kako se sme vsebina uporabljati, s tremi signali: search (gradnja iskalnega indeksa ter prikaz povezav in kratkih izsekov), ai-input (vnos vsebine v modele UI v realnem času, na primer za utemeljevanje ali pridobivanje za generativne odgovore) in ai-train (učenje ali dodatno prilagajanje modelov).

Upoštevajte, da definicija search izključuje povzetke iskanja, ki jih ustvari UI. Če se želite pojaviti v odgovorih UI, nastavite tudi ai-input=yes, kot v zgornjem primeru. Cloudflarov upravljani robots.txt privzeto doda search=yes, ai-train=no; signal, ki ga izpustite, te uporabe niti ne dovoli niti ne omeji.

To so izražene želje. Spletno mesto Content Signals pravi, da tehnično ne preprečujejo pajkanja, Cloudflare pa opozarja, da je upoštevanje robots.txt prostovoljno. Nobena od strani o pajkih OpenAI, Anthropic, Google ali Perplexity, ki smo jih preverili, ne pove, ali berejo Content-Signal, zato ga obravnavajte kot dodatek k skupinam za posamezne pajke, ne kot njihovo zamenjavo.

Kje delitev ne deluje čisto?

Nekaj primerov zahteva previdnost:

Kako preverim, ali delitev deluje?

Preberite robots.txt tako, kot bi ga prebral vsak pajek: poiščite skupino, ki ga navaja, na * se vrnite samo, če take skupine ni, in uporabite najdaljše ujemajoče se pravilo. Nato zahtevajte stran z user agentom vsakega pajka za iskanje in potrdite, da dobi 200 s celotno vsebino, ne 403 ali strani z izzivom.

AISeeWhy naredi oboje za 14 pajkov, razvrščenih v agente za učenje, iskanje in uporabnike, in označi najpogostejšo napako: blokiranje žetona za iskanje, kot sta PerplexityBot ali Claude-SearchBot, z namenom blokiranja učenja.

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Pogosta vprašanja

Ali blokiranje GPTBot odstrani moje mesto iz odgovorov ChatGPT?

Ne. OpenAI pravi, da je GPTBot namenjen učenju in da je vsaka nastavitev robots.txt neodvisna. Iskanje ChatGPT uporablja OAI-SearchBot; dokler je ta dovoljen in ga ne blokira vaš požarni zid, so vaše strani še vedno lahko izbrane.

Ali me blokiranje Google-Extended odstrani iz AI Overviews?

Po Googlovi dokumentaciji ne. Google pravi, da Google-Extended ne vpliva na vključitev v Google Iskanje, AI Overviews pa črpajo iz indeksa Iskanja. Google ponuja ločen nadzor v Search Console za izključitev mesta iz AI Overviews in AI Mode.

Ali obstaja ena vrstica, ki blokira vse učenje UI?

Standardne take vrstice ni. Content-Signal: ai-train=no izrazi željo za vse pajke, ali jo pajek upošteva, pa je odvisno od upravljavca. Dokumentirani način so poimenovane skupine za vsak žeton za učenje.

Ali naj blokiram Perplexity, da ustavim učenje UI?

Perplexity pravi, da se njegovi agenti ne uporabljajo za zbiranje podatkov za učenje. Blokiranje PerplexityBot zmanjša vašo vidnost v rezultatih iskanja Perplexity, učenja pa ne zavrne.

Viri

Več člankov