Kuidas blokeerida AI treenimine, aga jääda AI-otsingu vastustesse

Avaldatud

Lühike vastus

Enamik AI-teenuste pakkujaid kasutab mudelite treenimiseks ja otsinguks eri robots.txt tunnuseid. Keela treeningtunnused, nagu GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent ja CCBot, ning luba otsingu- ja kasutajatunnused, nagu OAI-SearchBot, Claude-SearchBot ja PerplexityBot. Lisa rida Content-Signal, et sama eelistus ka sõnadega välja öelda.

Paljud saidiomanikud tahavad korraga kahte asja: nad ei taha, et nende sisu kasutataks AI-mudelite treenimiseks, aga tahavad, et AI-assistendid nende lehti leiaksid, tsiteeriksid ja lingiksid. Kuna suured pakkujad jagavad need ülesanded nüüd eri robotite või tunnuste vahel, saab robots.txt väljendada mõlemat valikut. Konks on selles, et nimed erinevad pakkujate kaupa, mõni pakkuja mustrisse ei sobi ja üks vale rida võib eemaldada sind AI-vastustest, mitte treeningandmetest.

Sellel lehel
  1. Mis vahe on treeningrobotil ja otsingurobotil?
  2. Millised tunnused juhivad treenimist ja millised otsingut?
  3. Milline näeb robots.txt välja?
  4. Kui paljud saidid seda juba teevad?
  5. Mida Content-Signal juurde annab?
  6. Kus see jaotus puhtalt ei tööta?
  7. Kuidas kontrollida, et jaotus töötab?

Mis vahe on treeningrobotil ja otsingurobotil?

Treeningrobot kogub lehti, mida võidakse kasutada AI-mudelite loomiseks või parandamiseks. Treenimine iseenesest ei too viidet ega linki. Otsingurobot ehitab indeksi, mille abil AI-assistent leiab vastuse jaoks allikaid, ja just neid allikaid saab ta tsiteerida. Kasutaja algatatud laadija avab lehe kohe, sest keegi küsis selle kohta.

Pakkujad dokumenteerivad need rollid eraldi ja ütlevad, et seaded on üksteisest sõltumatud. Näiteks OpenAI ütleb, et iga tema robotite robots.txt seade on teistest sõltumatu. Õigesti tehtud treeningust loobumine jätab seega sinu otsingunähtavuse puutumata.

Millised tunnused juhivad treenimist ja millised otsingut?

Need on pakkujate dokumenteeritud tunnused, rühmitatud selle järgi, mida need juhivad:

Milline näeb robots.txt välja?

Mitu järjestikust User-agent rida moodustavad RFC 9309 järgi ühe grupi, seega kehtivad reeglid igaühele neist. See fail loobub ülaltoodud treeningtunnustest, lubab otsingu- ja kasutajaagendid ning hoiab ühe privaatse tee kõigi jaoks suletuna:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Olulised on kaks detaili. Esiteks ei päri nimega grupp midagi * grupist, seega tuleb privaatsed teed otsingugrupis üle korrata. Teiseks ära lisa Googlebot-i ega Applebot-i treeninggruppi: need on otsingurobotid ja nende blokeerimine eemaldab sind Google'i otsingust ja Apple'i otsingufunktsioonidest. Muudatused pole kohesed: OpenAI ütleb otsingu kohta umbes 24 tundi ja Perplexity kuni 24 tundi.

Kui paljud saidid seda juba teevad?

Vähem, kui võiks arvata. Lugesime 2026-11-12 Tranco loendi 1000 populaarseima domeeni robots.txt faile. 518-st, mis robots.txt-d serveerisid, keelab 155 (29,9%) avalehe vähemalt ühele AI treeningrobotile. Ainult 57 (11,0%) valib valikulise tee: nad blokeerivad treeningrobotid ja lubavad kõik testitud AI-otsingu- ja kasutajarobotid. Kokku blokeerib 101 saiti (19,5%) vähemalt ühe AI-otsingu- või kasutajaroboti.

Robotite kaupa numbrid näitavad sama lõhet. GPTBot on blokeeritud 111 saidil (21,4%) ja OAI-SearchBot 58 saidil (11,2%). ClaudeBot on blokeeritud 110 saidil (21,2%) ja Claude-SearchBot 67 saidil (12,9%). Google-Extended on blokeeritud 94 saidil (18,1%), Googlebot 14 saidil (2,7%). Ainult 18 saiti (3,5%) kasutab Content-Signal-it.

Uuring vaatab ainult avalehe robots.txt reegleid. See ei mõõda tulemüüri blokeeringuid ega näita, mida iga sait silmas pidas.

Mida Content-Signal juurde annab?

Content Signals on robots.txt laiendus, mille Cloudflare avaldas aadressil contentsignals.org. Rida Content-Signal ütleb, kuidas sisu tohib kasutada, kolme signaaliga: search (otsinguindeksi ehitamine ning linkide ja lühikeste katkendite näitamine), ai-input (sisu andmine AI-mudelitele reaalajas, näiteks vastuste alusena või otsinguga täiendatud genereerimiseks) ja ai-train (mudelite treenimine või peenhäälestamine).

Pane tähele, et search määratlus ei hõlma AI loodud otsingukokkuvõtteid. Kui soovid AI-vastustesse jõuda, määra ka ai-input=yes, nagu ülaltoodud näites. Cloudflare'i hallatud robots.txt lisab vaikimisi search=yes, ai-train=no; signaal, mille välja jätad, ei luba ega piira seda kasutust.

Need on väljendatud eelistused. Content Signalsi sait ütleb, et need ei takista roomamist tehnilisel tasemel, ja Cloudflare märgib, et robots.txt järgimine on vabatahtlik. Ükski kontrollitud OpenAI, Anthropicu, Google'i ega Perplexity robotite leht ei ütle, kas nad Content-Signal-it loevad, seega käsitle seda robotipõhiste gruppide täiendusena, mitte asendusena.

Kus see jaotus puhtalt ei tööta?

Mõni juhtum vajab tähelepanu:

Kuidas kontrollida, et jaotus töötab?

Loe oma robots.txt-d nii, nagu iga robot seda teeks: leia grupp, mis teda nimetab, kasuta * gruppi ainult siis, kui sellist pole, ja rakenda pikimat sobivat reeglit. Seejärel küsi lehte iga otsinguroboti user agent'iga ja veendu, et see saab olekukoodi 200 koos täieliku sisuga, mitte 403 või kontrollilehte.

AISeeWhy teeb mõlemat 14 roboti jaoks, mis on rühmitatud treening-, otsingu- ja kasutajaagentideks, ning märgib kõige levinuma vea: otsingutunnuse, nagu PerplexityBot või Claude-SearchBot, blokeerimise, kui eesmärk oli blokeerida treenimist.

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Kas GPTBot-i blokeerimine eemaldab mu saidi ChatGPT vastustest?

Ei. OpenAI ütleb, et GPTBot on treenimiseks ja et iga robots.txt seade on sõltumatu. ChatGPT otsing kasutab OAI-SearchBot-i; kuni see on lubatud ja sinu tulemüür seda ei blokeeri, sobivad sinu lehed endiselt vastustesse.

Kas Google-Extendedi blokeerimine eemaldab mind AI-ülevaadetest?

Google'i dokumentatsiooni järgi mitte. Google ütleb, et Google-Extended ei mõjuta Google'i otsingusse kaasamist, ja AI-ülevaated tuginevad otsinguindeksile. Google pakub saidi välja jätmiseks AI-ülevaadetest ja AI-režiimist eraldi Search Console'i seadet.

Kas on üks rida, mis blokeerib kogu AI treenimise?

Standardset rida pole. Content-Signal: ai-train=no väljendab eelistust kõigile robotitele, kuid see, kas robot seda järgib, sõltub haldajast. Dokumenteeritud viis on iga treeningtunnuse jaoks nimega grupp.

Kas peaksin AI treenimise peatamiseks Perplexity blokeerima?

Perplexity ütleb, et tema agente ei kasutata treeningandmete kogumiseks. PerplexityBot-i blokeerimine vähendab sinu nähtavust Perplexity otsingutulemustes, kuid ei toimi treeningust loobumisena.

Allikad

Veel artikleid