Kuidas blokeerida AI treenimine, aga jääda AI-otsingu vastustesse
Enamik AI-teenuste pakkujaid kasutab mudelite treenimiseks ja otsinguks eri robots.txt tunnuseid. Keela treeningtunnused, nagu GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent ja CCBot, ning luba otsingu- ja kasutajatunnused, nagu OAI-SearchBot, Claude-SearchBot ja PerplexityBot. Lisa rida Content-Signal, et sama eelistus ka sõnadega välja öelda.
Paljud saidiomanikud tahavad korraga kahte asja: nad ei taha, et nende sisu kasutataks AI-mudelite treenimiseks, aga tahavad, et AI-assistendid nende lehti leiaksid, tsiteeriksid ja lingiksid. Kuna suured pakkujad jagavad need ülesanded nüüd eri robotite või tunnuste vahel, saab robots.txt väljendada mõlemat valikut. Konks on selles, et nimed erinevad pakkujate kaupa, mõni pakkuja mustrisse ei sobi ja üks vale rida võib eemaldada sind AI-vastustest, mitte treeningandmetest.
Sellel lehel
Mis vahe on treeningrobotil ja otsingurobotil?
Treeningrobot kogub lehti, mida võidakse kasutada AI-mudelite loomiseks või parandamiseks. Treenimine iseenesest ei too viidet ega linki. Otsingurobot ehitab indeksi, mille abil AI-assistent leiab vastuse jaoks allikaid, ja just neid allikaid saab ta tsiteerida. Kasutaja algatatud laadija avab lehe kohe, sest keegi küsis selle kohta.
Pakkujad dokumenteerivad need rollid eraldi ja ütlevad, et seaded on üksteisest sõltumatud. Näiteks OpenAI ütleb, et iga tema robotite robots.txt seade on teistest sõltumatu. Õigesti tehtud treeningust loobumine jätab seega sinu otsingunähtavuse puutumata.
Millised tunnused juhivad treenimist ja millised otsingut?
Need on pakkujate dokumenteeritud tunnused, rühmitatud selle järgi, mida need juhivad:
- OpenAI:
GPTBotroomab sisu, mida võidakse kasutada tema alusmudelite treenimiseks.OAI-SearchBoton ChatGPT otsingu jaoks jaChatGPT-Usertäidab kasutajate tegevusi; OpenAI ütleb, et robots.txt ei pruugi sellele kehtida. - Anthropic:
ClaudeBotkogub sisu, mis võib aidata kaasa treenimisele.Claude-SearchBotparandab Claude'i otsingutulemusi jaClaude-Userlaadib lehti kasutajate jaoks. Anthropic ütleb, et tema robotid järgivad robots.txt-d. - Google:
Google-Extendedon robots.txt tunnus, millel pole oma robotit. See juhib kasutamist tulevaste Gemini mudelite treenimisel ning Gemini rakenduste ja Vertex AI vastuste alusena (grounding). Google ütleb, et see ei mõjuta Google'i otsingusse kaasamist ega järjestust, mida juhitakseGooglebot-i kaudu. - Apple:
Applebot-Extendedei rooma; see juhib, kasApplebot-i roomatud sisu kasutatakse Apple'i alusmudelite treenimiseks. Apple ütleb, et lehed, mis selle keelavad, võivad siiski tema otsingutulemustes ilmuda. - Meta:
meta-externalagentroomab näiteks alusmudelite treenimise jaoks,meta-webindexeraga parandab Meta AI otsingutulemusi. - Common Crawl:
CCBotehitab Common Crawli avalikku veebiarhiivi. Cloudflare'i hallatud robots.txt loetleb selle AI treeningrobotite hulgas, mida ta keelab. - Perplexity:
PerplexityBotjaPerplexity-Userteenindavad otsingut ja kasutajapäringuid. Perplexity ütleb, et kumbagi ei kasutata treeningandmete kogumiseks, seega pole Perplexityl treeningtunnust, mida blokeerida.
Milline näeb robots.txt välja?
Mitu järjestikust User-agent rida moodustavad RFC 9309 järgi ühe grupi, seega kehtivad reeglid igaühele neist. See fail loobub ülaltoodud treeningtunnustest, lubab otsingu- ja kasutajaagendid ning hoiab ühe privaatse tee kõigi jaoks suletuna:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Olulised on kaks detaili. Esiteks ei päri nimega grupp midagi * grupist, seega tuleb privaatsed teed otsingugrupis üle korrata. Teiseks ära lisa Googlebot-i ega Applebot-i treeninggruppi: need on otsingurobotid ja nende blokeerimine eemaldab sind Google'i otsingust ja Apple'i otsingufunktsioonidest. Muudatused pole kohesed: OpenAI ütleb otsingu kohta umbes 24 tundi ja Perplexity kuni 24 tundi.
Kui paljud saidid seda juba teevad?
Vähem, kui võiks arvata. Lugesime 2026-11-12 Tranco loendi 1000 populaarseima domeeni robots.txt faile. 518-st, mis robots.txt-d serveerisid, keelab 155 (29,9%) avalehe vähemalt ühele AI treeningrobotile. Ainult 57 (11,0%) valib valikulise tee: nad blokeerivad treeningrobotid ja lubavad kõik testitud AI-otsingu- ja kasutajarobotid. Kokku blokeerib 101 saiti (19,5%) vähemalt ühe AI-otsingu- või kasutajaroboti.
Robotite kaupa numbrid näitavad sama lõhet. GPTBot on blokeeritud 111 saidil (21,4%) ja OAI-SearchBot 58 saidil (11,2%). ClaudeBot on blokeeritud 110 saidil (21,2%) ja Claude-SearchBot 67 saidil (12,9%). Google-Extended on blokeeritud 94 saidil (18,1%), Googlebot 14 saidil (2,7%). Ainult 18 saiti (3,5%) kasutab Content-Signal-it.
Uuring vaatab ainult avalehe robots.txt reegleid. See ei mõõda tulemüüri blokeeringuid ega näita, mida iga sait silmas pidas.
Mida Content-Signal juurde annab?
Content Signals on robots.txt laiendus, mille Cloudflare avaldas aadressil contentsignals.org. Rida Content-Signal ütleb, kuidas sisu tohib kasutada, kolme signaaliga: search (otsinguindeksi ehitamine ning linkide ja lühikeste katkendite näitamine), ai-input (sisu andmine AI-mudelitele reaalajas, näiteks vastuste alusena või otsinguga täiendatud genereerimiseks) ja ai-train (mudelite treenimine või peenhäälestamine).
Pane tähele, et search määratlus ei hõlma AI loodud otsingukokkuvõtteid. Kui soovid AI-vastustesse jõuda, määra ka ai-input=yes, nagu ülaltoodud näites. Cloudflare'i hallatud robots.txt lisab vaikimisi search=yes, ai-train=no; signaal, mille välja jätad, ei luba ega piira seda kasutust.
Need on väljendatud eelistused. Content Signalsi sait ütleb, et need ei takista roomamist tehnilisel tasemel, ja Cloudflare märgib, et robots.txt järgimine on vabatahtlik. Ükski kontrollitud OpenAI, Anthropicu, Google'i ega Perplexity robotite leht ei ütle, kas nad Content-Signal-it loevad, seega käsitle seda robotipõhiste gruppide täiendusena, mitte asendusena.
Kus see jaotus puhtalt ei tööta?
Mõni juhtum vajab tähelepanu:
- Google'i AI-ülevaated (AI Overviews) ja AI-režiim (AI Mode) tuginevad otsinguindeksile, mille ehitab
Googlebot, seega ei viiGoogle-Extendedsind neist välja. Google'i Search Console'i abi lisab, etGoogle-Extendedpiirab otsingu generatiivsete AI-funktsioonide taga olevate mudelite treenimist, ulatus, mida tema robotite dokumentatsioon ei maini. Google pakub nüüd eraldi Search Console'i seadet saidi välja jätmiseks AI-ülevaadetest ja AI-režiimist. - OpenAI ütleb, et kui sait lubab nii
GPTBot-i kui kaOAI-SearchBot-i, võib ta kasutada ühe roomamise tulemusi mõlemaks otstarbeks. JustGPTBot-i keelamine annab märku, et sisu ei tohi treenimiseks kasutada. - Loobumised kehtivad edaspidiseks. Näiteks Anthropic kirjeldab
ClaudeBot-i keelamist kui sinu saidi tulevase sisu väljajätmist treeningandmekogumitest. - Kasutaja algatatud laadijad jäävad vahepeale. OpenAI ja Perplexity ütlevad, et robots.txt ei pruugi kehtida
ChatGPT-User-ile ja üldjuhul ei kehtiPerplexity-User-ile. - Tulemüürid ei loe robots.txt-d. Lai robotite blokeerimise reegel võib peatada ka otsingurobotid, mille lubasid. Kui jõustad treeningblokeeringu tulemüüris, sobita treeningagendid nime järgi ja kinnita need nende avaldatud IP-vahemike järgi.
Kuidas kontrollida, et jaotus töötab?
Loe oma robots.txt-d nii, nagu iga robot seda teeks: leia grupp, mis teda nimetab, kasuta * gruppi ainult siis, kui sellist pole, ja rakenda pikimat sobivat reeglit. Seejärel küsi lehte iga otsinguroboti user agent'iga ja veendu, et see saab olekukoodi 200 koos täieliku sisuga, mitte 403 või kontrollilehte.
AISeeWhy teeb mõlemat 14 roboti jaoks, mis on rühmitatud treening-, otsingu- ja kasutajaagentideks, ning märgib kõige levinuma vea: otsingutunnuse, nagu PerplexityBot või Claude-SearchBot, blokeerimise, kui eesmärk oli blokeerida treenimist.
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- AI-robotite IP kontroll
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kas GPTBot-i blokeerimine eemaldab mu saidi ChatGPT vastustest?
Ei. OpenAI ütleb, et GPTBot on treenimiseks ja et iga robots.txt seade on sõltumatu. ChatGPT otsing kasutab OAI-SearchBot-i; kuni see on lubatud ja sinu tulemüür seda ei blokeeri, sobivad sinu lehed endiselt vastustesse.
Kas Google-Extendedi blokeerimine eemaldab mind AI-ülevaadetest?
Google'i dokumentatsiooni järgi mitte. Google ütleb, et Google-Extended ei mõjuta Google'i otsingusse kaasamist, ja AI-ülevaated tuginevad otsinguindeksile. Google pakub saidi välja jätmiseks AI-ülevaadetest ja AI-režiimist eraldi Search Console'i seadet.
Kas on üks rida, mis blokeerib kogu AI treenimise?
Standardset rida pole. Content-Signal: ai-train=no väljendab eelistust kõigile robotitele, kuid see, kas robot seda järgib, sõltub haldajast. Dokumenteeritud viis on iga treeningtunnuse jaoks nimega grupp.
Kas peaksin AI treenimise peatamiseks Perplexity blokeerima?
Perplexity ütleb, et tema agente ei kasutata treeningandmete kogumiseks. PerplexityBot-i blokeerimine vähendab sinu nähtavust Perplexity otsingutulemustes, kuid ei toimi treeningust loobumisena.
Allikad
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Google: Common crawlers, including Google-Extended
- Google Search Console Help: Search generative AI control
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot
- Perplexity: Perplexity crawlers
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt and Content Signals
- AISeeWhy: AI Crawler Access Report, 2026-11