Kaip blokuoti DI mokymą, bet likti DI paieškos atsakymuose
Dauguma DI tiekėjų modelių mokymui ir paieškai naudoja atskirus robots.txt žymenis. Uždrauskite mokymo žymenis, pvz., GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent ir CCBot, o paieškos ir naudotojų žymenis, pvz., OAI-SearchBot, Claude-SearchBot ir PerplexityBot, leiskite. Pridėkite Content-Signal eilutę, kad tą patį pageidavimą išreikštumėte žodžiais.
Daugelis svetainių savininkų nori dviejų dalykų vienu metu: kad jų turinys nebūtų naudojamas DI modeliams mokyti ir kad DI asistentai rastų, cituotų ir susietų jų puslapius. Kadangi didieji tiekėjai šias užduotis dabar paskirsto skirtingiems robotams ar žymenims, robots.txt gali išreikšti abu pasirinkimus. Bėda ta, kad pavadinimai skiriasi priklausomai nuo tiekėjo, keli tiekėjai į šį modelį netelpa, o viena klaidinga eilutė gali pašalinti jus iš DI atsakymų, o ne iš mokymo duomenų.
Šiame puslapyje
Kuo skiriasi mokymo robotas nuo paieškos roboto?
Mokymo robotas renka puslapius, kurie gali būti naudojami DI modeliams kurti ar tobulinti. Pats mokymas nesukuria nei citatos, nei nuorodos. Paieškos robotas kuria indeksą, kuriuo DI asistentas naudojasi atsakymo šaltiniams rasti, ir būtent tuos šaltinius jis gali cituoti. Naudotojo inicijuotas atsisiuntimo agentas atidaro puslapį realiuoju laiku, nes kažkas apie jį paklausė.
Tiekėjai šiuos vaidmenis dokumentuoja atskirai ir teigia, kad nustatymai nepriklausomi. Pavyzdžiui, OpenAI teigia, kad kiekvienas jos robotų robots.txt nustatymas nepriklauso nuo kitų. Taigi teisingai atliktas mokymo atsisakymas jūsų matomumo paieškoje neliečia.
Kurie žymenys valdo mokymą, o kurie paiešką?
Tai tiekėjų dokumentuoti žymenys, sugrupuoti pagal tai, ką jie valdo:
- OpenAI:
GPTBotrenka turinį, kuris gali būti naudojamas baziniams modeliams mokyti.OAI-SearchBotskirtas ChatGPT paieškai, oChatGPT-Uservykdo naudotojų veiksmus; OpenAI teigia, kad robots.txt jam gali negalioti. - Anthropic:
ClaudeBotrenka turinį, kuris galėtų būti naudojamas mokymui.Claude-SearchBotgerina Claude paieškos rezultatus, oClaude-Useratsisiunčia puslapius naudotojams. Anthropic teigia, kad jos robotai paiso robots.txt. - Google:
Google-Extendedyra robots.txt žymuo be savo roboto. Jis valdo naudojimą būsimiems Gemini modeliams mokyti ir Gemini Apps bei Vertex AI atsakymams pagrįsti (grounding). Google teigia, kad jis neturi įtakos įtraukimui ar reitingavimui Google Search, kurį valdoGooglebot. - Apple:
Applebot-Extendednieko nenuskaito; jis valdo, arApplebotnuskaitytas turinys naudojamas Apple baziniams modeliams mokyti. Apple teigia, kad puslapiai, kurie jį draudžia, vis tiek gali būti rodomi jos paieškos rezultatuose. - Meta:
meta-externalagentnuskaito tokiems tikslams kaip bazinių modelių mokymas, ometa-webindexergerina Meta AI paieškos rezultatus. - Common Crawl:
CCBotkuria viešą Common Crawl žiniatinklio archyvą. Cloudflare valdomas robots.txt jį priskiria DI mokymo robotams, kuriuos draudžia. - Perplexity:
PerplexityBotirPerplexity-Useraptarnauja paiešką ir naudotojų užklausas. Perplexity teigia, kad nė vienas nenaudojamas mokymo duomenims rinkti, todėl Perplexity mokymo žymens, kurį reikėtų blokuoti, nėra.
Kaip atrodo robots.txt?
Pagal RFC 9309 kelios User-agent eilutės iš eilės sudaro vieną grupę, todėl taisyklės taikomos kiekvienam iš jų. Šis failas atsisako aukščiau išvardytų mokymo žymenų, įleidžia paieškos ir naudotojų agentus ir palieka vieną privatų kelią uždarą visiems:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Svarbios dvi detalės. Pirma, pavadinta grupė nepaveldi iš *, todėl privatūs keliai turi būti pakartoti paieškos grupėje. Antra, nedėkite Googlebot ar Applebot į mokymo grupę: tai paieškos robotai, ir jų blokavimas pašalina jus iš Google Search ir Apple paieškos funkcijų. Pakeitimai nėra momentiniai: OpenAI nurodo apie 24 valandas paieškai, Perplexity – iki 24 valandų.
Kiek svetainių jau taip daro?
Mažiau, nei galėtumėte tikėtis. 2026-11-12 perskaitėme 1 000 populiariausių Tranco sąrašo domenų robots.txt failus. Iš 518, pateikusių robots.txt, 155 (29,9 %) draudžia pagrindinį puslapį bent vienam DI mokymo robotui. Tik 57 (11,0 %) renkasi selektyvų kelią: blokuoja mokymo robotus ir įleidžia visus mūsų tikrintus DI paieškos ir naudotojų robotus. Iš viso 101 svetainė (19,5 %) blokuoja bent vieną DI paieškos ar naudotojo robotą.
Skaičiai pagal atskirus robotus rodo tą patį skirtumą. GPTBot užblokuotas 111 svetainių (21,4 %), OAI-SearchBot – 58 (11,2 %). ClaudeBot užblokuotas 110 (21,2 %), Claude-SearchBot – 67 (12,9 %). Google-Extended užblokuotas 94 (18,1 %), Googlebot – 14 (2,7 %). Tik 18 svetainių (3,5 %) naudoja Content-Signal.
Tyrimas nagrinėja tik pagrindinio puslapio robots.txt taisykles. Jis nematuoja ugniasienių blokavimo ir nerodo, ko kiekviena svetainė siekė.
Ką prideda Content-Signal?
Content Signals yra robots.txt plėtinys, kurį Cloudflare paskelbė contentsignals.org. Content-Signal eilutė nurodo, kaip galima naudoti turinį, trimis signalais: search (paieškos indekso kūrimas ir nuorodų bei trumpų ištraukų rodymas), ai-input (turinio perdavimas DI modeliams realiuoju laiku, pvz., generatyvinių atsakymų pagrindimui ar paieškai) ir ai-train (modelių mokymas ar derinimas).
Atkreipkite dėmesį, kad search apibrėžimas neapima DI generuojamų paieškos santraukų. Jei norite būti DI atsakymuose, nustatykite ir ai-input=yes, kaip pavyzdyje aukščiau. Cloudflare valdomas robots.txt pagal numatytuosius nustatymus prideda search=yes, ai-train=no; signalas, kurio nenurodote, to naudojimo nei leidžia, nei riboja.
Tai išreikšti pageidavimai. Content Signals svetainėje rašoma, kad jie techniškai nesustabdo nuskaitymo, o Cloudflare pažymi, kad robots.txt laikymasis yra savanoriškas. Nė viename mūsų tikrintame OpenAI, Anthropic, Google ar Perplexity robotų puslapyje nenurodyta, ar jie skaito Content-Signal, todėl laikykite jį papildymu prie atskirų robotų grupių, o ne jų pakaitalu.
Kur šis atskyrimas neveikia sklandžiai?
Keli atvejai reikalauja atidumo:
- Google AI Overviews ir AI Mode remiasi paieškos indeksu, kurį kuria
Googlebot, todėlGoogle-Extendedjūsų iš jų nepašalina. Google Search Console pagalboje papildomai rašoma, kadGoogle-Extendedriboja modelių, esančių paieškos generatyvinio DI funkcijose, mokymą – šios apimties jos robotų dokumentacija nemini. Google dabar siūlo atskirą Search Console nustatymą, leidžiantį pašalinti svetainę iš AI Overviews ir AI Mode. - OpenAI teigia, kad jei svetainė įleidžia ir
GPTBot, irOAI-SearchBot, vieno nuskaitymo rezultatus ji gali naudoti abiem tikslams. BūtentGPTBotdraudimas parodo, kad turinys neturi būti naudojamas mokymui. - Atsisakymai galioja į priekį. Pavyzdžiui, Anthropic
ClaudeBotdraudimą apibūdina kaip būsimo jūsų svetainės turinio pašalinimą iš mokymo duomenų rinkinių. - Naudotojo inicijuoti atsisiuntimo agentai yra tarpinis atvejis. OpenAI ir Perplexity teigia, kad robots.txt
ChatGPT-Usergali negalioti, oPerplexity-Userpaprastai negalioja. - Ugniasienės robots.txt neskaito. Plati robotų blokavimo taisyklė gali sustabdyti ir jūsų įleistus paieškos robotus. Jei mokymo blokavimą įgyvendinate ugniasienėje, mokymo agentus atpažinkite pagal pavadinimą ir patvirtinkite pagal jų paskelbtus IP intervalus.
Kaip patikrinti, ar atskyrimas veikia?
Skaitykite savo robots.txt taip, kaip skaitytų kiekvienas robotas: raskite jį įvardijančią grupę, į * grįžkite tik jei tokios nėra, ir taikykite ilgiausią atitinkančią taisyklę. Tada paprašykite puslapio su kiekvieno paieškos roboto user agent ir įsitikinkite, kad jis gauna 200 su visu turiniu, o ne 403 ar patikrinimo puslapį.
AISeeWhy atlieka abu patikrinimus 14 robotų, sugrupuotų į mokymo, paieškos ir naudotojų agentus, ir pažymi dažniausią klaidą: paieškos žymens, pvz., PerplexityBot ar Claude-SearchBot, blokavimą, kai norėta blokuoti mokymą.
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- DI robotų IP patikra
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Ar GPTBot blokavimas pašalins mano svetainę iš ChatGPT atsakymų?
Ne. OpenAI teigia, kad GPTBot skirtas mokymui ir kad kiekvienas robots.txt nustatymas nepriklausomas. ChatGPT paieška naudoja OAI-SearchBot; kol jis įleistas ir neblokuojamas jūsų ugniasienės, jūsų puslapiai gali būti rodomi.
Ar Google-Extended blokavimas pašalina mane iš AI Overviews?
Pagal Google dokumentaciją – ne. Google teigia, kad Google-Extended neturi įtakos įtraukimui į Google Search, o AI Overviews remiasi paieškos indeksu. Google siūlo atskirą Search Console valdiklį svetainei pašalinti iš AI Overviews ir AI Mode.
Ar yra viena eilutė, blokuojanti visą DI mokymą?
Standartinės tokios eilutės nėra. Content-Signal: ai-train=no išreiškia pageidavimą visiems robotams, tačiau ar robotas jo paisys, priklauso nuo operatoriaus. Dokumentuotas būdas – pavadintos grupės kiekvienam mokymo žymeniui.
Ar blokuoti Perplexity, kad sustabdyčiau DI mokymą?
Perplexity teigia, kad jos agentai nenaudojami mokymo duomenims rinkti. PerplexityBot blokavimas sumažina jūsų matomumą Perplexity paieškos rezultatuose, bet mokymo neatsisako.
Šaltiniai
- OpenAI: OpenAI robotų apžvalga
- Anthropic: Ar Anthropic renka duomenis iš interneto ir kaip svetainių savininkai gali užblokuoti robotą?
- Google: Bendrieji robotai, įskaitant Google-Extended
- Google Search Console pagalba: paieškos generatyvinio DI valdymas
- Apple: Apie Applebot
- Meta: Meta žiniatinklio robotai
- Common Crawl: CCBot
- Perplexity: Perplexity robotai
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: valdomas robots.txt ir Content Signals
- AISeeWhy: DI robotų prieigos ataskaita, 2026-11