Kaip blokuoti DI mokymą, bet likti DI paieškos atsakymuose

Paskelbta

Trumpas atsakymas

Dauguma DI tiekėjų modelių mokymui ir paieškai naudoja atskirus robots.txt žymenis. Uždrauskite mokymo žymenis, pvz., GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent ir CCBot, o paieškos ir naudotojų žymenis, pvz., OAI-SearchBot, Claude-SearchBot ir PerplexityBot, leiskite. Pridėkite Content-Signal eilutę, kad tą patį pageidavimą išreikštumėte žodžiais.

Daugelis svetainių savininkų nori dviejų dalykų vienu metu: kad jų turinys nebūtų naudojamas DI modeliams mokyti ir kad DI asistentai rastų, cituotų ir susietų jų puslapius. Kadangi didieji tiekėjai šias užduotis dabar paskirsto skirtingiems robotams ar žymenims, robots.txt gali išreikšti abu pasirinkimus. Bėda ta, kad pavadinimai skiriasi priklausomai nuo tiekėjo, keli tiekėjai į šį modelį netelpa, o viena klaidinga eilutė gali pašalinti jus iš DI atsakymų, o ne iš mokymo duomenų.

Šiame puslapyje
  1. Kuo skiriasi mokymo robotas nuo paieškos roboto?
  2. Kurie žymenys valdo mokymą, o kurie paiešką?
  3. Kaip atrodo robots.txt?
  4. Kiek svetainių jau taip daro?
  5. Ką prideda Content-Signal?
  6. Kur šis atskyrimas neveikia sklandžiai?
  7. Kaip patikrinti, ar atskyrimas veikia?

Kuo skiriasi mokymo robotas nuo paieškos roboto?

Mokymo robotas renka puslapius, kurie gali būti naudojami DI modeliams kurti ar tobulinti. Pats mokymas nesukuria nei citatos, nei nuorodos. Paieškos robotas kuria indeksą, kuriuo DI asistentas naudojasi atsakymo šaltiniams rasti, ir būtent tuos šaltinius jis gali cituoti. Naudotojo inicijuotas atsisiuntimo agentas atidaro puslapį realiuoju laiku, nes kažkas apie jį paklausė.

Tiekėjai šiuos vaidmenis dokumentuoja atskirai ir teigia, kad nustatymai nepriklausomi. Pavyzdžiui, OpenAI teigia, kad kiekvienas jos robotų robots.txt nustatymas nepriklauso nuo kitų. Taigi teisingai atliktas mokymo atsisakymas jūsų matomumo paieškoje neliečia.

Kurie žymenys valdo mokymą, o kurie paiešką?

Tai tiekėjų dokumentuoti žymenys, sugrupuoti pagal tai, ką jie valdo:

Kaip atrodo robots.txt?

Pagal RFC 9309 kelios User-agent eilutės iš eilės sudaro vieną grupę, todėl taisyklės taikomos kiekvienam iš jų. Šis failas atsisako aukščiau išvardytų mokymo žymenų, įleidžia paieškos ir naudotojų agentus ir palieka vieną privatų kelią uždarą visiems:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Svarbios dvi detalės. Pirma, pavadinta grupė nepaveldi iš *, todėl privatūs keliai turi būti pakartoti paieškos grupėje. Antra, nedėkite Googlebot ar Applebot į mokymo grupę: tai paieškos robotai, ir jų blokavimas pašalina jus iš Google Search ir Apple paieškos funkcijų. Pakeitimai nėra momentiniai: OpenAI nurodo apie 24 valandas paieškai, Perplexity – iki 24 valandų.

Kiek svetainių jau taip daro?

Mažiau, nei galėtumėte tikėtis. 2026-11-12 perskaitėme 1 000 populiariausių Tranco sąrašo domenų robots.txt failus. Iš 518, pateikusių robots.txt, 155 (29,9 %) draudžia pagrindinį puslapį bent vienam DI mokymo robotui. Tik 57 (11,0 %) renkasi selektyvų kelią: blokuoja mokymo robotus ir įleidžia visus mūsų tikrintus DI paieškos ir naudotojų robotus. Iš viso 101 svetainė (19,5 %) blokuoja bent vieną DI paieškos ar naudotojo robotą.

Skaičiai pagal atskirus robotus rodo tą patį skirtumą. GPTBot užblokuotas 111 svetainių (21,4 %), OAI-SearchBot – 58 (11,2 %). ClaudeBot užblokuotas 110 (21,2 %), Claude-SearchBot – 67 (12,9 %). Google-Extended užblokuotas 94 (18,1 %), Googlebot – 14 (2,7 %). Tik 18 svetainių (3,5 %) naudoja Content-Signal.

Tyrimas nagrinėja tik pagrindinio puslapio robots.txt taisykles. Jis nematuoja ugniasienių blokavimo ir nerodo, ko kiekviena svetainė siekė.

Ką prideda Content-Signal?

Content Signals yra robots.txt plėtinys, kurį Cloudflare paskelbė contentsignals.org. Content-Signal eilutė nurodo, kaip galima naudoti turinį, trimis signalais: search (paieškos indekso kūrimas ir nuorodų bei trumpų ištraukų rodymas), ai-input (turinio perdavimas DI modeliams realiuoju laiku, pvz., generatyvinių atsakymų pagrindimui ar paieškai) ir ai-train (modelių mokymas ar derinimas).

Atkreipkite dėmesį, kad search apibrėžimas neapima DI generuojamų paieškos santraukų. Jei norite būti DI atsakymuose, nustatykite ir ai-input=yes, kaip pavyzdyje aukščiau. Cloudflare valdomas robots.txt pagal numatytuosius nustatymus prideda search=yes, ai-train=no; signalas, kurio nenurodote, to naudojimo nei leidžia, nei riboja.

Tai išreikšti pageidavimai. Content Signals svetainėje rašoma, kad jie techniškai nesustabdo nuskaitymo, o Cloudflare pažymi, kad robots.txt laikymasis yra savanoriškas. Nė viename mūsų tikrintame OpenAI, Anthropic, Google ar Perplexity robotų puslapyje nenurodyta, ar jie skaito Content-Signal, todėl laikykite jį papildymu prie atskirų robotų grupių, o ne jų pakaitalu.

Kur šis atskyrimas neveikia sklandžiai?

Keli atvejai reikalauja atidumo:

Kaip patikrinti, ar atskyrimas veikia?

Skaitykite savo robots.txt taip, kaip skaitytų kiekvienas robotas: raskite jį įvardijančią grupę, į * grįžkite tik jei tokios nėra, ir taikykite ilgiausią atitinkančią taisyklę. Tada paprašykite puslapio su kiekvieno paieškos roboto user agent ir įsitikinkite, kad jis gauna 200 su visu turiniu, o ne 403 ar patikrinimo puslapį.

AISeeWhy atlieka abu patikrinimus 14 robotų, sugrupuotų į mokymo, paieškos ir naudotojų agentus, ir pažymi dažniausią klaidą: paieškos žymens, pvz., PerplexityBot ar Claude-SearchBot, blokavimą, kai norėta blokuoti mokymą.

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Ar GPTBot blokavimas pašalins mano svetainę iš ChatGPT atsakymų?

Ne. OpenAI teigia, kad GPTBot skirtas mokymui ir kad kiekvienas robots.txt nustatymas nepriklausomas. ChatGPT paieška naudoja OAI-SearchBot; kol jis įleistas ir neblokuojamas jūsų ugniasienės, jūsų puslapiai gali būti rodomi.

Ar Google-Extended blokavimas pašalina mane iš AI Overviews?

Pagal Google dokumentaciją – ne. Google teigia, kad Google-Extended neturi įtakos įtraukimui į Google Search, o AI Overviews remiasi paieškos indeksu. Google siūlo atskirą Search Console valdiklį svetainei pašalinti iš AI Overviews ir AI Mode.

Ar yra viena eilutė, blokuojanti visą DI mokymą?

Standartinės tokios eilutės nėra. Content-Signal: ai-train=no išreiškia pageidavimą visiems robotams, tačiau ar robotas jo paisys, priklauso nuo operatoriaus. Dokumentuotas būdas – pavadintos grupės kiekvienam mokymo žymeniui.

Ar blokuoti Perplexity, kad sustabdyčiau DI mokymą?

Perplexity teigia, kad jos agentai nenaudojami mokymo duomenims rinkti. PerplexityBot blokavimas sumažina jūsų matomumą Perplexity paieškos rezultatuose, bet mokymo neatsisako.

Šaltiniai

Daugiau straipsnių