Kako blokirati AI treniranje, a ostati u odgovorima AI pretraživanja

Objavljeno

Kratki odgovor

Većina AI dobavljača koristi zasebne tokene u robots.txt za treniranje modela i za pretraživanje. Zabranite tokene za treniranje, poput GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent i CCBot, a dopustite tokene za pretraživanje i korisnike, poput OAI-SearchBot, Claude-SearchBot i PerplexityBot. Dodajte redak Content-Signal kako biste istu želju izrazili i riječima.

Mnogi vlasnici web-stranica žele dvije stvari odjednom: ne žele da se njihov sadržaj koristi za treniranje AI modela, a žele da ih AI asistenti pronađu, citiraju i povežu. Budući da glavni dobavljači te zadaće sada dijele na različite crawlere ili tokene, robots.txt može izraziti oba izbora. Kvaka je u tome što se nazivi razlikuju od dobavljača do dobavljača, nekoliko se dobavljača ne uklapa u taj obrazac, a jedan pogrešan redak može vas ukloniti iz AI odgovora umjesto iz podataka za treniranje.

Na ovoj stranici
  1. Koja je razlika između crawlera za treniranje i crawlera za pretraživanje?
  2. Koji tokeni upravljaju treniranjem, a koji pretraživanjem?
  3. Kako izgleda takav robots.txt?
  4. Koliko web-stranica to već radi?
  5. Što dodaje Content-Signal?
  6. Gdje podjela ne funkcionira čisto?
  7. Kako provjeriti radi li podjela?

Koja je razlika između crawlera za treniranje i crawlera za pretraživanje?

Crawler za treniranje prikuplja stranice koje se mogu koristiti za izradu ili poboljšanje AI modela. Samo treniranje ne donosi citat ni poveznicu. Crawler za pretraživanje gradi indeks koji AI asistent koristi kako bi pronašao izvore za odgovor, a upravo te izvore može citirati. Dohvatitelj koji pokreće korisnik otvara stranicu uživo jer je netko pitao o njoj.

Dobavljači te uloge dokumentiraju zasebno i navode da su postavke neovisne. OpenAI, na primjer, navodi da je svaka postavka u robots.txt za njegove crawlere neovisna o ostalima. Ispravno provedeno isključenje iz treniranja stoga ne dira vašu vidljivost u pretraživanju.

Koji tokeni upravljaju treniranjem, a koji pretraživanjem?

Ovo su tokeni koje dobavljači dokumentiraju, grupirani prema onome čime upravljaju:

Kako izgleda takav robots.txt?

Nekoliko redaka User-agent zaredom prema RFC 9309 čini jednu grupu, pa se pravila primjenjuju na svaki od njih. Ova datoteka isključuje gore navedene tokene za treniranje, dopušta agente za pretraživanje i korisnike te jednu privatnu putanju drži zatvorenom za sve:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Važna su dva detalja. Prvo, imenovana grupa ne nasljeđuje pravila iz *, pa se sve privatne putanje moraju ponoviti u grupi za pretraživanje. Drugo, ne dodajte Googlebot ni Applebot u grupu za treniranje: to su crawleri za pretraživanje, a njihovo blokiranje uklanja vas iz Google pretraživanja i Appleovih značajki pretraživanja. Promjene nisu trenutačne: OpenAI navodi oko 24 sata za pretraživanje, a Perplexity do 24 sata.

Koliko web-stranica to već radi?

Manje nego što biste očekivali. Dana 2026-11-12 pročitali smo datoteke robots.txt 1.000 najpopularnijih domena s popisa Tranco. Od 518 koje su poslužile robots.txt, njih 155 (29,9 %) zabranjuje naslovnu stranicu barem jednom AI crawleru za treniranje. Samo 57 (11,0 %) bira selektivni put: blokiraju crawlere za treniranje i dopuštaju sve AI crawlere za pretraživanje i korisnike koje smo testirali. Ukupno 101 web-stranica (19,5 %) blokira barem jednog AI crawlera za pretraživanje ili korisnike.

Brojke po pojedinim crawlerima pokazuju istu podjelu. GPTBot je blokiran na 111 web-stranica (21,4 %), a OAI-SearchBot na 58 (11,2 %). ClaudeBot je blokiran na 110 (21,2 %), a Claude-SearchBot na 67 (12,9 %). Google-Extended je blokiran na 94 (18,1 %), Googlebot na 14 (2,7 %). Samo 18 web-stranica (3,5 %) koristi Content-Signal.

Istraživanje promatra samo pravila u robots.txt za naslovnu stranicu. Ne mjeri blokade vatrozida i ne pokazuje što je pojedina web-stranica namjeravala.

Što dodaje Content-Signal?

Content Signals je proširenje za robots.txt koje je Cloudflare objavio na contentsignals.org. Redak Content-Signal navodi kako se sadržaj smije koristiti, uz tri signala: search (izgradnja indeksa pretraživanja i prikaz poveznica i kratkih isječaka), ai-input (unos sadržaja u AI modele u stvarnom vremenu, poput utemeljenja ili dohvaćanja za generativne odgovore) i ai-train (treniranje ili dodatno podešavanje modela).

Imajte na umu da definicija signala search isključuje sažetke pretraživanja koje generira AI. Ako se želite pojavljivati u AI odgovorima, postavite i ai-input=yes, kao u gornjem primjeru. Cloudflareov upravljani robots.txt prema zadanim postavkama dodaje search=yes, ai-train=no; signal koji izostavite niti dopušta niti ograničava tu namjenu.

Ovo su izražene želje. Stranica Content Signals navodi da one tehnički ne sprječavaju indeksiranje, a Cloudflare napominje da je poštovanje robots.txt dobrovoljno. Nijedna od stranica o crawlerima OpenAI-ja, Anthropica, Googlea ili Perplexityja koje smo provjerili ne navodi čitaju li Content-Signal, pa ga smatrajte dodatkom grupama za pojedine crawlere, a ne njihovom zamjenom.

Gdje podjela ne funkcionira čisto?

Nekoliko slučajeva zahtijeva oprez:

Kako provjeriti radi li podjela?

Pročitajte svoj robots.txt onako kako bi ga pročitao svaki crawler: pronađite grupu koja ga navodi, na * prijeđite samo ako takve nema i primijenite najdulje pravilo koje se podudara. Zatim zatražite stranicu s user agentom svakog crawlera za pretraživanje i provjerite dobiva li 200 s cijelim sadržajem, a ne 403 ili stranicu s provjerom.

AISeeWhy radi oboje za 14 crawlera, grupiranih kao agenti za treniranje, pretraživanje i korisnike, i označava najčešću pogrešku: blokiranje tokena za pretraživanje kao što su PerplexityBot ili Claude-SearchBot s namjerom da se blokira treniranje.

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Hoće li blokiranje GPTBota ukloniti moju web-stranicu iz odgovora ChatGPT-a?

Neće. OpenAI navodi da GPTBot služi za treniranje i da je svaka postavka u robots.txt neovisna. Pretraživanje u ChatGPT-u koristi OAI-SearchBot; dok god je on dopušten i vaš ga vatrozid ne blokira, vaše stranice ostaju prihvatljive.

Uklanja li me blokiranje Google-Extended iz AI Overviews?

Ne prema Googleovoj dokumentaciji. Google navodi da Google-Extended ne utječe na uključivanje u Google pretraživanje, a AI Overviews oslanjaju se na indeks pretraživanja. Google nudi zasebnu kontrolu u Search Consoleu za isključivanje web-stranice iz AI Overviews i AI Mode.

Postoji li jedan redak koji blokira svo AI treniranje?

Nijedan standardni redak to ne radi. Content-Signal: ai-train=no izražava želju za sve crawlere, ali poštuje li ga crawler ovisi o njegovu operateru. Imenovane grupe za svaki token za treniranje dokumentirani su način.

Trebam li blokirati Perplexity kako bih zaustavio AI treniranje?

Perplexity navodi da se njegovi agenti ne koriste za prikupljanje podataka za treniranje. Blokiranje PerplexityBot smanjuje vašu vidljivost u rezultatima pretraživanja Perplexityja, a ne služi kao isključenje iz treniranja.

Izvori

Još članaka