Kako blokirati AI treniranje, a ostati u odgovorima AI pretraživanja
Većina AI dobavljača koristi zasebne tokene u robots.txt za treniranje modela i za pretraživanje. Zabranite tokene za treniranje, poput GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent i CCBot, a dopustite tokene za pretraživanje i korisnike, poput OAI-SearchBot, Claude-SearchBot i PerplexityBot. Dodajte redak Content-Signal kako biste istu želju izrazili i riječima.
Mnogi vlasnici web-stranica žele dvije stvari odjednom: ne žele da se njihov sadržaj koristi za treniranje AI modela, a žele da ih AI asistenti pronađu, citiraju i povežu. Budući da glavni dobavljači te zadaće sada dijele na različite crawlere ili tokene, robots.txt može izraziti oba izbora. Kvaka je u tome što se nazivi razlikuju od dobavljača do dobavljača, nekoliko se dobavljača ne uklapa u taj obrazac, a jedan pogrešan redak može vas ukloniti iz AI odgovora umjesto iz podataka za treniranje.
Na ovoj stranici
Koja je razlika između crawlera za treniranje i crawlera za pretraživanje?
Crawler za treniranje prikuplja stranice koje se mogu koristiti za izradu ili poboljšanje AI modela. Samo treniranje ne donosi citat ni poveznicu. Crawler za pretraživanje gradi indeks koji AI asistent koristi kako bi pronašao izvore za odgovor, a upravo te izvore može citirati. Dohvatitelj koji pokreće korisnik otvara stranicu uživo jer je netko pitao o njoj.
Dobavljači te uloge dokumentiraju zasebno i navode da su postavke neovisne. OpenAI, na primjer, navodi da je svaka postavka u robots.txt za njegove crawlere neovisna o ostalima. Ispravno provedeno isključenje iz treniranja stoga ne dira vašu vidljivost u pretraživanju.
Koji tokeni upravljaju treniranjem, a koji pretraživanjem?
Ovo su tokeni koje dobavljači dokumentiraju, grupirani prema onome čime upravljaju:
- OpenAI:
GPTBotprikuplja sadržaj koji se može koristiti za treniranje njegovih temeljnih modela.OAI-SearchBotsluži za pretraživanje u ChatGPT-u, aChatGPT-Userobavlja radnje korisnika; OpenAI navodi da se robots.txt na njega možda ne primjenjuje. - Anthropic:
ClaudeBotprikuplja sadržaj koji bi mogao pridonijeti treniranju.Claude-SearchBotpoboljšava rezultate pretraživanja Claudea, aClaude-Userdohvaća stranice za korisnike. Anthropic navodi da njegovi botovi poštuju robots.txt. - Google:
Google-Extendedje token u robots.txt bez vlastitog crawlera. Upravlja korištenjem za treniranje budućih modela Gemini i za utemeljenje (grounding) u aplikacijama Gemini i Vertex AI. Google navodi da ne utječe na uključivanje ni rangiranje u Google pretraživanju, kojim se upravlja putemGooglebot. - Apple:
Applebot-Extendedne indeksira; upravlja time hoće li se sadržaj koji je prikupioApplebotkoristiti za treniranje Appleovih temeljnih modela. Apple navodi da se stranice koje ga zabranjuju i dalje mogu pojavljivati u njegovim rezultatima pretraživanja. - Meta:
meta-externalagentprikuplja sadržaj za namjene kao što je treniranje temeljnih modela, dokmeta-webindexerpoboljšava rezultate pretraživanja Meta AI. - Common Crawl:
CCBotgradi javnu arhivu weba Common Crawl. Cloudflareov upravljani robots.txt navodi ga među AI crawlerima za treniranje koje zabranjuje. - Perplexity:
PerplexityBotiPerplexity-Usersluže pretraživanju i zahtjevima korisnika. Perplexity navodi da se nijedan ne koristi za prikupljanje podataka za treniranje, pa nema tokena Perplexityja za treniranje koji bi trebalo blokirati.
Kako izgleda takav robots.txt?
Nekoliko redaka User-agent zaredom prema RFC 9309 čini jednu grupu, pa se pravila primjenjuju na svaki od njih. Ova datoteka isključuje gore navedene tokene za treniranje, dopušta agente za pretraživanje i korisnike te jednu privatnu putanju drži zatvorenom za sve:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Važna su dva detalja. Prvo, imenovana grupa ne nasljeđuje pravila iz *, pa se sve privatne putanje moraju ponoviti u grupi za pretraživanje. Drugo, ne dodajte Googlebot ni Applebot u grupu za treniranje: to su crawleri za pretraživanje, a njihovo blokiranje uklanja vas iz Google pretraživanja i Appleovih značajki pretraživanja. Promjene nisu trenutačne: OpenAI navodi oko 24 sata za pretraživanje, a Perplexity do 24 sata.
Koliko web-stranica to već radi?
Manje nego što biste očekivali. Dana 2026-11-12 pročitali smo datoteke robots.txt 1.000 najpopularnijih domena s popisa Tranco. Od 518 koje su poslužile robots.txt, njih 155 (29,9 %) zabranjuje naslovnu stranicu barem jednom AI crawleru za treniranje. Samo 57 (11,0 %) bira selektivni put: blokiraju crawlere za treniranje i dopuštaju sve AI crawlere za pretraživanje i korisnike koje smo testirali. Ukupno 101 web-stranica (19,5 %) blokira barem jednog AI crawlera za pretraživanje ili korisnike.
Brojke po pojedinim crawlerima pokazuju istu podjelu. GPTBot je blokiran na 111 web-stranica (21,4 %), a OAI-SearchBot na 58 (11,2 %). ClaudeBot je blokiran na 110 (21,2 %), a Claude-SearchBot na 67 (12,9 %). Google-Extended je blokiran na 94 (18,1 %), Googlebot na 14 (2,7 %). Samo 18 web-stranica (3,5 %) koristi Content-Signal.
Istraživanje promatra samo pravila u robots.txt za naslovnu stranicu. Ne mjeri blokade vatrozida i ne pokazuje što je pojedina web-stranica namjeravala.
Što dodaje Content-Signal?
Content Signals je proširenje za robots.txt koje je Cloudflare objavio na contentsignals.org. Redak Content-Signal navodi kako se sadržaj smije koristiti, uz tri signala: search (izgradnja indeksa pretraživanja i prikaz poveznica i kratkih isječaka), ai-input (unos sadržaja u AI modele u stvarnom vremenu, poput utemeljenja ili dohvaćanja za generativne odgovore) i ai-train (treniranje ili dodatno podešavanje modela).
Imajte na umu da definicija signala search isključuje sažetke pretraživanja koje generira AI. Ako se želite pojavljivati u AI odgovorima, postavite i ai-input=yes, kao u gornjem primjeru. Cloudflareov upravljani robots.txt prema zadanim postavkama dodaje search=yes, ai-train=no; signal koji izostavite niti dopušta niti ograničava tu namjenu.
Ovo su izražene želje. Stranica Content Signals navodi da one tehnički ne sprječavaju indeksiranje, a Cloudflare napominje da je poštovanje robots.txt dobrovoljno. Nijedna od stranica o crawlerima OpenAI-ja, Anthropica, Googlea ili Perplexityja koje smo provjerili ne navodi čitaju li Content-Signal, pa ga smatrajte dodatkom grupama za pojedine crawlere, a ne njihovom zamjenom.
Gdje podjela ne funkcionira čisto?
Nekoliko slučajeva zahtijeva oprez:
- Google AI Overviews i AI Mode oslanjaju se na indeks pretraživanja koji gradi
Googlebot, pa vasGoogle-Extendediz njih ne uklanja. Googleova pomoć za Search Console dodaje daGoogle-Extendedograničava treniranje modela koji pokreću generativne AI značajke pretraživanja, a taj opseg dokumentacija o njegovim crawlerima ne spominje. Google sada nudi zasebnu postavku u Search Consoleu za isključivanje web-stranice iz AI Overviews i AI Mode. - OpenAI navodi da, ako web-stranica dopušta i
GPTBotiOAI-SearchBot, rezultate jednog indeksiranja može koristiti za obje namjene. Upravo zabrana zaGPTBotsignalizira da se sadržaj ne smije koristiti za treniranje. - Isključenja vrijede unaprijed. Anthropic, na primjer, zabranu za
ClaudeBotopisuje kao isključivanje budućeg sadržaja vaše web-stranice iz skupova podataka za treniranje. - Dohvatitelji koje pokreću korisnici nalaze se između. OpenAI i Perplexity navode da se robots.txt možda ne primjenjuje na
ChatGPT-User, odnosno da se uglavnom ne primjenjuje naPerplexity-User. - Vatrozidi ne čitaju robots.txt. Široko pravilo za blokiranje botova može zaustaviti crawlere za pretraživanje koje ste dopustili. Ako blokadu treniranja provodite na vatrozidu, prepoznajte agente za treniranje po imenu i provjerite ih prema objavljenim IP rasponima.
Kako provjeriti radi li podjela?
Pročitajte svoj robots.txt onako kako bi ga pročitao svaki crawler: pronađite grupu koja ga navodi, na * prijeđite samo ako takve nema i primijenite najdulje pravilo koje se podudara. Zatim zatražite stranicu s user agentom svakog crawlera za pretraživanje i provjerite dobiva li 200 s cijelim sadržajem, a ne 403 ili stranicu s provjerom.
AISeeWhy radi oboje za 14 crawlera, grupiranih kao agenti za treniranje, pretraživanje i korisnike, i označava najčešću pogrešku: blokiranje tokena za pretraživanje kao što su PerplexityBot ili Claude-SearchBot s namjerom da se blokira treniranje.
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera IP adrese AI crawlera
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Hoće li blokiranje GPTBota ukloniti moju web-stranicu iz odgovora ChatGPT-a?
Neće. OpenAI navodi da GPTBot služi za treniranje i da je svaka postavka u robots.txt neovisna. Pretraživanje u ChatGPT-u koristi OAI-SearchBot; dok god je on dopušten i vaš ga vatrozid ne blokira, vaše stranice ostaju prihvatljive.
Uklanja li me blokiranje Google-Extended iz AI Overviews?
Ne prema Googleovoj dokumentaciji. Google navodi da Google-Extended ne utječe na uključivanje u Google pretraživanje, a AI Overviews oslanjaju se na indeks pretraživanja. Google nudi zasebnu kontrolu u Search Consoleu za isključivanje web-stranice iz AI Overviews i AI Mode.
Postoji li jedan redak koji blokira svo AI treniranje?
Nijedan standardni redak to ne radi. Content-Signal: ai-train=no izražava želju za sve crawlere, ali poštuje li ga crawler ovisi o njegovu operateru. Imenovane grupe za svaki token za treniranje dokumentirani su način.
Trebam li blokirati Perplexity kako bih zaustavio AI treniranje?
Perplexity navodi da se njegovi agenti ne koriste za prikupljanje podataka za treniranje. Blokiranje PerplexityBot smanjuje vašu vidljivost u rezultatima pretraživanja Perplexityja, a ne služi kao isključenje iz treniranja.
Izvori
- OpenAI: pregled crawlera OpenAI-ja
- Anthropic: Prikuplja li Anthropic podatke s weba i kako vlasnici web-stranica mogu blokirati crawler?
- Google: uobičajeni crawleri, uključujući Google-Extended
- Pomoć za Google Search Console: kontrola generativnog AI-ja u pretraživanju
- Apple: O Applebotu
- Meta: web-crawleri Mete
- Common Crawl: CCBot
- Perplexity: crawleri Perplexityja
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: upravljani robots.txt i Content Signals
- AISeeWhy: izvještaj o pristupu AI crawlera, 2026-11