AISeeWhy
FI
Aloita ilmainen kokeilu

Miten estät tekoälykoulutuksen mutta pysyt tekoälyhaun vastauksissa

Julkaistu

Lyhyt vastaus

Useimmat tekoälytoimittajat käyttävät erillisiä robots.txt-tokeneita mallikoulutukselle ja haulle. Kiellä koulutustokenit, kuten GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent ja CCBot, ja salli haku- ja käyttäjätokenit, kuten OAI-SearchBot, Claude-SearchBot ja PerplexityBot. Lisää Content-Signal-rivi ilmaisemaan sama kanta sanoin.

Monet sivustojen omistajat haluavat kaksi asiaa yhtä aikaa: he eivät halua sisältöään käytettävän tekoälymallien kouluttamiseen, mutta he haluavat tekoälyavustajien löytävän, lainaavan ja linkittävän sivunsa. Koska suurimmat toimittajat jakavat nämä tehtävät nykyään eri crawlereille tai tokeneille, robots.txt voi ilmaista molemmat valinnat. Ongelmana on, että nimet vaihtelevat toimittajittain, muutama toimittaja ei sovi malliin, ja yksi väärä rivi voi poistaa sinut tekoälyvastauksista koulutusdatan sijaan.

Tällä sivulla
  1. Mikä ero on koulutuscrawlerilla ja hakucrawlerilla?
  2. Mitkä tokenit ohjaavat koulutusta ja mitkä hakua?
  3. Miltä robots.txt näyttää?
  4. Kuinka moni sivusto tekee jo näin?
  5. Mitä Content-Signal lisää?
  6. Missä jako ei toimi siististi?
  7. Miten tarkistan, että jako toimii?

Mikä ero on koulutuscrawlerilla ja hakucrawlerilla?

Koulutuscrawler kerää sivuja, joita voidaan käyttää tekoälymallien rakentamiseen tai parantamiseen. Koulutus ei sellaisenaan tuota lainausta tai linkkiä. Hakucrawler rakentaa indeksin, jota tekoälyavustaja käyttää lähteiden löytämiseen vastausta varten, ja nämä lähteet ovat se, mitä se voi lainata. Käyttäjän käynnistämä noutaja avaa sivun reaaliajassa, koska joku kysyi siitä.

Toimittajat dokumentoivat nämä roolit erikseen ja sanovat asetusten olevan toisistaan riippumattomia. OpenAI esimerkiksi sanoo, että jokainen sen crawlereita koskeva robots.txt-asetus on riippumaton muista. Oikein tehty koulutuksesta kieltäytyminen jättää siis hakunäkyvyytesi rauhaan.

Mitkä tokenit ohjaavat koulutusta ja mitkä hakua?

Nämä ovat toimittajien dokumentoimat tokenit ryhmiteltyinä sen mukaan, mitä ne ohjaavat:

Miltä robots.txt näyttää?

RFC 9309:n mukaan useat peräkkäiset User-agent-rivit muodostavat yhden ryhmän, joten säännöt koskevat jokaista niistä. Tämä tiedosto kieltäytyy yllä olevista koulutustokeneista, sallii haku- ja käyttäjäagentit ja pitää yhden yksityisen polun suljettuna kaikilta:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Kaksi seikkaa on tärkeää. Ensinnäkin nimetty ryhmä ei peri ryhmältä *, joten yksityiset polut on toistettava hakuryhmässä. Toiseksi älä lisää Googlebotia tai Applebotia koulutusryhmään: ne ovat hakucrawlereita, ja niiden estäminen poistaa sinut Google-hausta ja Applen hakuominaisuuksista. Muutokset eivät tule voimaan heti: OpenAI mainitsee noin 24 tuntia haulle ja Perplexity jopa 24 tuntia.

Kuinka moni sivusto tekee jo näin?

Vähemmän kuin voisi odottaa. Luimme Tranco-listan 1 000 suosituimman verkkotunnuksen robots.txt-tiedostot 12.11.2026. Niistä 518:sta, joilla robots.txt oli saatavilla, 155 (29,9 %) kieltää etusivun vähintään yhdeltä tekoälyn koulutuscrawlerilta. Vain 57 (11,0 %) valitsee valikoivan tien: ne estävät koulutuscrawlerit ja sallivat kaikki testaamamme tekoälyn haku- ja käyttäjäcrawlerit. Kaikkiaan 101 sivustoa (19,5 %) estää vähintään yhden tekoälyn haku- tai käyttäjäcrawlerin.

Crawlerikohtaiset luvut näyttävät saman jaon. GPTBot on estetty 111 sivustolla (21,4 %) ja OAI-SearchBot 58 sivustolla (11,2 %). ClaudeBot on estetty 110 sivustolla (21,2 %) ja Claude-SearchBot 67 sivustolla (12,9 %). Google-Extended on estetty 94 sivustolla (18,1 %), Googlebot 14 sivustolla (2,7 %). Vain 18 sivustoa (3,5 %) käyttää Content-Signalia.

Tutkimus tarkastelee vain etusivua koskevia robots.txt-sääntöjä. Se ei mittaa palomuuriestoja, eikä se näytä, mitä kukin sivusto tarkoitti.

Mitä Content-Signal lisää?

Content Signals on Cloudflaren osoitteessa contentsignals.org julkaisema robots.txt-laajennus. Content-Signal-rivi ilmaisee, miten sisältöä saa käyttää, kolmella signaalilla: search (hakuindeksin rakentaminen sekä linkkien ja lyhyiden otteiden näyttäminen), ai-input (sisällön syöttäminen tekoälymalleille reaaliajassa, esimerkiksi pohjustukseen tai tiedonhakuun generatiivisia vastauksia varten) ja ai-train (mallien kouluttaminen tai hienosäätö).

Huomaa, että search-määritelmä sulkee pois tekoälyn tuottamat hakuyhteenvedot. Jos haluat näkyä tekoälyvastauksissa, aseta myös ai-input=yes, kuten yllä olevassa esimerkissä. Cloudflaren hallinnoima robots.txt lisää oletuksena search=yes, ai-train=no; signaali, jonka jätät pois, ei sen enempää myönnä kuin rajoitakaan kyseistä käyttöä.

Nämä ovat ilmaistuja mieltymyksiä. Content Signals -sivusto sanoo, etteivät ne estä läpikäyntiä teknisellä tasolla, ja Cloudflare huomauttaa, että robots.txt:n noudattaminen on vapaaehtoista. Yksikään tarkistamistamme OpenAI:n, Anthropicin, Googlen tai Perplexityn crawler-sivuista ei kerro, lukeeko se Content-Signalin, joten pidä sitä crawlerikohtaisten ryhmien lisänä, älä niiden korvikkeena.

Missä jako ei toimi siististi?

Muutama tapaus vaatii huolellisuutta:

Miten tarkistan, että jako toimii?

Lue robots.txt:si niin kuin kukin crawler sen lukisi: etsi ryhmä, jossa crawler mainitaan, käytä ryhmää * vain jos sellaista ei ole, ja noudata pisintä vastaavaa sääntöä. Pyydä sitten sivu kunkin hakucrawlerin user agentilla ja varmista, että vastaus on 200 ja koko sisältö, ei 403 tai haastesivu.

AISeeWhy tekee molemmat 14 crawlerille, ryhmiteltyinä koulutus-, haku- ja käyttäjäagentteihin, ja merkitsee yleisimmän virheen: hakutokenin, kuten PerplexityBot tai Claude-SearchBot, estämisen, kun tarkoitus oli estää koulutus.

Usein kysytyt kysymykset

Poistaako GPTBotin estäminen sivustoni ChatGPT:n vastauksista?

Ei. OpenAI sanoo, että GPTBot on tarkoitettu koulutukseen ja että jokainen robots.txt-asetus on riippumaton. ChatGPT-haku käyttää OAI-SearchBotia; niin kauan kuin se on sallittu eikä palomuurisi estä sitä, sivusi pysyvät kelpoisina.

Poistaako Google-Extendedin estäminen minut AI Overviewsista?

Ei Googlen dokumentaation mukaan. Google sanoo, ettei Google-Extended vaikuta Google-haun sisällyttämiseen ja että AI Overviews käyttää hakuindeksiä. Google tarjoaa erillisen Search Console -hallinnan, jolla sivuston voi sulkea pois AI Overviewsista ja AI Modesta.

Onko olemassa yhtä riviä, joka estää kaiken tekoälykoulutuksen?

Ei ole mitään standardirivia. Content-Signal: ai-train=no ilmaisee kannan kaikille crawlereille, mutta se, noudattaako crawler sitä, riippuu ylläpitäjästä. Dokumentoitu tapa on nimetty ryhmä jokaiselle koulutustokenille.

Pitäisikö minun estää Perplexity tekoälykoulutuksen pysäyttämiseksi?

Perplexity sanoo, ettei sen agentteja käytetä koulutusdatan keräämiseen. PerplexityBotin estäminen heikentää näkyvyyttäsi Perplexityn hakutuloksissa palvelematta koulutuksesta kieltäytymistä.

Lähteet

Lisää artikkeleita