Mikä on Content-Signal robots.txt:ssä, ja noudattaako kukaan sitä?
Content-Signal on Cloudflaren julkaisema valinnainen robots.txt-rivi, joka kertoo, miten sisältöäsi saa käyttää noudon jälkeen: search hakutuloksiin, ai-input sisällön syöttämiseen tekoälyvastauksiin ja ai-train mallien koulutukseen, kukin arvolla yes tai no, kuten Content-Signal: search=yes, ai-input=yes, ai-train=no. Se ilmaisee toiveen eikä estä mitään. Marraskuussa 2026 yksikään OpenAI:n, Anthropicin, Googlen tai Perplexityn crawler-sivu ei kerro lukevansa sitä, kun taas suuret tekoälyyhtiöt ovat tukeneet toista, vain koulutusta koskevaa tunnistetta.
robots.txt luotiin kertomaan, minne crawler saa mennä, ei sitä, mitä luetulla saa tehdä. Kun sama nouto saattoi syöttää hakuindeksiä, reaaliaikaista tekoälyvastausta ja koulutusaineistoa, tällä aukolla oli merkitystä. Cloudflare julkaisi Content Signals Policyn 24.9.2025 CC0-lisenssillä paikatakseen sen ja kertoi silloin asiakkaidensa ottaneen hallitun robots.txt:n käyttöön yli 3,8 miljoonalle verkkotunnukselle; ominaisuus lisää nyt rivin heidän puolestaan.
Tällä sivulla
- Mitä search, ai-input ja ai-train tarkoittavat?
- Miten kirjoitan Content-Signal-rivin robots.txt:hen?
- Mitä rivin yllä oleva käytäntöteksti sanoo?
- Onko Content-Signal jo robots.txt:ssäni?
- Noudattavatko tekoälycrawlerit Content-Signalia?
- Pitäisikö minun lisätä Content-Signal robots.txt:hen?
- Miten tarkistan, mitä robots.txt kertoo kullekin crawlerille?
Mitä search, ai-input ja ai-train tarkoittavat?
Käytäntö määrittelee kolme signaalia. Alla olevat muotoilut seuraavat sivustoa contentsignals.org ja Cloudflaren julkaisemaa käytäntötekstiä:
search: hakuindeksin rakentaminen ja hakutulosten tarjoaminen, esimerkiksi linkkien ja lyhyiden otteiden palauttaminen sivuiltasi. Määritelmän mukaan search ei sisällä tekoälyn tuottamia hakutiivistelmiä.ai-input: sisällön syöttäminen yhteen tai useampaan tekoälymalliin, esimerkiksi hakuun perustuva generointi (RAG), grounding tai muu sisällön reaaliaikainen käyttö generatiivisen tekoälyhaun vastauksiin.ai-train: tekoälymallien koulutus tai hienosäätö.
Kukin signaali saa arvon yes tai no. Käytännön ehdoissa yes tarkoittaa, että sisältöä saa kerätä kyseiseen käyttöön, no, ettei saa, ja pois jätetty signaali ei salli eikä rajoita kyseistä käyttöä. Cloudflaren oletus asettaa search- ja ai-train-signaalit ja jättää ai-inputin asettamatta, koska Cloudflaren mukaan se ei tiedä kunkin asiakkaan toivetta tämän signaalin osalta eikä halua arvata.
searchin ja ai-inputin ero on se, jonka useimmat ohittavat. Jos haluat sivujasi käytettävän tekoälyvastauksissa, pelkkä search=yes ei kerro sitä. ai-input=yes kertoo.
Miten kirjoitan Content-Signal-rivin robots.txt:hen?
Content-Signal kirjoitetaan user agent -ryhmän sisään Allow- ja Disallow-rivien rinnalle, ja signaalit erotetaan pilkuilla. contentsignals.org näyttää myös polulla alkavan muodon, jolloin sivuston yhdellä osalla voi olla eri signaalit kuin muulla sivustolla:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow ja Disallow toimivat täsmälleen kuten ennenkin, eikä Content-Signal korvaa niitä. RFC 9309 sallii crawlereiden tulkita protokollaan kuulumattomia tietueita, kunhan se ei häiritse määriteltyjä sääntöjä, joten jäsentimen, joka ei tunne riviä, pitäisi ohittaa se.
Kaksi yksityiskohtaa kannattaa tietää. Ensinnäkin rivi kuuluu ryhmään. RFC 9309:n mukaan crawler, jolla on oma nimetty ryhmänsä, jättää ryhmän User-agent: * kokonaan huomiotta, eivätkä Content Signals -sivut kuvaa tälle riville poikkeusta. Jos annat crawlereille Googlebot tai OAI-SearchBot oman ryhmän, toista Content-Signal-rivi siinä, kuten contentsignals.org tekee crawlerikohtaisessa esimerkissään. Toiseksi Google Search Console voi ilmoittaa riviltä Syntax not understood. Cloudflaren dokumentaatio mainitsee tämän ja kertoo, ettei se ole havainnut vaikutusta indeksointiin tai hakukoneoptimointiin. Googlen robots.txt-dokumentaatio luettelee tuetuiksi kentiksi vain user-agent, allow, disallow ja sitemap.
Mitä rivin yllä oleva käytäntöteksti sanoo?
Content Signals Policy on enemmän kuin yksi rivi. Sekä Cloudflaren generaattori sivustolla contentsignals.org että sen hallittu robots.txt lisäävät signaalien yläpuolelle kommenttilohkon. Se alkaa toteamalla, että sitoudut sivuston käytön ehtona noudattamaan content signaleja, ja määrittelee sitten kolme signaalia sekä tapaukset yes, no ja puuttuva arvo.
Lohko päättyy isoin kirjaimin kirjoitettuun lauseeseen, jonka mukaan content signalien avulla ilmaistut rajoitukset ovat nimenomaisia oikeuksien pidätyksiä digitaalisten sisämarkkinoiden tekijänoikeutta koskevan EU-direktiivin 2019/790 4 artiklan nojalla. Cloudflaren tiedote lisää, että signaaleilla voi olla oikeudellista painoarvoa eri lainkäyttöalueilla.
contentsignals.org itse varoittaa, että tuomioistuimet ja viranomaiset voivat päätyä siihen, etteivät robots.txt-tiedostot luo täytäntöönpanokelpoisia oikeudellisia velvoitteita, ja suosittelee kääntymään lakimiehen puoleen. Pidä kommenttilohkoa kirjallisena kannanottona, älä sopimuksena.
Onko Content-Signal jo robots.txt:ssäni?
Jos sivustosi on Cloudflaressa, se voi olla, jommallakummalla kahdesta tavasta:
- Hallittu robots.txt. Kun Bot Preference Sync on päällä ja vähintään yksi AI Crawler and Agent access -käytäntö on asetettu tilaan Block, Block on pages with ads tai Trainingin osalta Disallow, Cloudflare lisää hallitun lohkon palvelimesi lähettämän robots.txt:n alkuun. Siinä on käytäntöteksti,
Content-signal: search=yes, ai-train=no, use=referenceryhmänUser-Agent: *alla sekäDisallow: /crawlereilleAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotjameta-externalagent. - Ei robots.txt:tä lainkaan. Cloudflaren mukaan Free-tilauksen verkkotunnukset, joilla ei ole omaa robots.txt:tä ja jotka eivät käytä hallittua ominaisuutta, näyttävät Content Signals Policyn, kun crawler pyytää polkua
/robots.txt. Tässä versiossa on määritelmät, mutta se ei ilmaise toivetta.
use=reference-osa on uusi. Cloudflare kuvaa use-kentän valinnaiseksi neljänneksi kentäksi, jota se testaa ja jolla on kolme arvoa: immediate (vuorovaikutus, mutta mitään ei tallenneta eikä käytetä uudelleen), reference (indeksointi, otteet ja linkki takaisin) ja full (tiivistäminen ja toisintaminen). Se ei ole yksi kolmesta alkuperäisestä signaalista, eikä mikään tarkistamamme crawler-dokumentaatio mainitse sitä.
Koska Cloudflare lisää nämä rivit verkon reunalla, repositoriosi tiedosto voi näyttää muuttumattomalta, vaikka crawlereiden saama tiedosto on eri. Hae voimassa oleva https://yourdomain.com/robots.txt ennen kuin lisäät oman rivisi, jotta vastaus ei ilmaise kahta eri käytäntöä.
Käyttöönotto on suurilla sivustoilla vielä vähäistä. Marraskuun 2026 tutkimuksessamme, joka kattoi 1 000 suosituinta verkkotunnusta, 518 robots.txt-tiedoston tarjoavasta sivustosta 18 (3,5 %) käytti Content-Signalia.
Noudattavatko tekoälycrawlerit Content-Signalia?
Ei minkään löytämämme dokumentaation mukaan. Tarkistimme 17.11.2026 OpenAI:n, Anthropicin, Googlen ja Perplexityn crawler-sivut, eikä yksikään mainitse Content-Signalia. Cloudflare itse kuvaa signaaleja toiveiksi eikä teknisiksi suojakeinoiksi sisällön kaapimista vastaan ja sanoo, että jotkin yhtiöt saattavat yksinkertaisesti ohittaa ne.
Tekoälyyhtiöt ovat sen sijaan dokumentoineet erillisen mekanismin, joka perustuu IETF:n AI Preferences -työryhmän työhön: käytäntötunnisteen __usage_ai-training, joka kirjoitetaan tavallisena User-Agent-ryhmänä. Se kattaa vain koulutuksen, ja sen määrittelevän Internet-Draftin mukaan User-Agent: * -ryhmä ei tarkoita tunnisteen käyttöä:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Tuki on epätasaista ja osin vasta tulossa. Anthropicin mukaan se on tunnistanut yleisen koneluettavan koulutussignaalin 30.10.2026 alkaen, ottaa sitä käyttöön vähitellen, ja ClaudeBotin nimeävä sääntö menee sen edelle. Microsoft dokumentoi __usage_ai-training-tunnisteen Bingille, ja sen uudet asetukset tulevat voimaan sitä mukaa kuin sivuja indeksoidaan 1.2.2027 alkaen. Google kertoo pyrkivänsä tukemaan yhteistä ohjauskeinoa vuonna 2027 ja aikoo käsitellä sen kautta annetun koulutuskiellon Google-Extendedin estona, kun tätä tunnistetta ei ole nimetty. OpenAI julkaisi samana päivänä tiedotteen, jonka mukaan se noudattaa yhteistä signaalia, mutta ei kertonut aikataulua.
ai-train=no ja __usage_ai-training sanovat siis samankaltaisia asioita, mutta vain jälkimmäisellä on tekoälyyhtiöiden dokumentoima tuki. Crawlerikohtaiset tunnisteet, kuten GPTBot ja ClaudeBot, ovat yhä ne ohjauskeinot, joita kukin toimittaja soveltaa tänään.
Pitäisikö minun lisätä Content-Signal robots.txt:hen?
Lisää se, jos haluat käyttökäytäntösi kirjattuna yhteen paikkaan, jota sekä koneet että ihmiset voivat lukea. Se myös ilmaisee ai-input-toiveen kaikille crawlereille yhdellä rivillä, minkä toimittajien tunnisteet pystyvät ilmaisemaan vain crawler kerrallaan. Se maksaa yhden rivin, ja jäsentimet, jotka eivät tunne sitä, ohittavat sen.
Älä luota pelkästään siihen. Pitääksesi sisällön poissa koulutuksesta estä myös dokumentoidut koulutustunnisteet ja harkitse yhteistä koulutustunnistetta; oppaamme tekoälykoulutuksen estämisestä tekoälyhaussa pysyen listaa tunnisteet toimittajittain. Kaikelle, mikä ohittaa robots.txt:n, vain palomuurisääntö panee eston täytäntöön.
Tarkista lopuksi, että rivi on linjassa tiedoston muun sisällön kanssa. ai-input=no yhdessä OAI-SearchBotin tai PerplexityBotin Allow-ryhmän kanssa lähettää ristiriitaisen viestin: päästät tekoälyhakucrawlerit sisään ja samalla sanot, etteivät niiden vastaukset saa käyttää noudettua.
Miten tarkistan, mitä robots.txt kertoo kullekin crawlerille?
Ilmainen AISeeWhyn robots.txt-tarkistin ottaa vastaan sivun osoitteen tai liitetyn robots.txt:n ja näyttää jokaiselle tekoäly- ja hakucrawlerille, saako se hakea sivun, joten voit varmistaa, että voimassa oleva tiedosto, mukaan lukien kaikki, mitä Cloudflare lisäsi alkuun, sanoo sen, mitä tarkoitit. Ilmainen robots.txt-generaattori kirjoittaa tiedoston valintojesi pohjalta.
Seuraavat vaiheet
- robots.txt-testeri ja -tarkistin tekoälyindeksoijille
- Katso esimerkki koko raportista
- Tekoälyindeksoijien valvonta
- Tilaukset ja hinnat
Tämän artikkelin indeksoijat
Usein kysytyt kysymykset
Kuuluuko Content-Signal robots.txt-standardiin?
Ei. RFC 9309 määrittelee kentät User-agent, Allow ja Disallow ja antaa crawlereiden tulkita muita tietueita. Content-Signal tulee Cloudflaren Content Signals Policysta, joka on julkaistu CC0-lisenssillä. Tästä erillään IETF:n AI Preferences -työryhmä laatii robots.txt:hen omaa Content-Usage-sääntöään, joka on vielä Internet-Draft eikä standardi.
Estääkö ai-train=no GPTBotin tai ClaudeBotin?
Ei sen mukaan, mitä toimittajat dokumentoivat. OpenAI ja Anthropic kuvaavat ohjauksen robots.txt-säännöillä, jotka nimeävät GPTBotin ja ClaudeBotin, eikä kummankaan crawler-sivu mainitse Content-Signalia. Kieltäytyäksesi koulutuksesta kummankin kohdalla estä tunniste nimeltä.
Mitä eroa on Content-Signalilla ja __usage_ai-trainingilla?
Content-Signal on ryhmän sisäinen rivi ja kattaa haun, tekoälysyötteen ja koulutuksen. __usage_ai-training on käytäntötunniste, jota käytetään omana User-Agent-ryhmänään, ja se kattaa vain koulutuksen. Anthropic, Microsoft, Google ja OpenAI ovat julkaisseet lausuntoja yhteisestä koulutussignaalista; yksikään niistä ei dokumentoi Content-Signalia.
Miksi Google Search Console sanoo Syntax not understood?
Googlen robots.txt-dokumentaatio tukee vain kenttiä user-agent, allow, disallow ja sitemap, joten muut rivit voidaan merkitä. Cloudflaren mukaan se ei ole havainnut näiden ilmoitusten vaikuttavan indeksointitahtiin tai hakukoneoptimointiin.
Mitä use=reference tarkoittaa?
Se on neljäs kenttä, jota Cloudflare testaa. reference tarkoittaa indeksointia, otteita ja linkkiä takaisin. Cloudflare lisää sen hallittuihin robots.txt-tiedostoihin, eikä mikään tarkistamamme crawler-dokumentaatio mainitse sitä.
Lähteet
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11