Mis on Content-Signal robots.txt-s ja kas keegi seda järgib?
Content-Signal on Cloudflare'i avaldatud valikuline robots.txt rida, mis ütleb, kuidas sinu sisu tohib pärast laadimist kasutada: search otsingutulemuste jaoks, ai-input AI-vastustes kasutamiseks ja ai-train mudelite treenimiseks, igaüks väärtusega yes või no, nagu Content-Signal: search=yes, ai-input=yes, ai-train=no. See väljendab eelistust ega blokeeri midagi. 2026. aasta novembri seisuga ei ütle ükski OpenAI, Anthropicu, Google'i ega Perplexity robotite leht, et nad seda loeksid, samal ajal kui suured AI-ettevõtted on toetanud teistsugust, ainult treenimist puudutavat tunnust.
robots.txt loodi ütlemaks, kuhu robot minna tohib, mitte seda, mida loetuga teha tohib. Kui sama laadimine hakkas toitma otsinguindeksit, reaalajas AI-vastust ja treeningandmestikku, muutus see lünk oluliseks. Cloudflare avaldas selle täitmiseks 24. septembril 2025 CC0 litsentsi all Content Signals Policy ja ütles toona, et tema kliendid olid hallatud robots.txt juba sisse lülitanud enam kui 3,8 miljonil domeenil – funktsioon, mis lisab nüüd selle rea nende eest.
Sellel lehel
- Mida tähendavad search, ai-input ja ai-train?
- Kuidas kirjutada robots.txt-sse Content-Signal rida?
- Mida ütleb rea kohal olev poliitika tekst?
- Kas mu robots.txt-s on Content-Signal juba olemas?
- Kas AI-robotid järgivad Content-Signali?
- Kas peaksin lisama Content-Signali oma robots.txt-sse?
- Kuidas kontrollida, mida mu robots.txt igale robotile ütleb?
Mida tähendavad search, ai-input ja ai-train?
Poliitika määratleb kolm signaali. Allolev sõnastus järgib contentsignals.org-i ja Cloudflare'i avaldatud poliitika teksti:
search: otsinguindeksi loomine ja otsingutulemuste pakkumine, näiteks hüperlinkide ja lühikeste katkendite tagastamine sinu lehtedelt. Definitsioon ütleb, et search ei hõlma AI loodud otsingukokkuvõtteid.ai-input: sisu sisestamine ühte või mitmesse AI-mudelisse, näiteks otsinguga täiendatud genereerimine (RAG), grounding või muu sisu reaalajas kasutamine generatiivse AI otsinguvastuste jaoks.ai-train: AI-mudelite treenimine või peenhäälestamine.
Iga signaal saab väärtuse yes või no. Poliitika mõistes tähendab yes, et sisu tohib selleks otstarbeks koguda, no, et ei tohi, ja signaal, mille välja jätad, seda kasutust ei luba ega piira. Cloudflare'i vaikeseade määrab search ja ai-train ning jätab ai-input määramata, sest Cloudflare ütleb, et ta ei tea iga kliendi eelistust selle signaali osas ega taha arvata.
Just search ja ai-input eristamine jääb enamikul kahe silma vahele. Kui soovid, et sinu lehti kasutataks AI-vastustes, ei ütle search=yes üksi seda. ai-input=yes ütleb.
Kuidas kirjutada robots.txt-sse Content-Signal rida?
Content-Signal käib user agent'i rühma sisse, Allow ja Disallow kõrvale, signaalid komadega eraldatult. contentsignals.org näitab ka kuju, mis algab teega, nii et saidi üks jaotis võib kanda ülejäänust erinevaid signaale:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow ja Disallow töötavad täpselt nagu varem ning Content-Signal neid ei asenda. RFC 9309 lubab robotitel tõlgendada kirjeid, mis protokolli ei kuulu, kui see ei sega määratletud reegleid, nii et parser, mis rida ei tunne, peaks selle vahele jätma.
Tasub teada kaht üksikasja. Esiteks kuulub rida rühma. RFC 9309 järgi eirab robot, kellel on oma nimega rühm, rühma User-agent: * täielikult, ja Content Signalsi lehed ei kirjelda selle rea jaoks ühtki erandit. Kui annad Googlebot-ile või OAI-SearchBot-ile oma rühma, korda rida Content-Signal ka seal, nagu teeb contentsignals.org oma robotipõhises näites. Teiseks võib Google Search Console teatada selle rea kohta Syntax not understood. Cloudflare'i dokumentatsioon mainib seda ja ütleb, et mõju roomamisele ega SEO-le pole täheldatud. Google'i robots.txt dokumentatsioon loetleb toetatud väljadena ainult user-agent, allow, disallow ja sitemap.
Mida ütleb rea kohal olev poliitika tekst?
Content Signals Policy on rohkem kui üks rida. Cloudflare'i generaator contentsignals.org-is ja tema hallatud robots.txt panevad signaalide kohale kommentaaride ploki. See algab väitega, et saidile ligipääsu tingimusena nõustud content signals'eid järgima, ning seejärel määratleb kolm signaali ja juhud yes, no ja puuduv.
See lõpeb suurtähtedes lausega, mis kinnitab, et kõik content signals'i kaudu väljendatud piirangud on sõnaselged õiguste reservatsioonid Euroopa Liidu direktiivi 2019/790 (autoriõigus digitaalsel ühtsel turul) artikli 4 alusel. Cloudflare'i teadaanne lisab, et signaalidel võib eri jurisdiktsioonides olla õiguslik kaal.
contentsignals.org ise hoiatab, et kohtud ja reguleerijad võivad järeldada, et robots.txt failid ei pane täitmisele pööratavaid õiguslikke kohustusi, ja soovitab pidada nõu juristiga. Käsitle kommentaaride plokki oma seisukoha kirjaliku avaldusena, mitte lepinguna.
Kas mu robots.txt-s on Content-Signal juba olemas?
Kui sinu sait on Cloudflare'is, võib see olla, ühel kahest viisist:
- Hallatud robots.txt. Kui Bot Preference Sync on sees ja vähemalt üks AI Crawler and Agent access policy on seatud väärtusele Block, Block on pages with ads või Trainingu puhul Disallow, lisab Cloudflare sinu serveri saadetud robots.txt algusesse hallatud ploki. Selles on poliitika tekst,
Content-signal: search=yes, ai-train=no, use=referencerühmaUser-Agent: *all jaDisallow: /robotiteleAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotjameta-externalagent. - Robots.txt puudub üldse. Cloudflare ütleb, et Free-paketi domeenid, millel pole oma robots.txt-d ja mis hallatud funktsiooni ei kasuta, näitavad Content Signals Policyt, kui robot küsib
/robots.txt-d. Selles versioonis on definitsioonid, kuid eelistust see ei väljenda.
Osa use=reference on uus. Cloudflare kirjeldab use-i kui valikulist neljandat välja, mida ta testib, kolme väärtusega: immediate (suhtle, kuid ära salvesta ega taaskasuta midagi), reference (indekseeri, tsiteeri katkendit ja lingi tagasi) ja full (tee kokkuvõte ja reprodutseeri). See ei ole üks kolmest algsest signaalist ja ükski meie kontrollitud robotite dokumentatsioon seda ei maini.
Kuna Cloudflare lisab need read servas, võib sinu repositooriumis olev fail paista muutumatu, samal ajal kui robotite saadud fail on teistsugune. Laadi avaldatud https://yourdomain.com/robots.txt enne oma rea lisamist, et vastus ei väljendaks kaht erinevat poliitikat.
Suurte saitide seas on kasutuselevõtt endiselt väike. Meie 2026. aasta novembri uuringus 1000 populaarseima domeeni kohta kasutas 518-st robots.txt-d serveerinud saidist 18 (3,5%) rida Content-Signal.
Kas AI-robotid järgivad Content-Signali?
Mitte ühegi dokumentatsiooni järgi, mille leidsime. 17. novembril 2026 kontrollisime OpenAI, Anthropicu, Google'i ja Perplexity robotite lehti ja ükski neist ei maini Content-Signal-i. Cloudflare ise kirjeldab signaale eelistustena, mitte tehniliste vastumeetmetena kraapimise vastu, ja ütleb, et mõned ettevõtted võivad neid lihtsalt eirata.
AI-ettevõtted on hoopis dokumenteerinud eraldi mehhanismi, mis põhineb IETF-i töörühma AI Preferences tööl: poliitikatunnus __usage_ai-training, mis kirjutatakse tavalise User-Agent-rühmana. See hõlmab ainult treenimist ja selle määratlev Internet-Draft ütleb, et rühm User-Agent: * ei loe tunnuse kasutamiseks:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Tugi on ebaühtlane ja osaliselt alles tulemas. Anthropic ütleb, et tunnustab üldist masinloetavat treeningsignaali alates 30. oktoobrist 2026, võtab seda järk-järgult kasutusele ja et ClaudeBot-i nimetav reegel on selle ees eelistatud. Microsoft dokumenteerib Bingi jaoks tunnust __usage_ai-training ja tema uued eelistused hakkavad kehtima lehtede roomamisel alates 1. veebruarist 2027. Google ütleb, et kavatseb ühist juhtimisvahendit toetada 2027. aastal ja plaanib käsitleda selle kaudu tehtud treeningust loobumist Google-Extended-i keeluna, kui seda tunnust ei nimetata. OpenAI avaldas samal päeval teadaande, et järgib ühist signaali, kuid kuupäeva ei andnud.
Seega ütlevad ai-train=no ja __usage_ai-training sarnaseid asju, kuid ainult teisel on AI-ettevõtete dokumenteeritud tugi. Robotipõhised tunnused, nagu GPTBot ja ClaudeBot, jäävad juhtimisvahenditeks, mida iga pakkuja täna rakendab.
Kas peaksin lisama Content-Signali oma robots.txt-sse?
Lisa see, kui tahad, et sinu kasutuspoliitika oleks kirjas ühes kohas, mida saavad lugeda nii masinad kui ka inimesed. See väljendab ka ai-input-eelistust kõigile robotitele ühe reaga, mida pakkujate tunnused saavad väljendada ainult roboti kaupa. See maksab ühe rea ja parserid, mis seda ei tunne, jätavad selle vahele.
Ära looda ainult sellele. Et hoida sisu treenimisest eemal, keela ka dokumenteeritud treeningtunnused ja kaalu ühist treeningtunnust; meie juhend AI-treeningu blokeerimiseks nii, et AI-otsingusse jääd, loetleb tunnused pakkujate kaupa. Kõige jaoks, mis robots.txt-d eirab, jõustab blokeeringu ainult tulemüürireegel.
Lõpuks kontrolli, et rida oleks ülejäänud failiga kooskõlas. ai-input=no OAI-SearchBot-i või PerplexityBot-i Allow-rühma kõrval saadab vastukäivaid sõnumeid: lased AI-otsingurobotid sisse, aga ütled, et nende vastused ei tohi laaditut kasutada.
Kuidas kontrollida, mida mu robots.txt igale robotile ütleb?
Tasuta AISeeWhy robots.txt kontrollija võtab lehe aadressi või kleebitud robots.txt ja näitab iga AI- ja otsinguroboti kohta, kas seda lehte tohib laadida, nii et saad kinnitada, et avaldatud fail koos kõigega, mille Cloudflare algusesse lisas, ütleb seda, mida mõtlesid. Tasuta robots.txt generaator kirjutab sinu valikute põhjal faili.
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kas Content-Signal on osa robots.txt standardist?
Ei. RFC 9309 määratleb User-agent, Allow ja Disallow ning lubab robotitel tõlgendada muid kirjeid. Content-Signal pärineb Cloudflare'i Content Signals Policyst, mis on avaldatud CC0 litsentsi all. Eraldi koostab IETF-i töörühm AI Preferences oma reeglit Content-Usage robots.txt jaoks, mis on endiselt Internet-Draft, mitte standard.
Kas ai-train=no peatab GPTBoti või ClaudeBoti?
Mitte selle järgi, mida pakkujad dokumenteerivad. OpenAI ja Anthropic kirjeldavad juhtimist robots.txt reeglitega, mis nimetavad GPTBot-i ja ClaudeBot-i, ning kummagi roboti leht ei maini Content-Signal-i. Et kummagi puhul treenimisest loobuda, keela tunnus nime järgi.
Mis vahe on Content-Signalil ja __usage_ai-trainingul?
Content-Signal on rida rühma sees ja hõlmab otsingut, AI-sisendit ja treenimist. __usage_ai-training on poliitikatunnus, mida kasutatakse omaette User-Agent-rühmana, ja see hõlmab ainult treenimist. Anthropic, Microsoft, Google ja OpenAI on ühise treeningsignaali kohta avaldused teinud; ükski neist ei dokumenteeri Content-Signal-i.
Miks ütleb Google Search Console Syntax not understood?
Google'i robots.txt dokumentatsioon toetab ainult välju user-agent, allow, disallow ja sitemap, nii et muud read võidakse märkida. Cloudflare ütleb, et ta pole nendest teadetest mõju roomamiskiirusele ega SEO-le täheldanud.
Mida tähendab use=reference?
See on neljas väli, mida Cloudflare testib. reference tähendab indekseerimist, katkendi tsiteerimist ja tagasi linkimist. Cloudflare lisab selle hallatud robots.txt failidesse ja ükski meie kontrollitud robotite dokumentatsioon seda ei maini.
Allikad
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11