Kas ir Content-Signal robots.txt un vai kāds to ievēro?
Content-Signal ir neobligāta robots.txt rinda, ko publicējusi Cloudflare un kas norāda, kā jūsu saturu drīkst izmantot pēc ielādes: search meklēšanas rezultātiem, ai-input padošanai MI atbildēs un ai-train modeļu apmācībai, katrs ar vērtību yes vai no, piemēram, Content-Signal: search=yes, ai-input=yes, ai-train=no. Tā izsaka vēlmi un neko nebloķē. 2026. gada novembrī ne OpenAI, ne Anthropic, ne Google, ne Perplexity rāpuļprogrammu lapās nav teikts, ka tās to nolasa, bet lielie MI uzņēmumi ir atbalstījuši citu marķieri, kas attiecas tikai uz apmācību.
robots.txt tika veidots, lai pateiktu, kur rāpuļprogramma drīkst iet, nevis ko drīkst darīt ar to, ko tā nolasa. Kad viena un tā pati ielāde varēja nonākt meklēšanas indeksā, tiešā MI atbildē un apmācības kopā, šī plaisa kļuva svarīga. Lai to aizpildītu, Cloudflare 2025. gada 24. septembrī ar CC0 licenci publicēja Content Signals Policy un toreiz norādīja, ka tās klienti jau bija ieslēguši pārvaldīto robots.txt vairāk nekā 3,8 miljoniem domēnu — funkciju, kas tagad viņu vietā pievieno šo rindu.
Šajā lapā
- Ko nozīmē search, ai-input un ai-train?
- Kā uzrakstīt Content-Signal rindu robots.txt?
- Ko saka politikas teksts virs rindas?
- Vai Content-Signal jau ir manā robots.txt?
- Vai MI rāpuļprogrammas ievēro Content-Signal?
- Vai man pievienot Content-Signal savam robots.txt?
- Kā pārbaudīt, ko mans robots.txt saka katrai rāpuļprogrammai?
Ko nozīmē search, ai-input un ai-train?
Politika definē trīs signālus. Formulējums turpmāk seko contentsignals.org un Cloudflare publicētajam politikas tekstam:
search: meklēšanas indeksa veidošana un meklēšanas rezultātu sniegšana, piemēram, hipersaišu un īsu fragmentu atgriešana no jūsu lapām. Definīcijā teikts, ka meklēšana neietver MI ģenerētus meklēšanas kopsavilkumus.ai-input: satura ievadīšana vienā vai vairākos MI modeļos, piemēram, izguvē papildināta ģenerēšana (RAG), pamatošana vai cita satura izmantošana reāllaikā ģeneratīvā MI meklēšanas atbildēm.ai-train: MI modeļu apmācība vai pielāgošana.
Katrs signāls pieņem yes vai no. Politikas izpratnē yes nozīmē, ka saturu šim lietojumam drīkst vākt, no — ka nedrīkst, bet izlaists signāls šo lietojumu ne atļauj, ne ierobežo. Cloudflare noklusējums iestata search un ai-train un atstāj ai-input neiestatītu, jo, pēc tās teiktā, tā nezina katra klienta vēlmi attiecībā uz šo signālu un nevēlas minēt.
Atšķirību starp search un ai-input palaiž garām visbiežāk. Ja vēlaties, lai jūsu lapas izmanto MI atbildēs, ar search=yes vien tas nav pateikts. Ar ai-input=yes ir.
Kā uzrakstīt Content-Signal rindu robots.txt?
Content-Signal raksta user-agent grupā, blakus Allow un Disallow, signālus atdalot ar komatiem. contentsignals.org rāda arī formu, kas sākas ar ceļu, lai vienai vietnes sadaļai varētu būt citi signāli nekā pārējai:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow un Disallow darbojas tieši tāpat kā iepriekš, un Content-Signal tos neaizstāj. RFC 9309 ļauj rāpuļprogrammām interpretēt ierakstus, kas nav protokola daļa, ja vien tas netraucē definētajām kārtulām, tāpēc parsētājam, kas rindu nepazīst, tā jāizlaiž.
Vērts zināt divas detaļas. Pirmkārt, rinda pieder grupai. Saskaņā ar RFC 9309 rāpuļprogramma, kurai ir grupa ar tās nosaukumu, pilnībā ignorē grupu User-agent: *, un Content Signals lapās šai rindai nav aprakstīts neviens izņēmums. Ja Googlebot vai OAI-SearchBot piešķirat atsevišķu grupu, atkārtojiet tur rindu Content-Signal, kā to dara contentsignals.org savā piemērā katrai rāpuļprogrammai. Otrkārt, Google Search Console par šo rindu var ziņot Syntax not understood. Cloudflare dokumentācija to piemin un saka, ka nav novērojusi ietekmi uz apstaigāšanu vai SEO. Google robots.txt dokumentācijā kā atbalstīti lauki minēti tikai user-agent, allow, disallow un sitemap.
Ko saka politikas teksts virs rindas?
Content Signals Policy ir vairāk nekā viena rinda. Cloudflare ģenerators vietnē contentsignals.org un tās pārvaldītais robots.txt virs signāliem ievieto komentāru bloku. Tas sākas ar apgalvojumu, ka, piekļūstot vietnei, jūs piekrītat ievērot satura signālus, tad definē trīs signālus un gadījumus yes, no un izlaistu signālu.
Tas beidzas ar teikumu lielajiem burtiem, kurā teikts, ka jebkuri ierobežojumi, kas izteikti ar satura signāliem, ir tiešas tiesību atrunas saskaņā ar ES Direktīvas 2019/790 par autortiesībām digitālajā vienotajā tirgū 4. pantu. Cloudflare paziņojumā piebilsts, ka signāliem dažādās jurisdikcijās var būt juridisks svars.
Pati contentsignals.org brīdina, ka tiesas un regulatori var secināt, ka robots.txt faili neuzliek izpildāmas juridiskas saistības, un iesaka konsultēties ar juristu. Uztveriet komentāru bloku kā rakstisku jūsu nostājas paziņojumu, nevis kā līgumu.
Vai Content-Signal jau ir manā robots.txt?
Ja jūsu vietne izmanto Cloudflare, tas var būt vienā no diviem veidiem:
- Pārvaldītais robots.txt. Ja ir ieslēgts Bot Preference Sync un vismaz viena AI Crawler and Agent access politika iestatīta uz Block, Block on pages with ads vai, Training gadījumā, Disallow, Cloudflare robots.txt failam, ko sūta jūsu serveris, priekšā pievieno pārvaldītu bloku. Tajā ir politikas teksts,
Content-signal: search=yes, ai-train=no, use=referencezemUser-Agent: *unDisallow: /priekšAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotunmeta-externalagent. - Robots.txt nav vispār. Cloudflare norāda, ka Free plāna domēni, kuriem nav sava robots.txt un kuri neizmanto pārvaldīto funkciju, rāda Content Signals Policy, kad rāpuļprogramma pieprasa
/robots.txt. Šajā versijā ir definīcijas, bet nav norādīta neviena vēlme.
Daļa use=reference ir jauna. Cloudflare apraksta use kā neobligātu ceturto lauku, ko tā testē, ar trim vērtībām: immediate (mijiedarboties, bet neko neglabāt un neizmantot atkārtoti), reference (indeksēt, citēt fragmentu un saistīt atpakaļ) un full (apkopot un reproducēt). Tas nav viens no trim sākotnējiem signāliem, un nevienā no mūsu pārbaudītajām rāpuļprogrammu dokumentācijām tas nav minēts.
Tā kā Cloudflare šīs rindas pievieno tīkla malā, fails jūsu repozitorijā var izskatīties nemainīts, kamēr fails, ko saņem rāpuļprogrammas, ir cits. Pirms pievienojat savu rindu, ielādējiet aktīvo https://yourdomain.com/robots.txt, lai atbildē nebūtu divas dažādas politikas.
Lielajās vietnēs to joprojām izmanto reti. Mūsu 2026. gada novembra pētījumā par 1000 populārākajiem domēniem 18 no 518 vietnēm, kas sniedza robots.txt (3,5%), izmantoja Content-Signal.
Vai MI rāpuļprogrammas ievēro Content-Signal?
Ne saskaņā ar dokumentāciju, ko mēs atradām. 2026. gada 17. novembrī pārbaudījām OpenAI, Anthropic, Google un Perplexity rāpuļprogrammu lapas, un nevienā no tām nav minēts Content-Signal. Pati Cloudflare signālus apraksta kā vēlmes, nevis tehniskus pretpasākumus pret skrāpēšanu, un saka, ka daži uzņēmumi tos var vienkārši ignorēt.
Tā vietā MI uzņēmumi ir dokumentējuši atsevišķu mehānismu, kas balstīts uz IETF darba grupas AI Preferences darbu: politikas marķieri __usage_ai-training, kas rakstīts kā parasta User-Agent grupa. Tas attiecas tikai uz apmācību, un Internet-Draft, kas to definē, saka, ka grupa User-Agent: * netiek uzskatīta par marķiera lietošanu:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Atbalsts ir nevienmērīgs un daļēji vēl tikai gaidāms. Anthropic norāda, ka kopš 2026. gada 30. oktobra atpazīst vispārīgu mašīnlasāmu apmācības signālu, ievieš to pakāpeniski un ka kārtulai, kas nosauc ClaudeBot, ir prioritāte pār to. Microsoft dokumentē marķieri __usage_ai-training priekš Bing, un tā jaunās vēlmes stāsies spēkā, kad lapas tiks apstaigātas, sākot no 2027. gada 1. februāra. Google norāda, ka plāno atbalstīt kopīgo vadīklu 2027. gadā un atteikšanos no apmācības ar to uzskatīt par Google-Extended aizliegumu, ja šis marķieris nav nosaukts. OpenAI tajā pašā dienā publicēja paziņojumu, ka ievēros kopīgo signālu, bez datuma.
Tātad ai-train=no un __usage_ai-training saka līdzīgas lietas, bet dokumentēts MI uzņēmumu atbalsts ir tikai otrajam. Marķieri katrai rāpuļprogrammai, piemēram, GPTBot un ClaudeBot, joprojām ir vadīklas, ko katrs piegādātājs piemēro šodien.
Vai man pievienot Content-Signal savam robots.txt?
Pievienojiet to, ja vēlaties savu lietošanas politiku pierakstīt vienā vietā, ko var nolasīt gan mašīnas, gan cilvēki. Tā arī vienā rindā norāda ai-input vēlmi visām rāpuļprogrammām, ko piegādātāju marķieri var izteikt tikai katrai rāpuļprogrammai atsevišķi. Tā maksā vienu rindu, un parsētāji, kas to nepazīst, to izlaiž.
Nepaļaujieties tikai uz to. Lai saturs nenonāktu apmācībā, aizliedziet arī dokumentētos apmācības marķierus un apsveriet kopīgo apmācības marķieri; mūsu rokasgrāmatā par MI apmācības bloķēšanu, paliekot MI meklēšanā, ir marķieri katram piegādātājam. Visam, kas ignorē robots.txt, bloķējumu nodrošina tikai ugunsmūra kārtula.
Visbeidzot pārbaudiet, vai rinda saskan ar pārējo failu. ai-input=no blakus Allow grupai priekš OAI-SearchBot vai PerplexityBot sūta pretrunīgus signālus: jūs ielaižat MI meklēšanas rāpuļprogrammas, bet sakāt, ka to atbildes nedrīkst izmantot to, ko tās ielādē.
Kā pārbaudīt, ko mans robots.txt saka katrai rāpuļprogrammai?
Bezmaksas AISeeWhy robots.txt pārbaudītājs pieņem lapas adresi vai ielīmētu robots.txt un katrai MI un meklētāju rāpuļprogrammai parāda, vai šo lapu drīkst ielādēt, tāpēc varat pārliecināties, ka aktīvais fails, ieskaitot visu, ko Cloudflare pievienojusi sākumā, saka to, ko domājāt. Bezmaksas robots.txt ģenerators izveido failu pēc jūsu izvēles.
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Vai Content-Signal ir daļa no robots.txt standarta?
Nē. RFC 9309 definē User-agent, Allow un Disallow un ļauj rāpuļprogrammām interpretēt citus ierakstus. Content-Signal nāk no Cloudflare Content Signals Policy, kas izlaista ar CC0 licenci. Atsevišķi IETF darba grupa AI Preferences izstrādā savu Content-Usage kārtulu robots.txt, kas joprojām ir Internet-Draft, nevis standarts.
Vai ai-train=no aptur GPTBot vai ClaudeBot?
Ne, cik to dokumentē piegādātāji. OpenAI un Anthropic apraksta vadību ar robots.txt kārtulām, kas nosauc GPTBot un ClaudeBot, un nevienas rāpuļprogrammas lapā nav minēts Content-Signal. Lai atteiktos no apmācības kādā no tām, aizliedziet marķieri pēc nosaukuma.
Kāda ir atšķirība starp Content-Signal un __usage_ai-training?
Content-Signal ir rinda grupā un aptver meklēšanu, MI ievadi un apmācību. __usage_ai-training ir politikas marķieris, ko lieto kā atsevišķu User-Agent grupu, un tas aptver tikai apmācību. Anthropic, Microsoft, Google un OpenAI ir publicējuši paziņojumus par kopīgo apmācības signālu; neviens no tiem nedokumentē Content-Signal.
Kāpēc Google Search Console saka Syntax not understood?
Google robots.txt dokumentācija atbalsta tikai user-agent, allow, disallow un sitemap, tāpēc citas rindas var tikt atzīmētas. Cloudflare norāda, ka nav novērojusi šo ziņojumu ietekmi uz apstaigāšanas ātrumu vai SEO.
Ko nozīmē use=reference?
Tas ir ceturtais lauks, ko Cloudflare testē. reference nozīmē indeksēt, citēt fragmentu un saistīt atpakaļ. Cloudflare to pievieno pārvaldītajiem robots.txt failiem, un nevienā no mūsu pārbaudītajām rāpuļprogrammu dokumentācijām tas nav minēts.
Avoti
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: pārskats par MI rāpuļprogrammu piekļuvi, 2026-11