Kas yra Content-Signal robots.txt faile ir ar kas nors jo laikosi?
Content-Signal yra neprivaloma robots.txt eilutė, kurią paskelbė Cloudflare. Ji nurodo, kaip jūsų turinį galima naudoti jį atsisiuntus: search paieškos rezultatams, ai-input DI atsakymams ir ai-train modelių mokymui, kiekvienas su reikšme yes arba no, pvz., Content-Signal: search=yes, ai-input=yes, ai-train=no. Ji išreiškia pageidavimą ir nieko neblokuoja. 2026 m. lapkričio duomenimis, nė viename OpenAI, Anthropic, Google ar Perplexity robotų puslapyje neteigiama, kad ją skaito, o didžiosios DI bendrovės vietoj jos parėmė kitą, tik mokymui skirtą žetoną.
robots.txt buvo sukurtas nurodyti, kur robotas gali eiti, o ne ką galima daryti su tuo, ką jis perskaito. Kai tas pats atsisiuntimas ėmė maitinti paieškos indeksą, tiesioginį DI atsakymą ir mokymo duomenų rinkinį, ši spraga tapo svarbi. Jai užpildyti Cloudflare 2025 m. rugsėjo 24 d. paskelbė Content Signals Policy su CC0 licencija ir tuo metu nurodė, kad jos klientai jau buvo įjungę valdomą robots.txt daugiau nei 3,8 mln. domenų – ši funkcija dabar eilutę prideda už juos.
Šiame puslapyje
- Ką reiškia search, ai-input ir ai-train?
- Kaip robots.txt faile parašyti Content-Signal eilutę?
- Ką sako politikos tekstas virš eilutės?
- Ar Content-Signal jau yra mano robots.txt?
- Ar DI robotai laikosi Content-Signal?
- Ar turėčiau pridėti Content-Signal į savo robots.txt?
- Kaip patikrinti, ką mano robots.txt sako kiekvienam robotui?
Ką reiškia search, ai-input ir ai-train?
Politika apibrėžia tris signalus. Toliau pateikta formuluotė atitinka contentsignals.org ir Cloudflare skelbiamą politikos tekstą:
search: paieškos indekso kūrimas ir paieškos rezultatų teikimas, pavyzdžiui, nuorodų ir trumpų ištraukų iš jūsų puslapių grąžinimas. Apibrėžime rašoma, kad search neapima DI sugeneruotų paieškos santraukų.ai-input: turinio pateikimas vienam ar keliems DI modeliams, pavyzdžiui, paieška papildytas generavimas (RAG), pagrindimas (grounding) ar kitoks turinio naudojimas realiuoju laiku generatyvinio DI paieškos atsakymams.ai-train: DI modelių mokymas arba derinimas (fine-tuning).
Kiekvienas signalas įgyja reikšmę yes arba no. Politikos terminais yes reiškia, kad turinį tam naudojimui galima rinkti, no – kad negalima, o praleistas signalas to naudojimo nei leidžia, nei riboja. Cloudflare numatytasis nustatymas nurodo search ir ai-train, o ai-input palieka nenustatytą, nes, pasak jos, nežino kiekvieno kliento pageidavimo šiam signalui ir nenori spėlioti.
Daugelis praleidžia skirtumą tarp search ir ai-input. Jei norite, kad jūsų puslapiai būtų naudojami DI atsakymuose, vien search=yes to nepasako. Tai pasako ai-input=yes.
Kaip robots.txt faile parašyti Content-Signal eilutę?
Content-Signal rašoma user agent grupės viduje, šalia Allow ir Disallow, signalus atskiriant kableliais. contentsignals.org taip pat rodo formą, prasidedančią keliu, todėl viena svetainės dalis gali turėti kitokius signalus nei likusi:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow ir Disallow veikia lygiai taip pat kaip anksčiau, o Content-Signal jų nepakeičia. RFC 9309 leidžia robotams interpretuoti protokolui nepriklausančius įrašus, jei tai netrukdo apibrėžtoms taisyklėms, todėl šios eilutės nežinantis analizatorius turėtų ją praleisti.
Verta žinoti dvi detales. Pirma, eilutė priklauso grupei. Pagal RFC 9309 robotas, turintis grupę su savo pavadinimu, User-agent: * grupės visiškai nepaiso, o Content Signals puslapiuose jokia išimtis šiai eilutei neaprašyta. Jei Googlebot ar OAI-SearchBot skiriate atskirą grupę, pakartokite Content-Signal eilutę ir ten, kaip tai daro contentsignals.org savo pavyzdyje atskiriems robotams. Antra, Google Search Console šiai eilutei gali rodyti Syntax not understood. Cloudflare dokumentacijoje tai paminėta ir teigiama, kad poveikio naršymui ar SEO nepastebėta. Google robots.txt dokumentacijoje palaikomais laukais nurodyti tik user-agent, allow, disallow ir sitemap.
Ką sako politikos tekstas virš eilutės?
Content Signals Policy yra daugiau nei viena eilutė. Cloudflare generatorius contentsignals.org ir jos valdomas robots.txt virš signalų įdeda komentarų bloką. Jis prasideda teiginiu, kad kaip svetainės pasiekimo sąlygą jūs sutinkate laikytis turinio signalų, tada apibrėžia tris signalus ir atvejus yes, no bei praleistą signalą.
Baigiasi jis didžiosiomis raidėmis parašytu sakiniu, kad bet kokie turinio signalais išreikšti apribojimai yra aiškios teisių išlygos pagal ES direktyvos 2019/790 dėl autorių teisių bendrojoje skaitmeninėje rinkoje 4 straipsnį. Cloudflare pranešime priduriama, kad signalai įvairiose jurisdikcijose gali turėti teisinę galią.
Pati contentsignals.org įspėja, kad teismai ir reguliuotojai gali nuspręsti, jog robots.txt failai nesukuria vykdytinų teisinių įsipareigojimų, ir siūlo pasitarti su teisininku. Komentarų bloką laikykite rašytiniu savo pozicijos pareiškimu, o ne sutartimi.
Ar Content-Signal jau yra mano robots.txt?
Jei jūsų svetainė naudoja Cloudflare, gali būti, vienu iš dviejų būdų:
- Valdomas robots.txt. Kai įjungtas Bot Preference Sync ir bent viena AI Crawler and Agent access politika nustatyta į Block, Block on pages with ads arba, Training atveju, į Disallow, Cloudflare robots.txt, kurį siunčia jūsų serveris, pradžioje prideda valdomą bloką. Jame yra politikos tekstas,
Content-signal: search=yes, ai-train=no, use=referencepoUser-Agent: *irDisallow: /robotamsAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotirmeta-externalagent. - Visai nėra robots.txt. Cloudflare teigia, kad Free plano domenai, neturintys savo robots.txt ir nenaudojantys valdomos funkcijos, robotui užklausus
/robots.txtparodo Content Signals Policy. Ši versija turi apibrėžimus, bet nenurodo jokio pageidavimo.
Dalis use=reference yra nauja. Cloudflare use apibūdina kaip neprivalomą ketvirtą lauką, kurį bando, su trimis reikšmėmis: immediate (sąveikauti, bet nieko nesaugoti ir nenaudoti pakartotinai), reference (indeksuoti, pateikti ištrauką ir nurodyti nuorodą atgal) ir full (apibendrinti ir atkurti). Tai nėra vienas iš trijų pradinių signalų, ir jokioje mūsų patikrintoje robotų dokumentacijoje jis neminimas.
Kadangi Cloudflare šias eilutes prideda tinklo krašte, failas jūsų saugykloje gali atrodyti nepakitęs, o robotų gaunamas failas būti kitoks. Prieš pridėdami savo eilutę atsisiųskite veikiantį https://yourdomain.com/robots.txt, kad atsakyme nebūtų dviejų skirtingų politikų.
Didelėse svetainėse paplitimas vis dar mažas. Mūsų 2026 m. lapkričio tyrime, apėmusiame 1 000 populiariausių domenų, iš 518 svetainių, pateikusių robots.txt, 18 (3,5 %) naudojo Content-Signal.
Ar DI robotai laikosi Content-Signal?
Pagal jokią mūsų rastą dokumentaciją – ne. 2026 m. lapkričio 17 d. patikrinome OpenAI, Anthropic, Google ir Perplexity robotų puslapius, ir nė viename neminimas Content-Signal. Pati Cloudflare signalus apibūdina kaip pageidavimus, o ne techninę apsaugą nuo duomenų rinkimo, ir teigia, kad kai kurios bendrovės gali jų tiesiog nepaisyti.
Vietoj to DI bendrovės aprašė atskirą mechanizmą, paremtą IETF AI Preferences darbo grupės darbu: politikos žetoną __usage_ai-training, rašomą kaip įprasta User-Agent grupė. Jis apima tik mokymą, o jį apibrėžiančiame Internet-Draft rašoma, kad User-Agent: * grupė nelaikoma šio žetono naudojimu:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Palaikymas netolygus ir iš dalies dar ateityje. Anthropic teigia, kad nuo 2026 m. spalio 30 d. atpažįsta bendrą mašinomis skaitomą mokymo signalą, jį diegia palaipsniui, o taisyklė, nurodanti ClaudeBot, turi pirmenybę. Microsoft aprašė __usage_ai-training žetoną Bing, o nauji jos pageidavimai įsigalios, kai puslapiai bus naršomi nuo 2027 m. vasario 1 d. Google teigia, kad bendrą valdymą siekia palaikyti 2027 m. ir planuoja per jį išreikštą mokymo atsisakymą laikyti Google-Extended draudimu, kai tas žetonas nenurodytas. OpenAI tą pačią dieną paskelbė pranešimą, kad laikysis bendro signalo, bet datos nenurodė.
Taigi ai-train=no ir __usage_ai-training sako panašius dalykus, bet tik antrasis turi DI bendrovių aprašytą palaikymą. Šiandien kiekvieno tiekėjo taikomos valdymo priemonės tebėra atskirų robotų žetonai, tokie kaip GPTBot ir ClaudeBot.
Ar turėčiau pridėti Content-Signal į savo robots.txt?
Pridėkite, jei norite savo naudojimo politiką užrašyti vienoje vietoje, kurią gali perskaityti ir mašinos, ir žmonės. Ji taip pat viena eilute nurodo ai-input pageidavimą visiems robotams, o tiekėjų žetonais tai galima išreikšti tik kiekvienam robotui atskirai. Tai kainuoja vieną eilutę, o jos nežinantys analizatoriai ją praleidžia.
Nepasikliaukite vien ja. Norėdami, kad turinys nepatektų į mokymą, uždrauskite ir aprašytus mokymo žetonus bei apsvarstykite bendrą mokymo žetoną; mūsų vadove, kaip blokuoti DI mokymą, bet likti DI paieškoje, žetonai išvardyti pagal tiekėją. Viskam, kas nepaiso robots.txt, blokavimą užtikrina tik ugniasienės taisyklė.
Galiausiai patikrinkite, ar eilutė dera su likusiu failu. ai-input=no šalia Allow grupės OAI-SearchBot ar PerplexityBot siunčia prieštaringą žinią: įleidžiate DI paieškos robotus, bet sakote, kad jų atsakymai negali naudoti to, ką jie atsisiunčia.
Kaip patikrinti, ką mano robots.txt sako kiekvienam robotui?
Nemokamas AISeeWhy robots.txt testeris priima puslapio adresą arba įklijuotą robots.txt ir kiekvienam DI bei paieškos robotui parodo, ar tą puslapį galima atsisiųsti, todėl galite įsitikinti, kad veikiantis failas, įskaitant tai, ką pradžioje pridėjo Cloudflare, sako tai, ką norėjote. Nemokamas robots.txt generatorius parašo failą pagal jūsų pasirinkimus.
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Ar Content-Signal yra robots.txt standarto dalis?
Ne. RFC 9309 apibrėžia User-agent, Allow ir Disallow ir leidžia robotams interpretuoti kitus įrašus. Content-Signal kilęs iš Cloudflare Content Signals Policy, išleistos su CC0 licencija. Atskirai IETF AI Preferences darbo grupė rengia savo Content-Usage taisyklę robots.txt, kuri tebėra Internet-Draft, o ne standartas.
Ar ai-train=no sustabdo GPTBot ar ClaudeBot?
Pagal tiekėjų dokumentaciją – ne. OpenAI ir Anthropic aprašo valdymą robots.txt taisyklėmis, nurodančiomis GPTBot ir ClaudeBot, ir nė viename robotų puslapyje neminimas Content-Signal. Norėdami atsisakyti mokymo bet kurioje iš jų, uždrauskite žetoną pagal pavadinimą.
Kuo skiriasi Content-Signal ir __usage_ai-training?
Content-Signal yra eilutė grupės viduje ir apima paiešką, DI įvestį ir mokymą. __usage_ai-training yra politikos žetonas, naudojamas kaip atskira User-Agent grupė, ir apima tik mokymą. Anthropic, Microsoft, Google ir OpenAI paskelbė pareiškimus apie bendrą mokymo signalą; nė viena neaprašo Content-Signal.
Kodėl Google Search Console rodo Syntax not understood?
Google robots.txt dokumentacija palaiko tik user-agent, allow, disallow ir sitemap, todėl kitos eilutės gali būti pažymėtos. Cloudflare teigia, kad dėl šių pranešimų poveikio naršymo dažniui ar SEO nepastebėjo.
Ką reiškia use=reference?
Tai ketvirtas laukas, kurį bando Cloudflare. reference reiškia indeksuoti, pateikti ištrauką ir nurodyti nuorodą atgal. Cloudflare jį prideda prie valdomų robots.txt failų, ir jokioje mūsų patikrintoje robotų dokumentacijoje jis neminimas.
Šaltiniai
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: DI robotų prieigos ataskaita, 2026-11