Çfarë është Content-Signal në robots.txt dhe a e ndjek dikush?

Publikuar

Përgjigje e shkurtër

Content-Signal është një rresht opsional në robots.txt, i publikuar nga Cloudflare, që tregon si mund të përdoret përmbajtja juaj pasi merret: search për rezultatet e kërkimit, ai-input për futjen në përgjigjet e AI dhe ai-train për trajnimin e modeleve, secili me vlerën yes ose no, si në Content-Signal: search=yes, ai-input=yes, ai-train=no. Shpreh një preferencë dhe nuk bllokon asgjë. Në nëntor 2026, asnjë nga faqet për zvarritësit e OpenAI, Anthropic, Google ose Perplexity nuk thotë se e lexon, ndërsa kompanitë e mëdha të AI kanë mbështetur një token tjetër, vetëm për trajnimin.

robots.txt u ndërtua për të thënë ku mund të shkojë një zvarritës, jo çfarë mund të bëhet me atë që lexon. Kur e njëjta marrje mund të ushqente një indeks kërkimi, një përgjigje AI në kohë reale dhe një grup trajnimi, ky boshllëk filloi të kishte rëndësi. Cloudflare publikoi Content Signals Policy më 24 shtator 2025 me licencë CC0 për ta mbushur, dhe tha atëherë se klientët e tij kishin aktivizuar tashmë robots.txt të menaxhuar për mbi 3,8 milionë domene, një funksion që tani ua shton rreshtin.

Në këtë faqe
  1. Çfarë do të thonë search, ai-input dhe ai-train?
  2. Si ta shkruaj një rresht Content-Signal në robots.txt?
  3. Çfarë thotë teksti i politikës mbi rresht?
  4. A është Content-Signal tashmë në robots.txt tim?
  5. A e ndjekin zvarritësit AI Content-Signal?
  6. A duhet ta shtoj Content-Signal në robots.txt tim?
  7. Si ta kontrolloj çfarë i thotë robots.txt im çdo zvarritësi?

Çfarë do të thonë search, ai-input dhe ai-train?

Politika përcakton tre sinjale. Formulimi më poshtë ndjek contentsignals.org dhe tekstin e politikës që publikon Cloudflare:

Çdo sinjal merr yes ose no. Në termat e politikës, yes do të thotë se përmbajtja mund të mblidhet për atë përdorim, no do të thotë se nuk mund, dhe një sinjal që e lini jashtë as e lejon, as e kufizon atë përdorim. Parazgjedhja e Cloudflare vendos search dhe ai-train dhe e lë ai-input pa vlerë, sepse thotë se nuk e di preferencën e çdo klienti për atë sinjal dhe nuk do të hamendësojë.

Ndarja mes search dhe ai-input është ajo që shumica e njerëzve nuk e vënë re. Nëse doni që faqet tuaja të përdoren në përgjigjet e AI, vetëm search=yes nuk e thotë këtë. ai-input=yes po.

Si ta shkruaj një rresht Content-Signal në robots.txt?

Content-Signal vendoset brenda një grupi user agent, pranë Allow dhe Disallow, me sinjalet të ndara me presje. contentsignals.org tregon edhe një formë që fillon me një shteg, që një seksion i sajtit të ketë sinjale të ndryshme nga pjesa tjetër:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow dhe Disallow vazhdojnë të funksionojnë njësoj si më parë, dhe Content-Signal nuk i zëvendëson. RFC 9309 u lejon zvarritësve të interpretojnë regjistrime që nuk janë pjesë e protokollit, për sa kohë që kjo nuk ndërhyn në rregullat e përcaktuara, prandaj një parser që nuk e njeh rreshtin duhet ta kapërcejë.

Dy detaje ia vlen t'i dini. Së pari, rreshti i përket një grupi. Sipas RFC 9309, një zvarritës që ka një grup me emrin e vet e injoron plotësisht grupin User-agent: *, dhe faqet e Content Signals nuk përshkruajnë asnjë përjashtim për këtë rresht. Nëse i jepni Googlebot ose OAI-SearchBot një grup të vetin, përsëriteni rreshtin Content-Signal atje, siç bën contentsignals.org në shembullin e tij për çdo zvarritës. Së dyti, Google Search Console mund të raportojë Syntax not understood për rreshtin. Dokumentacioni i Cloudflare e përmend këtë dhe thotë se nuk ka vënë re ndikim në zvarritje ose SEO. Dokumentacioni i Google për robots.txt liston vetëm user-agent, allow, disallow dhe sitemap si fusha të mbështetura.

Çfarë thotë teksti i politikës mbi rresht?

Content Signals Policy është më shumë se një rresht. Gjeneruesi i Cloudflare në contentsignals.org dhe robots.txt i tij i menaxhuar vendosin të dy një bllok komentesh mbi sinjalet. Ai nis duke thënë se, si kusht për qasjen në sajt, ju pranoni t'u përmbaheni content signals, pastaj përcakton tre sinjalet dhe rastet yes, no dhe mungesën e vlerës.

Mbaron me një fjali me shkronja të mëdha që thotë se çdo kufizim i shprehur përmes content signals është rezervim i shprehur i të drejtave sipas nenit 4 të Direktivës së BE-së 2019/790 për të drejtën e autorit në Tregun e Vetëm Dixhital. Njoftimi i Cloudflare shton se sinjalet mund të kenë peshë ligjore në juridiksione të ndryshme.

Vetë contentsignals.org paralajmëron se gjykatat dhe rregullatorët mund të arrijnë në përfundimin se skedarët robots.txt nuk vendosin detyrime ligjore të zbatueshme, dhe sugjeron të konsultoheni me një jurist. Trajtojeni bllokun e komenteve si deklaratë me shkrim të qëndrimit tuaj, jo si kontratë.

A është Content-Signal tashmë në robots.txt tim?

Nëse sajti juaj është në Cloudflare, mund të jetë, në një nga dy mënyrat:

Pjesa use=reference është e re. Cloudflare e përshkruan use si një fushë të katërt opsionale që po e teston, me tri vlera: immediate (ndërvepro, por mos ruaj e mos ripërdor asgjë), reference (indekso, merr fragment dhe lidh mbrapsht) dhe full (përmblidh dhe riprodho). Nuk është një nga tre sinjalet origjinale, dhe asnjë nga dokumentacionet e zvarritësve që kontrolluam nuk e përmend.

Meqë Cloudflare i shton këto rreshta në edge, skedari në repository tuaj mund të duket i pandryshuar ndërsa skedari që marrin zvarritësit është ndryshe. Merrni https://yourdomain.com/robots.txt live para se të shtoni rreshtin tuaj, që përgjigjja të mos shprehë dy politika të ndryshme.

Përdorimi është ende i ulët mes sajteve të mëdha. Në studimin tonë të nëntorit 2026 të 1.000 domeneve më të njohura, 18 nga 518 sajtet që shërbenin robots.txt (3,5%) përdornin Content-Signal.

A e ndjekin zvarritësit AI Content-Signal?

Jo sipas asnjë dokumentacioni që gjetëm. Më 17 nëntor 2026 kontrolluam faqet për zvarritësit e OpenAI, Anthropic, Google dhe Perplexity, dhe asnjëra nuk e përmend Content-Signal. Vetë Cloudflare i përshkruan sinjalet si preferenca, jo si kundërmasa teknike kundër scraping-ut, dhe thotë se disa kompani mund thjesht t'i injorojnë.

Ajo që kompanitë e AI kanë dokumentuar në vend të kësaj është një mekanizëm i veçantë i bazuar në punën e grupit të punës IETF AI Preferences: një token politike, __usage_ai-training, i shkruar si grup i zakonshëm User-Agent. Ai mbulon vetëm trajnimin, dhe Internet-Draft-i që e përcakton thotë se një grup User-Agent: * nuk llogaritet si përdorim i token-it:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Mbështetja është e pabarabartë dhe pjesërisht ende në rrugë. Anthropic thotë se e njeh një sinjal të përgjithshëm trajnimi të lexueshëm nga makina që nga 30 tetori 2026, po e zbaton gradualisht, dhe se një rregull që përmend ClaudeBot ka përparësi ndaj tij. Microsoft dokumenton token-in __usage_ai-training për Bing, me preferencat e reja që hyjnë në fuqi ndërsa faqet zvarriten nga 1 shkurti 2027. Google thotë se synon ta mbështesë kontrollin e përbashkët në 2027 dhe planifikon ta trajtojë një refuzim të trajnimit përmes tij si ndalim të Google-Extended kur ai token nuk përmendet. OpenAI publikoi të njëjtën ditë një njoftim se do ta respektojë sinjalin e përbashkët, pa datë.

Pra ai-train=no dhe __usage_ai-training thonë gjëra të ngjashme, por vetëm i dyti ka mbështetje të dokumentuar nga kompanitë e AI. Token-at për çdo zvarritës, si GPTBot dhe ClaudeBot, mbeten kontrollet që zbaton sot çdo ofrues.

A duhet ta shtoj Content-Signal në robots.txt tim?

Shtojeni nëse doni që politika juaj e përdorimit të jetë e shkruar në një vend që e lexojnë makinat dhe njerëzit. Ai shpreh gjithashtu një preferencë ai-input për çdo zvarritës në një rresht të vetëm, gjë që token-at e ofruesve mund ta shprehin vetëm zvarritës pas zvarritësi. Kushton një rresht, dhe parser-at që nuk e njohin e kapërcejnë.

Mos u mbështetni vetëm te ai. Për ta mbajtur përmbajtjen jashtë trajnimit, ndaloni edhe token-at e dokumentuar të trajnimit dhe merrni parasysh token-in e përbashkët të trajnimit; udhëzuesi ynë për bllokimin e trajnimit të AI duke mbetur në kërkimin me AI liston token-at sipas ofruesit. Për çdo gjë që e injoron robots.txt, vetëm një rregull firewall-i e zbaton bllokimin.

Së fundi, kontrolloni që rreshti të përputhet me pjesën tjetër të skedarit. ai-input=no pranë një grupi Allow për OAI-SearchBot ose PerplexityBot dërgon mesazhe kontradiktore: i lini zvarritësit e kërkimit AI të hyjnë, ndërsa thoni se përgjigjet e tyre nuk mund të përdorin atë që marrin.

Si ta kontrolloj çfarë i thotë robots.txt im çdo zvarritësi?

Testuesi falas i robots.txt i AISeeWhy pranon një adresë faqeje ose një robots.txt të ngjitur dhe tregon, për çdo zvarritës AI dhe kërkimi, nëse ajo faqe mund të merret, që të konfirmoni se skedari live, përfshirë çdo gjë që Cloudflare ka vendosur para tij, thotë atë që keni dashur. Gjeneruesi falas i robots.txt shkruan një skedar sipas zgjedhjeve tuaja.

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

A është Content-Signal pjesë e standardit robots.txt?

Jo. RFC 9309 përcakton User-agent, Allow dhe Disallow dhe u lejon zvarritësve të interpretojnë regjistrime të tjera. Content-Signal vjen nga Content Signals Policy e Cloudflare, e publikuar me licencë CC0. Veçmas, grupi i punës IETF AI Preferences po harton rregullin e vet Content-Usage për robots.txt, që është ende Internet-Draft, jo standard.

A e ndalon ai-train=no GPTBot ose ClaudeBot?

Jo sipas dokumentacionit të ofruesve. OpenAI dhe Anthropic e përshkruajnë kontrollin përmes rregullave robots.txt që përmendin GPTBot dhe ClaudeBot, dhe asnjëra faqe për zvarritësit nuk e përmend Content-Signal. Për të refuzuar trajnimin me secilin prej tyre, ndaloni token-in me emër.

Cili është ndryshimi mes Content-Signal dhe __usage_ai-training?

Content-Signal është një rresht brenda një grupi dhe mbulon kërkimin, hyrjen në AI dhe trajnimin. __usage_ai-training është një token politike që përdoret si grup më vete User-Agent dhe mbulon vetëm trajnimin. Anthropic, Microsoft, Google dhe OpenAI kanë publikuar deklarata për sinjalin e përbashkët të trajnimit; asnjëri nuk e dokumenton Content-Signal.

Pse Google Search Console thotë Syntax not understood?

Dokumentacioni i Google për robots.txt mbështet vetëm user-agent, allow, disallow dhe sitemap, prandaj rreshtat e tjerë mund të shënohen. Cloudflare thotë se nuk ka vënë re ndikim në shpejtësinë e zvarritjes ose në SEO nga këto raporte.

Çfarë do të thotë use=reference?

Është një fushë e katërt që Cloudflare po e teston. reference do të thotë indekso, merr fragment dhe lidh mbrapsht. Cloudflare e shton në skedarët e menaxhuar robots.txt, dhe asnjë dokumentacion zvarritësish që kontrolluam nuk e përmend.

Burimet

Më shumë artikuj