Ce este Content-Signal în robots.txt și îl respectă cineva?
Content-Signal este o linie opțională din robots.txt, publicată de Cloudflare, care spune cum poate fi folosit conținutul tău după ce a fost descărcat: search pentru rezultatele de căutare, ai-input pentru folosirea lui în răspunsurile AI și ai-train pentru antrenarea modelelor, fiecare cu valoarea yes sau no, ca în Content-Signal: search=yes, ai-input=yes, ai-train=no. Exprimă o preferință și nu blochează nimic. În noiembrie 2026, niciuna dintre paginile despre crawlere ale OpenAI, Anthropic, Google sau Perplexity nu spune că o citește, iar marile companii AI au susținut în schimb un alt token, doar pentru antrenare.
robots.txt a fost creat ca să spună unde poate merge un crawler, nu ce se poate face cu ce citește. Când aceeași descărcare a ajuns să alimenteze un index de căutare, un răspuns AI în timp real și un set de antrenare, golul acesta a început să conteze. Cloudflare a publicat Content Signals Policy pe 24 septembrie 2025, sub licență CC0, ca să-l acopere, și a spus atunci că clienții săi activaseră deja robots.txt gestionat pentru peste 3,8 milioane de domenii, o funcție care acum adaugă linia în locul lor.
Pe această pagină
- Ce înseamnă search, ai-input și ai-train?
- Cum scriu o linie Content-Signal în robots.txt?
- Ce spune textul politicii de deasupra liniei?
- Este Content-Signal deja în robots.txt-ul meu?
- Respectă crawlerele AI Content-Signal?
- Ar trebui să adaug Content-Signal în robots.txt?
- Cum verific ce le spune robots.txt fiecărui crawler?
Ce înseamnă search, ai-input și ai-train?
Politica definește trei semnale. Formulările de mai jos urmează contentsignals.org și textul politicii publicat de Cloudflare:
search: construirea unui index de căutare și furnizarea de rezultate de căutare, de exemplu întoarcerea de hyperlinkuri și fragmente scurte din paginile tale. Definiția spune că search nu include rezumatele de căutare generate de AI.ai-input: introducerea conținutului în unul sau mai multe modele AI, de exemplu retrieval augmented generation, grounding sau altă folosire în timp real a conținutului pentru răspunsuri de căutare cu AI generativ.ai-train: antrenarea sau ajustarea fină (fine-tuning) a modelelor AI.
Fiecare semnal primește yes sau no. În termenii politicii, yes înseamnă că acel conținut poate fi colectat pentru utilizarea respectivă, no înseamnă că nu poate, iar un semnal omis nici nu acordă, nici nu restricționează acea utilizare. Setarea implicită Cloudflare definește search și ai-train și lasă ai-input nesetat, pentru că, spune compania, nu cunoaște preferința fiecărui client pentru acest semnal și nu vrea să ghicească.
Separarea dintre search și ai-input este cea pe care o ratează cei mai mulți. Dacă vrei ca paginile tale să fie folosite în răspunsurile AI, search=yes singur nu spune asta. ai-input=yes o spune.
Cum scriu o linie Content-Signal în robots.txt?
Content-Signal se pune într-un grup de user agent, lângă Allow și Disallow, cu semnalele separate prin virgule. contentsignals.org arată și o formă care începe cu o cale, astfel încât o secțiune a site-ului să aibă alte semnale decât restul:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow și Disallow funcționează exact ca înainte, iar Content-Signal nu le înlocuiește. RFC 9309 permite crawlerelor să interpreteze înregistrări care nu fac parte din protocol, cât timp asta nu interferează cu regulile definite, așa că un parser care nu cunoaște linia ar trebui s-o sară.
Merită să știi două detalii. Primul: linia aparține unui grup. Conform RFC 9309, un crawler care are un grup cu propriul nume ignoră complet grupul User-agent: *, iar paginile Content Signals nu descriu nicio excepție pentru această linie. Dacă le dai lui Googlebot sau OAI-SearchBot un grup propriu, repetă acolo linia Content-Signal, cum face contentsignals.org în exemplul său pe crawler. Al doilea: Google Search Console poate raporta Syntax not understood pentru linie. Documentația Cloudflare menționează asta și spune că nu a observat niciun impact asupra accesării sau asupra SEO. Documentația Google despre robots.txt enumeră doar user-agent, allow, disallow și sitemap drept câmpuri acceptate.
Ce spune textul politicii de deasupra liniei?
Content Signals Policy înseamnă mai mult decât o linie. Generatorul Cloudflare de pe contentsignals.org și robots.txt gestionat pun amândouă un bloc de comentarii deasupra semnalelor. Acesta începe prin a spune că, drept condiție pentru accesarea site-ului, ești de acord să respecți semnalele de conținut, apoi definește cele trei semnale și cazurile yes, no și lipsă.
Se încheie cu o propoziție scrisă cu majuscule, care afirmă că orice restricții exprimate prin semnale de conținut sunt rezervări exprese de drepturi în temeiul articolului 4 din Directiva (UE) 2019/790 privind dreptul de autor pe piața unică digitală. Anunțul Cloudflare adaugă că semnalele pot avea greutate juridică în diverse jurisdicții.
contentsignals.org avertizează chiar el că instanțele și autoritățile de reglementare ar putea concluziona că fișierele robots.txt nu impun obligații juridice executorii și sugerează consultarea unui avocat. Tratează blocul de comentarii ca pe o declarație scrisă a poziției tale, nu ca pe un contract.
Este Content-Signal deja în robots.txt-ul meu?
Dacă site-ul tău este pe Cloudflare, se poate, în unul din două moduri:
- Robots.txt gestionat. Când Bot Preference Sync este activat și cel puțin o AI Crawler and Agent access policy este setată pe Block, Block on pages with ads sau, pentru Training, Disallow, Cloudflare pune un bloc gestionat înaintea robots.txt pe care îl trimite serverul tău. Acesta conține textul politicii,
Content-signal: search=yes, ai-train=no, use=referencesubUser-Agent: *șiDisallow: /pentruAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotșimeta-externalagent. - Niciun robots.txt. Cloudflare spune că domeniile de pe planul Free care nu au un robots.txt propriu și nu folosesc funcția gestionată afișează Content Signals Policy când un crawler cere
/robots.txt. Versiunea aceasta conține definițiile, dar nu exprimă nicio preferință.
Partea use=reference este recentă. Cloudflare descrie use ca pe un al patrulea câmp opțional pe care îl testează, cu trei valori: immediate (interacționează, dar nu stoca și nu reutiliza nimic), reference (indexează, citează fragmente și pune link înapoi) și full (rezumă și reproduce). Nu este unul dintre cele trei semnale originale, iar niciuna dintre documentațiile de crawlere pe care le-am verificat nu îl menționează.
Pentru că Cloudflare adaugă aceste linii la edge, fișierul din repository poate părea neschimbat, în timp ce fișierul primit de crawlere este diferit. Descarcă https://yourdomain.com/robots.txt live înainte să adaugi propria linie, ca răspunsul să nu exprime două politici diferite.
Adoptarea este încă redusă printre site-urile mari. În studiul nostru din noiembrie 2026 asupra celor mai populare 1.000 de domenii, 18 din cele 518 site-uri care aveau un robots.txt (3,5%) foloseau Content-Signal.
Respectă crawlerele AI Content-Signal?
Nu, potrivit oricărei documentații pe care am găsit-o. Pe 17 noiembrie 2026 am verificat paginile despre crawlere ale OpenAI, Anthropic, Google și Perplexity, și niciuna nu menționează Content-Signal. Cloudflare însuși descrie semnalele ca preferințe, nu ca măsuri tehnice împotriva scrapingului, și spune că unele companii le-ar putea pur și simplu ignora.
Ce au documentat în schimb companiile AI este un mecanism separat, bazat pe munca grupului de lucru AI Preferences al IETF: un token de politică, __usage_ai-training, scris ca un grup User-Agent obișnuit. Acoperă doar antrenarea, iar Internet-Draft-ul care îl definește spune că un grup User-Agent: * nu contează ca folosire a tokenului:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Suportul este inegal și parțial abia urmează. Anthropic spune că recunoaște un semnal general de antrenare, citibil de mașini, din 30 octombrie 2026, că îl introduce treptat și că o regulă care îl numește pe ClaudeBot are prioritate față de el. Microsoft documentează tokenul __usage_ai-training pentru Bing, noile preferințe aplicându-se pe măsură ce paginile sunt accesate începând cu 1 februarie 2027. Google spune că își propune să susțină controlul comun în 2027 și plănuiește să trateze o renunțare la antrenare exprimată prin el ca pe o interdicție pentru Google-Extended atunci când acel token nu este numit. OpenAI a publicat în aceeași zi un anunț în care spune că va respecta semnalul comun, fără o dată.
Așadar ai-train=no și __usage_ai-training spun lucruri asemănătoare, dar doar al doilea are suport documentat din partea companiilor AI. Tokenurile pe crawler, precum GPTBot și ClaudeBot, rămân controalele pe care fiecare furnizor le aplică azi.
Ar trebui să adaug Content-Signal în robots.txt?
Adaugă-l dacă vrei ca politica ta de utilizare să fie scrisă într-un singur loc, pe care îl pot citi și mașinile, și oamenii. Exprimă și o preferință ai-input pentru toate crawlerele într-o singură linie, lucru pe care tokenurile furnizorilor îl pot exprima doar crawler cu crawler. Costă o linie, iar parserele care nu o cunosc o sar.
Nu te baza doar pe el. Ca să ții conținutul în afara antrenării, interzice și tokenurile de antrenare documentate și ia în calcul tokenul comun de antrenare; ghidul nostru despre blocarea antrenării AI cu păstrarea prezenței în căutarea AI enumeră tokenurile pentru fiecare furnizor. Pentru tot ce ignoră robots.txt, doar o regulă de firewall impune efectiv o blocare.
În final, verifică dacă linia se potrivește cu restul fișierului. ai-input=no lângă un grup Allow pentru OAI-SearchBot sau PerplexityBot transmite mesaje contradictorii: lași crawlerele de căutare AI să intre, dar spui că răspunsurile lor nu pot folosi ce descarcă.
Cum verific ce le spune robots.txt fiecărui crawler?
Verificatorul robots.txt gratuit de la AISeeWhy primește adresa unei pagini sau un robots.txt lipit și arată, pentru fiecare crawler AI și de căutare, dacă acea pagină poate fi descărcată, ca să confirmi că fișierul live, inclusiv ce a pus Cloudflare înainte, spune ce ai vrut. Generatorul robots.txt gratuit scrie un fișier pe baza alegerilor tale.
Pașii următori
- robots.txt tester și verificator pentru crawlere AI
- Vezi un exemplu de raport complet
- Monitorizarea crawlerelor AI
- Planuri și prețuri
Crawlere din acest articol
Întrebări frecvente
Face Content-Signal parte din standardul robots.txt?
Nu. RFC 9309 definește User-agent, Allow și Disallow și permite crawlerelor să interpreteze alte înregistrări. Content-Signal vine din Content Signals Policy a Cloudflare, publicată sub licență CC0. Separat, grupul de lucru AI Preferences al IETF redactează propria regulă Content-Usage pentru robots.txt, care este încă un Internet-Draft, nu un standard.
Oprește ai-train=no pe GPTBot sau ClaudeBot?
Nu, după cât documentează furnizorii. OpenAI și Anthropic descriu controlul prin reguli robots.txt care îi numesc pe GPTBot și ClaudeBot, iar niciuna dintre paginile acestor crawlere nu menționează Content-Signal. Ca să renunți la antrenare la oricare dintre ei, interzice tokenul după nume.
Care e diferența dintre Content-Signal și __usage_ai-training?
Content-Signal este o linie dintr-un grup și acoperă căutarea, intrarea pentru AI și antrenarea. __usage_ai-training este un token de politică folosit ca grup User-Agent separat și acoperă doar antrenarea. Anthropic, Microsoft, Google și OpenAI au publicat declarații despre semnalul comun de antrenare; niciuna nu documentează Content-Signal.
De ce spune Google Search Console Syntax not understood?
Documentația Google despre robots.txt acceptă doar user-agent, allow, disallow și sitemap, așa că alte linii pot fi semnalate. Cloudflare spune că nu a observat niciun impact al acestor rapoarte asupra ratei de accesare sau asupra SEO.
Ce înseamnă use=reference?
Este un al patrulea câmp pe care Cloudflare îl testează. reference înseamnă indexare, fragmente citate și link înapoi. Cloudflare îl adaugă în fișierele robots.txt gestionate, iar nicio documentație de crawler pe care am verificat-o nu îl menționează.
Surse
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: raport privind accesul crawlerelor AI, 2026-11