robots.txtમાં Content-Signal શું છે, અને શું કોઈ તેનું પાલન કરે છે?
Content-Signal Cloudflareએ પ્રકાશિત કરેલી robots.txtની વૈકલ્પિક લાઇન છે, જે જણાવે છે કે તમારું કન્ટેન્ટ મેળવ્યા પછી તેનો ઉપયોગ કેવી રીતે થઈ શકે: સર્ચ પરિણામો માટે search, AI જવાબોમાં ઇનપુટ તરીકે ai-input અને મૉડલ ટ્રેનિંગ માટે ai-train, દરેક yes કે no પર સેટ, જેમ કે Content-Signal: search=yes, ai-input=yes, ai-train=no. તે પસંદગી વ્યક્ત કરે છે અને કંઈ બ્લૉક કરતી નથી. નવેમ્બર 2026 સુધી, OpenAI, Anthropic, Google કે Perplexityનાં ક્રૉલર પેજમાંથી કોઈ એમ કહેતું નથી કે તે આ લાઇન વાંચે છે, જ્યારે મોટી AI કંપનીઓએ તેના બદલે ફક્ત ટ્રેનિંગ માટેના બીજા ટોકનને ટેકો આપ્યો છે.
robots.txt એ જણાવવા બની હતી કે ક્રૉલર ક્યાં જઈ શકે, એ નહીં કે તે જે વાંચે તેનું શું થઈ શકે. જ્યારે એક જ મેળવણી સર્ચ ઇન્ડેક્સ, લાઇવ AI જવાબ અને ટ્રેનિંગ સેટ ત્રણેયમાં જઈ શકતી થઈ, ત્યારે આ ખામી મહત્ત્વની બની. તેને ભરવા Cloudflareએ 24 સપ્ટેમ્બર 2025ના રોજ CC0 લાઇસન્સ હેઠળ Content Signals Policy પ્રકાશિત કરી, અને ત્યારે કહ્યું કે તેના ગ્રાહકોએ 3.8 મિલિયન (38 લાખ)થી વધુ ડોમેન માટે managed robots.txt ચાલુ કરી દીધી છે, એક એવી સુવિધા જે હવે તેમના માટે આ લાઇન ઉમેરે છે.
આ પેજ પર
- search, ai-input અને ai-train નો અર્થ શું છે?
- robots.txtમાં Content-Signal લાઇન કેવી રીતે લખવી?
- લાઇનની ઉપરનું policy લખાણ શું કહે છે?
- શું Content-Signal પહેલેથી મારી robots.txtમાં છે?
- શું AI ક્રૉલર Content-Signal નું પાલન કરે છે?
- શું મારે મારી robots.txtમાં Content-Signal ઉમેરવી જોઈએ?
- મારી robots.txt દરેક ક્રૉલરને શું કહે છે તે કેવી રીતે તપાસવું?
search, ai-input અને ai-train નો અર્થ શું છે?
આ policy ત્રણ સિગ્નલ વ્યાખ્યાયિત કરે છે. નીચેના શબ્દો contentsignals.org અને Cloudflare પ્રકાશિત કરે છે તે policy લખાણને અનુસરે છે:
search: સર્ચ ઇન્ડેક્સ બનાવવો અને સર્ચ પરિણામો આપવાં, ઉદાહરણ તરીકે તમારાં પેજની હાઇપરલિંક અને ટૂંકા અંશો બતાવવા. વ્યાખ્યા કહે છે કે search માં AIથી બનેલા સર્ચ સારાંશ સામેલ નથી.ai-input: એક કે વધુ AI મૉડલમાં કન્ટેન્ટ ઇનપુટ તરીકે આપવું, ઉદાહરણ તરીકે retrieval augmented generation, grounding કે generative AI સર્ચ જવાબો માટે કન્ટેન્ટનો બીજો કોઈ રિયલ-ટાઇમ ઉપયોગ.ai-train: AI મૉડલને ટ્રેન કે fine-tune કરવાં.
દરેક સિગ્નલ yes કે no લે છે. policyના શબ્દોમાં, yesનો અર્થ છે કે એ ઉપયોગ માટે કન્ટેન્ટ એકઠું કરી શકાય, noનો અર્થ છે ન કરી શકાય, અને જે સિગ્નલ તમે છોડી દો તે એ ઉપયોગને ન તો મંજૂરી આપે છે ન તો મર્યાદિત કરે છે. Cloudflareનું ડિફૉલ્ટ search અને ai-train સેટ કરે છે અને ai-input ખાલી રાખે છે, કારણ કે તે કહે છે કે આ સિગ્નલ માટે દરેક ગ્રાહકની પસંદગી તે જાણતું નથી અને અનુમાન કરવા માગતું નથી.
search અને ai-input વચ્ચેનો ભેદ મોટા ભાગના લોકો ચૂકી જાય છે. જો તમે ઇચ્છો કે તમારાં પેજ AI જવાબોમાં વપરાય, તો એકલું search=yes એ નથી કહેતું. ai-input=yes કહે છે.
robots.txtમાં Content-Signal લાઇન કેવી રીતે લખવી?
Content-Signal યુઝર એજન્ટ જૂથની અંદર, Allow અને Disallowની બાજુમાં જાય છે, અને સિગ્નલ અલ્પવિરામથી અલગ થાય છે. contentsignals.org પાથથી શરૂ થતું એક સ્વરૂપ પણ બતાવે છે, જેથી સાઇટનો એક ભાગ બાકીના કરતાં અલગ સિગ્નલ રાખી શકે:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow અને Disallow પહેલાંની જેમ જ કામ કરે છે, અને Content-Signal તેમનું સ્થાન લેતી નથી. RFC 9309 ક્રૉલરને પ્રોટોકૉલનો ભાગ ન હોય એવા records નું અર્થઘટન કરવા દે છે, જ્યાં સુધી તે વ્યાખ્યાયિત નિયમોમાં દખલ ન કરે, તેથી જે parser આ લાઇન જાણતો નથી તેણે તેને છોડી દેવી જોઈએ.
બે વિગતો જાણવા જેવી છે. પહેલી, લાઇન કોઈ જૂથની છે. RFC 9309 હેઠળ જે ક્રૉલરનું પોતાના નામનું જૂથ હોય તે User-agent: * જૂથને સંપૂર્ણપણે અવગણે છે, અને Content Signals પેજ આ લાઇન માટે કોઈ અપવાદ વર્ણવતાં નથી. જો તમે Googlebot કે OAI-SearchBotને પોતાનું જૂથ આપો, તો ત્યાં Content-Signal લાઇન ફરી લખો, જેમ contentsignals.org તેના દરેક ક્રૉલર માટેના ઉદાહરણમાં કરે છે. બીજી, Google Search Console આ લાઇન માટે Syntax not understood બતાવી શકે છે. Cloudflareના દસ્તાવેજ આનો ઉલ્લેખ કરે છે અને કહે છે કે ક્રૉલિંગ કે SEO પર કોઈ અસર જોવા મળી નથી. Googleના robots.txt દસ્તાવેજ સપોર્ટેડ ફીલ્ડ તરીકે ફક્ત user-agent, allow, disallow અને sitemap ગણાવે છે.
લાઇનની ઉપરનું policy લખાણ શું કહે છે?
Content Signals Policy એક લાઇન કરતાં વધુ છે. contentsignals.org પરનું Cloudflareનું જનરેટર અને તેની managed robots.txt બંને સિગ્નલની ઉપર કૉમેન્ટનો બ્લૉક મૂકે છે. તે એમ કહીને શરૂ થાય છે કે વેબસાઇટ ઍક્સેસ કરવાની શરત તરીકે તમે content signals નું પાલન કરવા સંમત થાઓ છો, પછી ત્રણ સિગ્નલ અને yes, no અને ગેરહાજર સિગ્નલના કિસ્સા વ્યાખ્યાયિત કરે છે.
તે કૅપિટલ અક્ષરોમાં લખેલા એક વાક્યથી પૂરું થાય છે, જે કહે છે કે content signals દ્વારા વ્યક્ત થયેલા કોઈ પણ પ્રતિબંધો Digital Single Marketમાં કૉપિરાઇટ પરના EU Directive 2019/790ના Article 4 હેઠળ અધિકારોનું સ્પષ્ટ આરક્ષણ છે. Cloudflareની જાહેરાત ઉમેરે છે કે વિવિધ ન્યાયક્ષેત્રોમાં આ સિગ્નલનું કાનૂની વજન હોઈ શકે છે.
contentsignals.org પોતે ચેતવે છે કે અદાલતો અને નિયમનકારો એવા નિષ્કર્ષ પર આવી શકે કે robots.txt ફાઇલો અમલમાં મૂકી શકાય એવી કાનૂની જવાબદારીઓ લાદતી નથી, અને વકીલની સલાહ લેવાનું સૂચવે છે. કૉમેન્ટ બ્લૉકને તમારા વલણના લેખિત નિવેદન તરીકે જુઓ, કરાર તરીકે નહીં.
શું Content-Signal પહેલેથી મારી robots.txtમાં છે?
જો તમારી સાઇટ Cloudflare પર હોય, તો બે રીતે હોઈ શકે છે:
- Managed robots.txt. જ્યારે Bot Preference Sync ચાલુ હોય અને ઓછામાં ઓછી એક AI Crawler and Agent access policy Block, Block on pages with ads કે, Training માટે, Disallow પર સેટ હોય, ત્યારે Cloudflare તમારું સર્વર મોકલે તે robots.txtની શરૂઆતમાં managed બ્લૉક ઉમેરે છે. તેમાં policy લખાણ,
User-Agent: *હેઠળContent-signal: search=yes, ai-train=no, use=reference, અનેAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotઅનેmeta-externalagentમાટેDisallow: /હોય છે. - robots.txt જ નથી. Cloudflare કહે છે કે Free પ્લાન પરના જે ડોમેનની પોતાની robots.txt નથી અને જે managed સુવિધા વાપરતા નથી, તે ક્રૉલર
/robots.txtમાગે ત્યારે Content Signals Policy બતાવે છે. એ વર્ઝનમાં વ્યાખ્યાઓ છે પણ કોઈ પસંદગી જણાવેલી નથી.
use=reference ભાગ નવો છે. Cloudflare useને ત્રણ વૅલ્યૂવાળું વૈકલ્પિક ચોથું ફીલ્ડ ગણાવે છે, જેનું તે પરીક્ષણ કરી રહ્યું છે: immediate (ઇન્ટરૅક્ટ કરો, પણ કંઈ સંગ્રહો કે ફરી વાપરો નહીં), reference (ઇન્ડેક્સ કરો, અંશ લો અને પાછી લિંક આપો) અને full (સારાંશ આપો અને પુનઃઉત્પાદન કરો). તે મૂળ ત્રણ સિગ્નલમાંથી એક નથી, અને અમે તપાસેલા કોઈ ક્રૉલર દસ્તાવેજમાં તેનો ઉલ્લેખ નથી.
Cloudflare આ લાઇનો edge પર ઉમેરે છે, તેથી તમારી repositoryની ફાઇલ બદલાઈ ન હોય એવું લાગે જ્યારે ક્રૉલરને મળતી ફાઇલ અલગ હોય. તમારી પોતાની લાઇન ઉમેરતાં પહેલાં live https://yourdomain.com/robots.txt મેળવો, જેથી જવાબમાં બે અલગ policies ન દેખાય.
મોટી સાઇટમાં તેનો ઉપયોગ હજી ઓછો છે. 1,000 સૌથી લોકપ્રિય ડોમેનના નવેમ્બર 2026ના અમારા અભ્યાસમાં, robots.txt આપતી 518 સાઇટમાંથી 18 (3.5%) Content-Signal વાપરતી હતી.
શું AI ક્રૉલર Content-Signal નું પાલન કરે છે?
અમને મળેલા કોઈ દસ્તાવેજ મુજબ નહીં. 17 નવેમ્બર 2026ના રોજ અમે OpenAI, Anthropic, Google અને Perplexityનાં ક્રૉલર પેજ તપાસ્યાં, અને તેમાંથી કોઈ Content-Signalનો ઉલ્લેખ કરતું નથી. Cloudflare પોતે આ સિગ્નલને પસંદગીઓ તરીકે વર્ણવે છે, scraping સામેના ટેક્નિકલ ઉપાય તરીકે નહીં, અને કહે છે કે કેટલીક કંપનીઓ તેમને સરળતાથી અવગણી શકે છે.
તેના બદલે AI કંપનીઓએ IETF AI Preferences working group ના કામ પર આધારિત એક અલગ પદ્ધતિ દસ્તાવેજિત કરી છે: policy ટોકન __usage_ai-training, જે સામાન્ય User-Agent જૂથ તરીકે લખાય છે. તે ફક્ત ટ્રેનિંગને આવરી લે છે, અને તેને વ્યાખ્યાયિત કરતો Internet-Draft કહે છે કે User-Agent: * જૂથ ટોકનનો ઉપયોગ ગણાતું નથી:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ સપોર્ટ અસમાન છે અને અંશતઃ હજી આવવાનો છે. Anthropic કહે છે કે તે 30 ઑક્ટોબર 2026થી સામાન્ય machine-readable ટ્રેનિંગ સિગ્નલ ઓળખે છે, તેને ધીમે ધીમે લાગુ કરી રહ્યું છે, અને ClaudeBotનું નામ લેતો નિયમ તેના પર અગ્રતા ધરાવે છે. Microsoft Bing માટે __usage_ai-training ટોકન દસ્તાવેજિત કરે છે, અને તેની નવી પસંદગીઓ 1 ફેબ્રુઆરી 2027થી પેજ ક્રૉલ થાય તેમ લાગુ થશે. Google કહે છે કે તે 2027માં આ સહિયારા નિયંત્રણને સપોર્ટ કરવાનું લક્ષ્ય રાખે છે અને જ્યારે Google-Extendedનું નામ ન લેવાયું હોય ત્યારે તેના દ્વારા થયેલા ટ્રેનિંગ opt-outને એ ટોકનના disallow તરીકે ગણવાની યોજના ધરાવે છે. OpenAIએ એ જ દિવસે જાહેરાત પ્રકાશિત કરી કે તે સહિયારા સિગ્નલનું પાલન કરશે, તારીખ વગર.
તેથી ai-train=no અને __usage_ai-training લગભગ એક જ વાત કહે છે, પણ ફક્ત બીજાને AI કંપનીઓનો દસ્તાવેજિત સપોર્ટ છે. GPTBot અને ClaudeBot જેવા દરેક ક્રૉલરના પોતાના ટોકન આજે દરેક કંપની લાગુ કરે છે તે નિયંત્રણો છે.
શું મારે મારી robots.txtમાં Content-Signal ઉમેરવી જોઈએ?
જો તમે ઇચ્છો કે તમારી ઉપયોગ policy એક જ જગ્યાએ લખેલી હોય, જે મશીન અને લોકો બંને વાંચી શકે, તો ઉમેરો. તે એક જ લાઇનમાં દરેક ક્રૉલર માટે ai-input પસંદગી પણ જણાવે છે, જે કંપનીઓના ટોકન ફક્ત ક્રૉલર-દર-ક્રૉલર કહી શકે છે. તેની કિંમત એક લાઇન છે, અને જે parser તેને જાણતા નથી તે તેને છોડી દે છે.
ફક્ત તેના પર આધાર ન રાખો. કન્ટેન્ટને ટ્રેનિંગથી દૂર રાખવા, દસ્તાવેજિત ટ્રેનિંગ ટોકનને પણ મનાઈ કરો, અને સહિયારા ટ્રેનિંગ ટોકનનો વિચાર કરો; AI સર્ચમાં રહીને AI ટ્રેનિંગ બ્લૉક કરવા પરની અમારી માર્ગદર્શિકા દરેક કંપનીના ટોકન આપે છે. robots.txtને અવગણતી કોઈ પણ વસ્તુ માટે, ફક્ત ફાયરવૉલ નિયમ જ બ્લૉક લાગુ કરે છે.
છેલ્લે, તપાસો કે લાઇન ફાઇલના બાકીના ભાગ સાથે સુસંગત છે. OAI-SearchBot કે PerplexityBot માટેના Allow જૂથની બાજુમાં ai-input=no વિરોધાભાસી સંદેશ મોકલે છે: તમે AI સર્ચ ક્રૉલરને અંદર આવવા દો છો અને સાથે કહો છો કે તેમના જવાબો તેઓ જે મેળવે તે વાપરી શકે નહીં.
મારી robots.txt દરેક ક્રૉલરને શું કહે છે તે કેવી રીતે તપાસવું?
AISeeWhyનું મફત robots.txt ચેકર પેજનું સરનામું કે પેસ્ટ કરેલી robots.txt લે છે અને દરેક AI અને સર્ચ ક્રૉલર માટે બતાવે છે કે એ પેજ મેળવી શકાય કે નહીં, જેથી તમે ખાતરી કરી શકો કે live ફાઇલ, Cloudflareએ શરૂઆતમાં ઉમેરેલું બધું સહિત, તમે જે કહેવા માગતા હતા તે જ કહે છે. મફત robots.txt જનરેટર તમારી પસંદગી પરથી ફાઇલ લખે છે.
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
વારંવાર પૂછાતા પ્રશ્નો
શું Content-Signal robots.txt સ્ટાન્ડર્ડનો ભાગ છે?
ના. RFC 9309 User-agent, Allow અને Disallow વ્યાખ્યાયિત કરે છે અને ક્રૉલરને બીજા records નું અર્થઘટન કરવા દે છે. Content-Signal CC0 લાઇસન્સ હેઠળ જાહેર થયેલી Cloudflareની Content Signals Policyમાંથી આવે છે. અલગથી, IETF AI Preferences working group robots.txt માટે પોતાનો Content-Usage નિયમ તૈયાર કરી રહ્યું છે, જે હજી Internet-Draft છે, સ્ટાન્ડર્ડ નહીં.
શું ai-train=no GPTBot કે ClaudeBotને રોકે છે?
કંપનીઓના દસ્તાવેજ મુજબ નહીં. OpenAI અને Anthropic GPTBot અને ClaudeBotનું નામ લેતા robots.txt નિયમો દ્વારા નિયંત્રણ વર્ણવે છે, અને બેમાંથી કોઈ ક્રૉલર પેજ Content-Signalનો ઉલ્લેખ કરતું નથી. બેમાંથી કોઈ સાથે ટ્રેનિંગમાંથી opt out કરવા, ટોકનને નામથી મનાઈ કરો.
Content-Signal અને __usage_ai-training વચ્ચે શું ફરક છે?
Content-Signal જૂથની અંદરની લાઇન છે અને સર્ચ, AI ઇનપુટ અને ટ્રેનિંગ આવરી લે છે. __usage_ai-training પોતાના User-Agent જૂથ તરીકે વપરાતો policy ટોકન છે અને ફક્ત ટ્રેનિંગ આવરી લે છે. Anthropic, Microsoft, Google અને OpenAIએ સહિયારા ટ્રેનિંગ સિગ્નલ વિશે નિવેદનો પ્રકાશિત કર્યાં છે; તેમાંથી કોઈ Content-Signal દસ્તાવેજિત કરતું નથી.
Google Search Console Syntax not understood કેમ બતાવે છે?
Googleના robots.txt દસ્તાવેજ ફક્ત user-agent, allow, disallow અને sitemapને સપોર્ટ કરે છે, તેથી બીજી લાઇનો ફ્લૅગ થઈ શકે છે. Cloudflare કહે છે કે આ રિપોર્ટથી ક્રૉલિંગ દર કે SEO પર કોઈ અસર જોવા મળી નથી.
use=reference નો અર્થ શું છે?
તે ચોથું ફીલ્ડ છે જેનું Cloudflare પરીક્ષણ કરી રહ્યું છે. referenceનો અર્થ છે ઇન્ડેક્સ કરો, અંશ લો અને પાછી લિંક આપો. Cloudflare તેને managed robots.txt ફાઇલોમાં ઉમેરે છે, અને અમે તપાસેલા કોઈ ક્રૉલર દસ્તાવેજમાં તેનો ઉલ્લેખ નથી.
સ્રોતો
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI ક્રૉલર ઍક્સેસ રિપોર્ટ, 2026-11