robots.txtમાં Content-Signal નથી
તમારી robots.txtમાં કોઈ Content-Signal લાઇન નથી. આ વૈકલ્પિક લાઇન જણાવે છે કે તમારા કન્ટેન્ટનો ઉપયોગ કેવી રીતે થઈ શકે: સર્ચ પરિણામોમાં, AI જવાબોના ઇનપુટ તરીકે, કે AI ટ્રેનિંગ માટે. તેના વગર કંઈ તૂટતું નથી. જો તમે તમારી ઉપયોગ નીતિ machine-readable રૂપમાં લખવા માગતા હો તો તે ઉમેરો.
તેનો અર્થ
Content-Signal લાઇન જણાવે છે કે તમારા કન્ટેન્ટનો ઉપયોગ કેવી રીતે થઈ શકે (સર્ચ, AI જવાબો, ટ્રેનિંગ). તે વૈકલ્પિક છે; નીતિ સ્પષ્ટ કરવી હોય તો તેને ઉમેરો.
AI સર્ચ માટે તે કેમ મહત્ત્વનું છે
robots.txt ફક્ત એટલું જ કહે છે કે ક્રૉલર પેજ મેળવી શકે કે નહીં, પછી કન્ટેન્ટ સાથે શું કરી શકાય તે નહીં. Cloudflareની Content Signals Policyમાં રજૂ થયેલું Content-Signal ત્રણ કી ઉમેરે છે: search, ai-input (રિયલ ટાઇમમાં પ્રશ્નનો જવાબ આપવા કન્ટેન્ટનો ઉપયોગ) અને ai-train.
ક્રૉલર તેનું પાલન કરવા બંધાયેલા નથી, તેથી AISeeWhy તેને P3 ગણે છે. છતાં જ્યારે તમે બંને કામ કરી શકે તેવા ક્રૉલરને આવવા દો, ત્યારે "આને જવાબોમાં વાપરી શકો" અને "આના પર ટ્રેન ન કરો"ને અલગ કરવાની આ સ્પષ્ટ રીત છે, અને ફાઇલ વાંચનાર દરેક માટે તમારી નીતિ દસ્તાવેજિત કરે છે.
તેને કેવી રીતે સુધારવું
search,ai-inputઅનેai-trainદરેક માટે તમારી નીતિ નક્કી કરો.- robots.txtના
User-agent: *ગ્રૂપની અંદર, તેના Allow અને Disallow નિયમોની બાજુમાંContent-Signalલાઇન ઉમેરો. - જો તમારી સાઇટ Cloudflare પર હોય, તો તપાસો કે તેની managed robots.txt પહેલેથી આ સંકેતો ઉમેરે છે કે નહીં, જેથી તમે તેને બે વાર જાહેર ન કરો.
- તમારા Allow અને Disallow નિયમો જેમ છે તેમ રાખો: Content-Signal તેમની જગ્યા લેતું નથી. AISeeWhy રિપોર્ટ પુરાવો અને પેસ્ટ કરવા તૈયાર સુધારો બતાવે છે; પરિણામની ખાતરી કરવા પછી "ફરી તપાસો" ચલાવો.
ઉદાહરણ
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / સુધારાની ખાતરી કેવી રીતે કરવી
ફેરફાર પછી રિપોર્ટ પર "ફરી તપાસો" દબાવો: તે બતાવે છે કે શું સુધર્યું અને સ્કોર કેવી રીતે બદલાયો.