પેજ સર્ચ એન્જિનને તેને index ન કરવા કહે છે
પેજ સર્ચ એન્જિનને તેને index ન કરવા કહે છે: noindex કે none robots, googlebot કે bingbot meta tagમાં, કે X-Robots-Tag HTTP હેડરમાં દેખાય છે. તારણ બતાવે છે કે કયું. ત્યારે Google અને Bing પેજને તેમનાં પરિણામોની બહાર રાખે છે. જો પેજ શોધાવું જોઈએ, તો નિયમ દૂર કરો.
તેનો અર્થ
noindex નિયમ (meta) આ પેજને Google અને Bingથી દૂર રાખે છે, અને તેથી તેમના index પર બનેલા AI જવાબોથી પણ. જો પેજ શોધાવું જોઈએ તો તેને દૂર કરો.
AI સર્ચ માટે તે કેમ મહત્ત્વનું છે
Google અને Bing પેજને આગલી વાર ક્રૉલ કરે ત્યારે noindex નિયમનું પાલન કરે છે, અને પેજ તેમનાં પરિણામોમાંથી નીકળી જાય છે. એ સર્ચ index પર બનેલા AI જવાબો અને AI સર્ચ ફીચરને પણ પછી પેજ મળતું નથી.
checkoutનાં પગલાં, આંતરિક સર્ચ પરિણામો કે thank-you પેજ જેવાં પેજ માટે noindex યોગ્ય છે. સમસ્યા ત્યારે છે જ્યારે તે staging સાઇટ પરથી રહી ગયું હોય, આખી સાઇટ માટેના "discourage search engines" વિકલ્પથી સેટ થયું હોય, કે HTMLમાં કોઈને ન દેખાતા સર્વર કે CDN નિયમ દ્વારા હેડર તરીકે મોકલાતું હોય.
તેને કેવી રીતે સુધારવું
- તારણમાં સ્રોત તપાસો: HTMLમાં meta tag કે
X-Robots-Tagહેડર. - meta tag માટે, તેમાંથી
noindexઅનેnoneદૂર કરો કે tag ડિલીટ કરો. WordPressમાં, તપાસો કે Settings → Reading → "Discourage search engines from indexing this site" બંધ છે, અને પેજનાં પોતાનાં SEO સેટિંગ તપાસો. Shopifyમાં, robots meta tag ઉમેરતો થીમ કોડ અને ઍપ તપાસો. - હેડર માટે, તે ક્યાં સેટ થાય છે તે શોધો, જેમ કે Nginx
add_header, ApacheHeader set,_headersફાઇલ, Cloudflare Transform Rule કે framework middleware, અને આ પેજ માટે તેને દૂર કરો. - સાથે સાથે robots.txtમાં પેજને બ્લૉક ન કરો: noindex દૂર થયું છે તે જોવા ક્રૉલરે પેજ મેળવવું પડે છે.
- પરિણામની ખાતરી કરવા પેજ રિપોર્ટ પર "ફરી તપાસો" ચલાવો.
ઉદાહરણ
# nginx: send noindex only where it belongs, not site-wide
location /search/ {
add_header X-Robots-Tag "noindex";
} સુધારાની ખાતરી કેવી રીતે કરવી
ફેરફાર પછી રિપોર્ટ પર "ફરી તપાસો" દબાવો: તે બતાવે છે કે શું સુધર્યું અને સ્કોર કેવી રીતે બદલાયો.