robots.txt એક HTML પેજ છે
/robots.txt સરનામું HTML દસ્તાવેજ આપે છે, સામાન્ય રીતે સ્ટેટસ 200 સાથેનું 404 પેજ કે હોમ પેજ. ક્રૉલર HTMLમાંથી કોઈ નિયમ વાંચી શકતા નથી. એ પાથ પર plain-text robots.txt આપો, અથવા તમારા કોઈ નિયમ ન હોય તો સાચું 404 સ્ટેટસ આપો.
તેનો અર્થ
robots.txtનું સરનામું HTML આપે છે (ઘણી વાર સ્ટેટસ 200 સાથેનું 404 પેજ), તેથી ક્રૉલર કોઈ નિયમ વાંચી શકતા નથી.
AI સર્ચ માટે તે કેમ મહત્ત્વનું છે
ક્રૉલર robots.txtને લાઇન-દર-લાઇન પાર્સ કરે છે અને જે ન સમજાય તેને અવગણે છે, તેથી HTML પેજ તેમને કોઈ નિયમ કે Sitemap લાઇન આપતું નથી. તમારી ઇચ્છિત નીતિ, જેમ કે ટ્રેનિંગ ક્રૉલરને બ્લૉક કરવા કે સર્ચ ક્રૉલરને આવવા દેવા, લાગુ પડતી નથી, અને ત્યાં જાહેર કરેલા સાઇટમેપ મળતા નથી.
આ સામાન્ય રીતે single-page app અને catch-all route સાથે થાય છે, જે દરેક અજાણ્યા પાથનો જવાબ app shell અને સ્ટેટસ 200 સાથે આપે છે. AISeeWhy Content-Type હેડર પરથી નહીં પણ body પરથી નક્કી કરે છે, કારણ કે ક્રૉલર પણ એમ જ કરે છે: text/html તરીકે આપેલી text ફાઇલ પણ વંચાય છે, HTML પેજ નહીં.
તેને કેવી રીતે સુધારવું
/robots.txtખોલો અને source જુઓ: જો તે<!doctypeકે<htmlથી શરૂ થાય, તો ફાઇલ નથી અને fallback route જવાબ આપે છે.- સાચી ફાઇલ ઉમેરો: Next.js, Vite કે Create React Appમાં
public/robots.txt, nginx કે Apache પર web root, કે Shopify પરrobots.txt.liquidટેમ્પ્લેટ. - nginxમાં, ખાતરી કરો કે static ફાઇલ તપાસાય તે પહેલાં
try_files ... /index.htmlfallback/robots.txtને પકડી ન લે; જરૂર હોય તોlocation = /robots.txtઉમેરો. - તમારા catch-all routeને અજાણ્યા પાથ માટે સ્ટેટસ 404 મોકલતો બનાવો. AISeeWhy રિપોર્ટ પુરાવો અને પેસ્ટ કરવા તૈયાર સુધારો બતાવે છે; પરિણામની ખાતરી કરવા પછી "ફરી તપાસો" ચલાવો.
ઉદાહરણ
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml સુધારાની ખાતરી કેવી રીતે કરવી
ફેરફાર પછી રિપોર્ટ પર "ફરી તપાસો" દબાવો: તે બતાવે છે કે શું સુધર્યું અને સ્કોર કેવી રીતે બદલાયો.