robots.txt મેળવી શકાતી નથી

ટૂંકો જવાબ

/robots.txt મેળવવાનું નિષ્ફળ ગયું: સર્વરે 5xx સ્ટેટસ કે 429 સાથે જવાબ આપ્યો, અથવા જવાબ જ ન આપ્યો. RFC 9309 મુજબ ત્યારે ક્રૉલર આખી સાઇટને મનાઈવાળી ગણે છે. /robots.txtને plain text સાથે સ્ટેટસ 200 આપતી બનાવો, અથવા તમારા કોઈ નિયમ ન હોય તો 404.

robots.unreachable · પ્રાથમિકતા: P1

તેનો અર્થ

robots.txtએ સ્ટેટસ 403 સાથે જવાબ આપ્યો અથવા જવાબ ન આપ્યો. RFC 9309 મુજબ ત્યારે ક્રૉલર આખી સાઇટને મનાઈવાળી ગણે છે.

AI સર્ચ માટે તે કેમ મહત્ત્વનું છે

RFC 9309 કહે છે કે સર્વરની ભૂલને કારણે robots.txt સુધી ન પહોંચી શકતો ક્રૉલર પૂરી મનાઈ માની લેવો જોઈએ. Googlebot, Bingbot અને ધોરણનું પાલન કરતા AI ક્રૉલર robots.txt ફરી જવાબ ન આપે ત્યાં સુધી પેજ મેળવવાનું બંધ કરે છે, તેથી એક તૂટેલી ફાઇલ આખી સાઇટ છુપાવી શકે છે.

ફાઇલ ન હોવી એ અલગ બાબત છે: 404 કે બીજું 4xx સ્ટેટસ એટલે કોઈ નિયમ નથી, તેથી બધું મંજૂર છે અને AISeeWhy કંઈ જણાવતું નથી. સમસ્યા ફક્ત સર્વરની ભૂલો, rate limit (429) અને કોઈ સ્ટેટસ આવે તે પહેલાં timeout થતી કે નકારાતી વિનંતીઓ છે.

તેને કેવી રીતે સુધારવું

  1. તમારા નેટવર્કની બહારથી https://your-domain/robots.txt ખોલો અને સ્ટેટસ નોંધો. ઑડિટ તેને બ્રાઉઝર યુઝર એજન્ટથી મેળવે છે.
  2. જો તે 5xx હોય, તો origin route તપાસો: Next.js જેવાં framework તેને public/robots.txt કે app/robots.tsમાંથી આપે છે, WordPress તેને dynamically બનાવે છે, તેથી PHPની ભૂલ તેને તોડી નાખે છે.
  3. જો તે 429 કે timeout હોય, તો તમારા CDN કે WAFમાં /robots.txtને rate limiting અને બૉટ ચેલેન્જમાંથી મુક્તિ આપો.
  4. robots.txtને CDN પર cache કરો, જેથી origin ધીમું હોય ત્યારે પણ તે જવાબ આપે. AISeeWhy રિપોર્ટ પુરાવો અને પેસ્ટ કરવા તૈયાર સુધારો બતાવે છે; પરિણામની ખાતરી કરવા પછી "ફરી તપાસો" ચલાવો.

સુધારાની ખાતરી કેવી રીતે કરવી

ફેરફાર પછી રિપોર્ટ પર "ફરી તપાસો" દબાવો: તે બતાવે છે કે શું સુધર્યું અને સ્કોર કેવી રીતે બદલાયો.

મારું પેજ તપાસો →

સંબંધિત માર્ગદર્શિકાઓ

બધાં તારણો અને સ્કોર કેવી રીતે ગણાય છે