2 પેજે ક્રૉલનો ઇનકાર કર્યો
ઑડિટે આ પેજને બ્રાઉઝર તરીકે મેળવ્યાં ત્યારે તેમણે 401, 403, 429 કે 503 જવાબ આપ્યો, કે timeout થયાં. આ ઘણી વાર તૂટેલા પેજને બદલે ફાયરવૉલ, બૉટ સુરક્ષા કે rate limit હોય છે. તપાસો કે સર્ચ અને AI ક્રૉલરને પણ એ જ જવાબ મળે છે કે નહીં.
તેનો અર્થ
આ પેજે 401, 403, 429 કે 503 જવાબ આપ્યો, અથવા સમય પૂરો થઈ ગયો. ફાયરવૉલ કે rate limit ક્રૉલરને પણ રોકતું હોઈ શકે; સર્ચ અને AI ક્રૉલરને પણ એ જ જવાબ મળે છે કે નહીં તે તપાસો.
AI સર્ચ માટે તે કેમ મહત્ત્વનું છે
ઑડિટ એક સર્વર પરથી થોડા સમયમાં ઘણાં પેજ મેળવે છે, તેથી લોકોને પેજ મળતું હોય ત્યારે પણ rate limit 429 કે 503 આપી શકે છે. જો એ જ નિયમ સર્ચ અને AI ક્રૉલરને લાગુ પડે, તો આ પેજ તેમના index માટે મેળવાતાં નથી અને AI જવાબોમાં ટાંકી શકાતાં નથી.
401નો અર્થ એ છે કે પેજને login જોઈએ, જે એકાઉન્ટના વિભાગો માટે અપેક્ષિત છે પણ જાહેર કન્ટેન્ટ માટે નહીં. દરેક પેજ પર 503નો અર્થ એ હોઈ શકે કે maintenance mode ચાલુ રહી ગયો છે. આ પેજ તૂટેલી લિંકથી અલગ રખાય છે, કારણ કે સુધારો કોને નકારાય છે તેના પર આધાર રાખે છે.
તેને કેવી રીતે સુધારવું
- યાદીમાંનાં થોડાં URL private બ્રાઉઝર windowમાં ખોલો. જો તે લોડ થાય, તો બ્લૉક આપમેળે થતી વિનંતીઓ માટે છે.
- તમારા ફાયરવૉલ, CDN કે hostingના લૉગમાં નકારાયેલી વિનંતીઓ શોધો. ખાતરી કરો કે Googlebot અને Bingbot જેવા ચકાસાયેલા સર્ચ ક્રૉલર, અને તમે ઇચ્છો છો તે AI સર્ચ ક્રૉલરને મંજૂરી છે; Cloudflare સહિત ઘણાં CDNમાં verified bots માટે સેટિંગ હોય છે.
- જો rate limitને કારણે થયું હોય, તો સામાન્ય પેજ વિનંતીઓ માટે મર્યાદા વધારો કે HTML પેજને તેમાંથી બાકાત રાખો.
- જો પેજ 401 આપે, તો જાહેર પેજ પરથી login દૂર કરો, અથવા જાહેર પેજ પરથી ખાનગી પેજની લિંક આપવાનું બંધ કરો.
- પરિણામની ખાતરી કરવા તમારા એકાઉન્ટમાંથી સાઇટ ઑડિટ ફરી ચલાવો.
સુધારાની ખાતરી કેવી રીતે કરવી
ફેરફાર પછી રિપોર્ટ પર "ફરી તપાસો" દબાવો: તે બતાવે છે કે શું સુધર્યું અને સ્કોર કેવી રીતે બદલાયો.