Google Search Consoleમાં સાઇટમેપ errorsનો અર્થ શું છે અને તેને કેવી રીતે સુધારવી?
Google Search Consoleમાં સાઇટમેપ errorsનો અર્થ છે કે કાં તો Google ફાઇલ ડાઉનલોડ જ કરી શક્યું નહીં (Couldn't fetch, details પેજ પર Sitemap could not be read તરીકે દેખાય છે), કાં તો તેણે ફાઇલ ડાઉનલોડ કરી પણ તેનો અમુક ભાગ parse કરી શક્યું નહીં (Has errors). Fetch નિષ્ફળતા સામાન્ય રીતે ખોટા URL, robots.txt નિયમ, server error કે Googlebotને જવાબ આપતા ફાયરવૉલથી આવે છે; parsing errors તૂટેલા XML, ખોટી તારીખો, ખોટા URL કે 50,000 URL અથવા 50 MBથી મોટી ફાઇલોથી આવે છે. સાઇટમેપ URLને બહારથી curl વડે ચકાસો, કારણ સુધારો, પછી ફરી submit કરો.
Search Consoleનો Sitemaps રિપોર્ટ શબ્દોમાં કંજૂસ છે: એક status, એક સંખ્યા અને ક્યારેક errorનું નામ. દરેક status પાછળ એક ચોક્કસ નિષ્ફળતા છે, જે તમે તમારા પોતાના terminalમાં એક મિનિટમાં ફરી ઊભી કરી શકો. આ માર્ગદર્શિકા Google દસ્તાવેજમાં આપે છે તે દરેક સંદેશને તેના કારણ સાથે જોડે છે, તેને બહારથી કેવી રીતે ચકાસવો તે બતાવે છે, અને સુધારો આપે છે.
આ પેજ પર
Search Consoleમાં સાઇટમેપ statusનો અર્થ શું છે?
તમે submit કરો છો તે દરેક સાઇટમેપને એક status મળે છે, Googleએ તેની છેલ્લે request કરી ત્યારનું:
- Success: સાઇટમેપ errors વગર મેળવાયો અને process થયો, અને તેના બધા URL crawl માટે કતારમાં છે.
- Has errors (Sitemap had X errors તરીકે પણ દેખાય છે): ફાઇલ મેળવાઈ, પણ તેના અમુક ભાગ parse થઈ શક્યા નહીં. સાચી રીતે parse થયેલા URL હજી કતારમાં છે.
- Couldn't fetch: Google ફાઇલ પોતે મેળવી શક્યું નહીં. સાઇટમેપ ખોલો ત્યારે details પેજ પર Sitemap could not be read લખેલું હોય છે. French Search Consoleમાં આ જ સંદેશ Impossible de lire le sitemap છે, અને ઉપરનું status Impossible de récupérer le sitemap છે.
જો fetch કે parse નિષ્ફળ જાય, તો Google થોડા દિવસ પ્રયાસ કરતું રહે છે અને પછી એ સાઇટમેપની request બંધ કરે છે, તેથી તૂટેલો સાઇટમેપ જાતે સુધરતો નથી. બીજી બે વિગતો ઘણા ગૂંચવતા રિપોર્ટ સમજાવે છે: રિપોર્ટ ફક્ત રિપોર્ટ કે API દ્વારા submit કરેલા સાઇટમેપ બતાવે છે, robots.txtમાં મળેલા નહીં, અને તે ફક્ત હાલની property માટેના સાઇટમેપ બતાવે છે, તેથી તપાસો કે તમે સાચી http કે https અને www કે non-www propertyમાં છો.
Search Console Couldn't fetch કે Sitemap could not be read કેમ બતાવે છે?
Google fetch નિષ્ફળતાનાં આ દસ્તાવેજી કારણો આપે છે:
- સાઇટમેપ robots.txtથી બ્લૉક છે. Google સાઇટમેપ મેળવતી વખતે robots.txt માને છે, તેથી
Disallow: /sitemapજેવો નિયમ તેને રોકે છે. - URL ખોટું છે અને 404 આપે છે. જુદો પાથ, ખૂટતું
www, કેhttpsના બદલેhttpસામાન્ય ભૂલો છે. - સર્વર ઉપલબ્ધ ન હોય એવી સામાન્ય error. આમાંની કેટલીક કામચલાઉ હોય છે.
- સાઇટ પર ઉકેલાયેલી ન હોય એવી manual action છે. તે સુધરે નહીં ત્યાં સુધી સાઇટમેપ વંચાતા નથી.
- સાઇટમેપ માટે crawlની ઓછી માગ.
એક કારણ Google અલગથી નથી ગણાવતું, જે general કે HTTP error તરીકે દેખાય છે: ફાયરવૉલ, CDN કે બૉટ પ્રોટેક્શન જે Googlebotને 403, 429 કે ચેલેન્જ પેજ આપે છે જ્યારે તમારા બ્રાઉઝરને ફાઇલ મળે છે. ફાઇલની આગળ login જરૂરી હોય તો પણ એવું જ થાય છે. Google તરફથી નિષ્ફળતાની ખાતરી કરવા, સાઇટમેપ URLને URL Inspection toolમાં પેસ્ટ કરો, live test ચલાવો અને તપાસો કે Crawl allowed Yes છે અને Page fetch Successful છે.
સાઇટમેપને બહારથી કેવી રીતે ચકાસવો?
કોઈ પણ મશીન પરથી આ ચાર તપાસ ચલાવો. example.comને તમારા ડોમેનથી બદલો.
# 1. Status, redirects and content type
curl -sIL https://example.com/sitemap.xml | grep -iE '^(HTTP|location|content-type)'
# 2. The same file requested with Googlebot's user agent
curl -s -o /dev/null -w "%{http_code} %{content_type} %{size_download}\n" \
-A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
https://example.com/sitemap.xml
# 3. Rules and Sitemap lines in robots.txt
curl -s https://example.com/robots.txt | grep -iE '^(user-agent|disallow|allow|sitemap)'
# 4. Well-formed XML and number of URLs
curl -s https://example.com/sitemap.xml -o sitemap.xml
xmllint --noout sitemap.xml && grep -o '<loc>' sitemap.xml | wc -l શું જોવું: અંતિમ status 200 હોવું જોઈએ. Redirectsની સાંકળનો અર્થ છે કે તમે અંતિમ ન હોય એવું સરનામું submit કર્યું; Search Console તમે submit કરેલું ચોક્કસ URL બતાવે છે અને તેના માટે redirects અનુસરતું નથી, તેથી અંતિમ URL submit કરો. HTML body સાથે text/html content typeનો અર્થ છે કે સર્વરે ફાઇલને બદલે પેજ મોકલ્યું, ઘણી વાર 404 પેજ કે હોમ પેજ. જો તપાસ 1 200 આપે અને તપાસ 2 403, 429 કે 503 આપે, તો કોઈ ફાયરવૉલ નિયમ ક્રૉલરને જુદી રીતે ગણે છે. કેટલાક સર્વર HEAD requestsનો જવાબ GETથી જુદો આપે છે, તેથી તપાસ 2 સામાન્ય request વાપરે છે.
તમારો ટેસ્ટ તમારા પોતાના IP સરનામા પરથી આવે છે, તેથી તે બતાવે છે કે તમારા નિયમો user agentને કેવી રીતે ગણે છે. IP રેન્જ પર આધારિત નિયમો સાચા Googlebotને હજી જુદી રીતે ગણી શકે. Google પોતાના ક્રૉલરની IP રેન્જ પ્રકાશિત કરે છે અને reverse DNS ચકાસણી સપોર્ટ કરે છે, તેથી allow નિયમ user agent stringને બદલે સાચા ક્રૉલર સાથે મેળ ખાઈ શકે.
Has errorsના સંદેશાઓનો અર્થ શું છે અને તેમને કેવી રીતે સુધારવા?
ફાઇલ મેળવાય પણ પૂરી parse ન થાય ત્યારે details પેજ errorનું નામ આપે છે. જે તમને સૌથી વધુ દેખાવાની શક્યતા છે:
- Parsing error: XML parse થઈ શક્યું નહીં, ઘણી વાર URLમાં escape ન કરેલા અક્ષરને કારણે.
&ને&તરીકે લખો, અને',",<અને>ને પણ escape કરો. - Unsupported format: header કે namespace ખોટું છે. સાઇટમેપ XML declarationથી શરૂ થવો જોઈએ અને સીધાં quotes સાથે
http://www.sitemaps.org/schemas/sitemap/0.9namespace વાપરવું જોઈએ. - Invalid date:
lastmodW3C Datetimeમાં હોવું જોઈએ, જેમ કે2026-11-17કે2026-11-17T09:30:00+00:00. સમય આપો તો time zone પણ આપો. - URL not allowed: યાદીમાંના URL સાઇટમેપના ફોલ્ડરથી ઉપર છે કે બીજા ડોમેન કે protocol પર છે. Path mismatch એ
wwwસાથેની એ જ સમસ્યા છે: સાઇટમેપ અને તેના URL એકસરખા હોવા જોઈએ. - Too many URLs કે Sitemap file size error: 50,000થી વધુ URL કે uncompressed 50 MBથી વધુ. ફાઇલ વિભાજિત કરો અને ભાગોને સાઇટમેપ indexમાં મૂકો.
- Compression error: gzip ફાઇલ બગડેલી છે. ફરી compress કરો, upload કરો અને ફરી submit કરો.
- Empty sitemap: ફાઇલમાં કોઈ URL નથી. તેને લખતું generator તપાસો.
- Leading whitespace: ફક્ત warning. XML declarationની પહેલાંનું બધું દૂર કરો.
- URLs not followed કે URLs not accessible: ફાઇલ બરાબર છે, પણ યાદીમાંના URL બહુ વાર redirect થાય છે કે crawl થઈ શકતા નથી. ફક્ત અંતિમ, absolute URL મૂકો.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/products?color=blue&size=m</loc>
<lastmod>2026-11-17</lastmod>
</url>
<url>
<loc>https://example.com/about</loc>
<lastmod>2026-11-10T09:30:00+00:00</lastmod>
</url>
</urlset> સાઇટમેપની કદ મર્યાદાઓ અને ફૉર્મેટના નિયમો કયા છે?
sitemaps.org protocol અને Googleના દસ્તાવેજો એક જ મર્યાદા નક્કી કરે છે: દરેક સાઇટમેપ ફાઇલમાં 50,000થી વધુ URL નહીં અને uncompressed 50 MBથી વધુ નહીં. સાઇટમેપ indexમાં 50,000 સાઇટમેપ સુધી હોઈ શકે અને તેની કદ મર્યાદા એ જ છે, અને index તે વટાવે ત્યારે Google Too many sitemaps બતાવે છે. Index બીજા indexes તરફ નિર્દેશ કરી શકતા નથી. ફાઇલ UTF-8 encoded હોવી જોઈએ, દરેક વેલ્યૂ entity-escaped હોવી જોઈએ, અને Google પૂરા, absolute URL માગે છે.
Google એ પણ કહે છે કે તે priority અને changefreq અવગણે છે, અને lastmod ત્યારે જ વાપરે છે જ્યારે તે સતત અને ચકાસી શકાય તે રીતે સાચું હોય, તેથી તેને કન્ટેન્ટ છેલ્લે અર્થપૂર્ણ રીતે બદલાયું તે તારીખ પર સેટ કરો. sitemaps.org protocol હેઠળ https://example.com/blog/sitemap.xml પરનો સાઇટમેપ ફક્ત /blog/ હેઠળના URL જ આપી શકે, તેથી Google સાઇટમેપને સાઇટના root પર મૂકવાની ભલામણ કરે છે. મોટી સાઇટ પોતાના URL ઘણી ફાઇલોમાં વહેંચે છે અને એક index submit કરે છે:
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://example.com/sitemap-pages.xml</loc>
<lastmod>2026-11-17</lastmod>
</sitemap>
<sitemap>
<loc>https://example.com/sitemap-blog.xml.gz</loc>
<lastmod>2026-11-15</lastmod>
</sitemap>
</sitemapindex> robots.txtમાં પૂરા URL સાથેની એક લાઇન પણ ઉમેરો, ઉદાહરણ તરીકે Sitemap: https://example.com/sitemap.xml. તે ફાઇલમાં ગમે ત્યાં હોઈ શકે, અને robots.txt વાંચતો કોઈ પણ ક્રૉલર તેના પરથી તમારો સાઇટમેપ શોધી શકે, ફક્ત તમે જેમને submit કરો છો તે જ નહીં.
શું AI ક્રૉલર પણ સાઇટમેપ વાપરે છે?
Google માટે, આડકતરી રીતે હા. સાઇટમેપ Googleને તેના Search index માટે URL શોધવામાં મદદ કરે છે, અને Google કહે છે કે તેનાં AI Overviews અને AI Mode એ index પર આધારિત છે: supporting link તરીકે દેખાવા પેજ ઇન્ડેક્સ થયેલું અને snippet માટે પાત્ર હોવું જોઈએ. તેથી ઇન્ડેક્સિંગ ધીમું કરતી સાઇટમેપ error Googleની AI સુવિધાઓમાં પેજના દેખાવામાં પણ વિલંબ કરી શકે.
બીજાં answer engines માટે આ દસ્તાવેજમાં નથી. OpenAI, Anthropic અને Perplexityના ક્રૉલર દસ્તાવેજો જણાવતા નથી કે તેમના ક્રૉલર સાઇટમેપ વાંચે છે કે નહીં, તેથી ChatGPT, Claude કે Perplexityમાં પેજ પહોંચાડવા સાઇટમેપ પર આધાર ન રાખો. ત્યાં internal links અને ખુલ્લી robots.txt તથા ફાયરવૉલ વધુ મહત્ત્વનાં છે. કામ કરતો સાઇટમેપ અને robots.txtમાં Sitemap: લાઇન રાખવામાં કંઈ ખર્ચ નથી અને તે વાપરતા દરેક ક્રૉલરને કામ આવે છે.
AISeeWhyનો પૂરો રિપોર્ટ robots.txtમાં જાહેર કરેલા કે /sitemap.xml પર મળેલા સાઇટમેપ વાંચે છે અને મેળવી ન શકાય કે parse ન થઈ શકે એવા સાઇટમેપને ચિહ્નિત કરે છે, દરેક કિસ્સા માટે સુધારાની માર્ગદર્શિકા સાથે: સાઇટમેપ સુધી પહોંચી શકાતું નથી અને સાઇટમેપ વાંચી શકાતો નથી.
આ સમસ્યાના સુધારા
- llms.txtમાં તૂટેલી લિંક: 2
- કોઈ સાઇટમેપ મળ્યો નથી
- સાઇટમેપ મેળવી શકાતો નથી (સ્ટેટસ 403)
- સાઇટમેપ વાંચી શકાતો નથી
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- AI ક્રૉલરની IP તપાસ
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
વારંવાર પૂછાતા પ્રશ્નો
Impossible de lire le sitemapનો અર્થ શું છે?
તે Sitemap could not be read માટેનું French Search Consoleનું લખાણ છે. જ્યારે Google ફાઇલ મેળવી જ ન શક્યું હોય ત્યારે તે details પેજ પર દેખાય છે. URL, robots.txt, સર્વરનો status code અને તમારું ફાયરવૉલ તપાસો, કારણ સુધારો અને ફરી submit કરો.
સુધારા પછી Google મારો સાઇટમેપ કેટલા સમયમાં ફરી વાંચશે?
Google કહે છે કે તમે સાઇટમેપ submit કરો કે તરત તે તેને crawl કરવાનો પ્રયાસ કરે છે, તેથી સુધારા પછી ફરી submit કરો. સફળ વાંચન પછી તે પોતાના સમયપત્રક પ્રમાણે સાઇટમેપ ફરી crawl કરે છે, સાઇટના બાકીના ભાગથી સ્વતંત્ર રીતે.
Sitemaps રિપોર્ટમાં મારો સાઇટમેપ કેમ દેખાતો નથી?
રિપોર્ટ ફક્ત રિપોર્ટ કે API દ્વારા submit કરેલા સાઇટમેપ બતાવે છે, અને ફક્ત હાલની property માટે. robots.txt દ્વારા મળેલો સાઇટમેપ Google ત્યાં દેખાડ્યા વગર વાપરી શકે છે. તેનું status જોવા તેને submit કરો.
શું સાઇટમેપ errorથી મારાં પેજ Googleમાંથી દૂર થાય છે?
એકલી errorથી નહીં. Google કહે છે કે અગાઉનાં સફળ વાંચનમાંથી જે શીખ્યું તે યાદ રાખે છે, અને પછીની નિષ્ફળતા તેને ભુલાવતી નથી. સાઇટમેપ ફરી કામ કરે ત્યાં સુધી નવાં અને બદલાયેલાં પેજ ધીમે મળી શકે.
શું સાઇટમેપ delete કરીને ફરી submit કરવાથી error દૂર થશે?
ફક્ત ત્યારે જ્યારે કારણ સુધરી ગયું હોય. રિપોર્ટમાંથી સાઇટમેપ દૂર કરવાથી Google તેને કે તેના URLને ભૂલતું નથી, અને ફરી submit કરેલો સાઇટમેપ હજી નિષ્ફળ જાય તો તેને એ જ error મળે છે.
સ્રોતો
- Google Search Console Help: Sitemaps report
- Google Search Console Help: Rapport sur les sitemaps (French)
- Google Search Central: Build and submit a sitemap
- Sitemaps.org: Sitemaps XML format
- Google: Verify requests from Google crawlers and fetchers
- Google: Google's common crawlers
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers