Google Search Console मधील sitemap errors चा अर्थ काय आणि त्या कशा दुरुस्त कराव्या?
Google Search Console मधील sitemap errors चा अर्थ असा की Google फाइल मुळीच डाउनलोड करू शकले नाही (Couldn't fetch, जे तपशील पेजवर Sitemap could not be read म्हणून दिसते) किंवा डाउनलोड केली पण तिचा काही भाग पार्स करू शकले नाही (Has errors). Fetch अयशस्वी होण्याचे कारण सहसा चुकीचा URL, robots.txt नियम, सर्व्हर error किंवा Googlebot ला उत्तर देणारा फायरवॉल असते; पार्सिंग errors तुटलेल्या XML, चुकीच्या तारखा, चुकीचे URL किंवा 50,000 URL किंवा 50 MB पेक्षा मोठ्या फाइलमुळे येतात. Sitemap URL बाहेरून curl ने तपासा, कारण दुरुस्त करा, मग पुन्हा submit करा.
Search Console मधील Sitemaps अहवाल शब्दांच्या बाबतीत कंजूष आहे: एक स्थिती, एक आकडा आणि कधी कधी error चे नाव. प्रत्येक स्थितीमागे एक विशिष्ट अपयश असते, जे तुम्ही तुमच्या terminal मधून एका मिनिटात पुन्हा निर्माण करू शकता. हा मार्गदर्शक Google दस्तऐवजात देत असलेला प्रत्येक संदेश त्याच्या कारणाशी जोडतो, तो बाहेरून कसा तपासावा ते दाखवतो, आणि उपाय सांगतो.
या पेजवर
Search Console मधील sitemap स्थितींचा अर्थ काय?
तुम्ही submit केलेल्या प्रत्येक sitemap ला, Google ने तो शेवटचा मागितला तेव्हाची एक स्थिती मिळते:
- Success: sitemap मिळवला गेला आणि errors शिवाय प्रक्रिया झाली, आणि त्यातील सर्व URL क्रॉलिंगसाठी रांगेत आहेत.
- Has errors (Sitemap had X errors असेही दिसते): फाइल मिळवली गेली, पण तिचे काही भाग पार्स होऊ शकले नाहीत. योग्य पार्स झालेले URL तरीही रांगेत राहतात.
- Couldn't fetch: Google फाइलच मिळवू शकले नाही. Sitemap उघडल्यावर तपशील पेजवर Sitemap could not be read असे दिसते. फ्रेंच Search Console मध्ये हाच संदेश Impossible de lire le sitemap असा, आणि वरची स्थिती Impossible de récupérer le sitemap अशी दिसते.
Fetch किंवा parse अयशस्वी झाल्यास Google काही दिवस प्रयत्न करत राहते आणि मग तो sitemap मागणे थांबवते, त्यामुळे तुटलेला sitemap आपोआप दुरुस्त होत नाही. आणखी दोन तपशील अनेक गोंधळात टाकणारे अहवाल स्पष्ट करतात: अहवाल फक्त अहवालातून किंवा API मधून submit केलेले sitemaps दाखवतो, robots.txt मध्ये सापडलेले नाही, आणि फक्त सध्याच्या property चे sitemaps दाखवतो, त्यामुळे तुम्ही योग्य http किंवा https आणि www किंवा non-www property मध्ये आहात का ते तपासा.
Search Console Couldn't fetch किंवा Sitemap could not be read का दाखवते?
Fetch अयशस्वी होण्याची ही दस्तऐवजीकृत कारणे Google देते:
- Sitemap robots.txt ने ब्लॉक आहे. Sitemaps मिळवताना Google robots.txt पाळते, त्यामुळे
Disallow: /sitemapसारखा नियम तो थांबवतो. - URL चुकीचा आहे आणि 404 देतो. वेगळा पाथ, गहाळ
www, किंवाhttpsऐवजीhttpया नेहमीच्या चुका आहेत. - सर्व्हर उपलब्ध नसणे यासारखी सामान्य error. यापैकी काही तात्पुरत्या असतात.
- साइटवर न सुटलेली manual action आहे. ती दुरुस्त होईपर्यंत sitemaps वाचले जात नाहीत.
- Sitemap साठी कमी crawl demand.
Google स्वतंत्रपणे नाव न देणारे एक कारण सामान्य किंवा HTTP error म्हणून दिसते: फायरवॉल, CDN किंवा bot protection जो Googlebot ला 403, 429 किंवा चॅलेंज पेज देतो, तर तुमच्या ब्राउझरला फाइल मिळते. फाइलसमोर लॉगिनची अट असेल तरी तेच होते. Google च्या बाजूने अपयशाची खात्री करण्यासाठी sitemap URL, URL Inspection टूलमध्ये पेस्ट करा, live test चालवा आणि Crawl allowed हे Yes आणि Page fetch हे Successful आहे का ते तपासा.
Sitemap बाहेरून कसा तपासावा?
या चार तपासण्या कोणत्याही कॉम्प्युटरवरून चालवा. example.com च्या जागी तुमचे डोमेन टाका.
# 1. Status, redirects and content type
curl -sIL https://example.com/sitemap.xml | grep -iE '^(HTTP|location|content-type)'
# 2. The same file requested with Googlebot's user agent
curl -s -o /dev/null -w "%{http_code} %{content_type} %{size_download}\n" \
-A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
https://example.com/sitemap.xml
# 3. Rules and Sitemap lines in robots.txt
curl -s https://example.com/robots.txt | grep -iE '^(user-agent|disallow|allow|sitemap)'
# 4. Well-formed XML and number of URLs
curl -s https://example.com/sitemap.xml -o sitemap.xml
xmllint --noout sitemap.xml && grep -o '<loc>' sitemap.xml | wc -l काय पाहायचे: अंतिम स्टेटस 200 असायला हवे. Redirects ची साखळी म्हणजे तुम्ही अंतिम नसलेला पत्ता submit केला; Search Console तुम्ही submit केलेला नेमका URL दाखवते आणि त्यासाठी redirects follow करत नाही, त्यामुळे अंतिम URL submit करा. HTML body सोबत text/html content type म्हणजे सर्व्हरने फाइलऐवजी पेज पाठवले, बहुतेकदा 404 पेज किंवा होम पेज. तपासणी 1 ने 200 दिले असताना तपासणी 2 ने 403, 429 किंवा 503 दिले तर एखादा फायरवॉल नियम क्रॉलरना वेगळी वागणूक देत आहे. काही सर्व्हर HEAD requests ना GET पेक्षा वेगळे उत्तर देतात, म्हणूनच तपासणी 2 सामान्य request वापरते.
तुमची चाचणी तुमच्या स्वतःच्या IP पत्त्यावरून येते, त्यामुळे ती तुमचे नियम युजर एजंटला कसे हाताळतात ते दाखवते. IP रेंजवर आधारित नियम खऱ्या Googlebot ला तरीही वेगळी वागणूक देऊ शकतात. Google त्याच्या क्रॉलरच्या IP रेंज प्रकाशित करते आणि reverse DNS पडताळणीला सपोर्ट करते, त्यामुळे allow नियम युजर एजंट स्ट्रिंगऐवजी खऱ्या क्रॉलरशी जुळवता येतो.
Has errors संदेशांचा अर्थ काय आणि ते कसे दुरुस्त करावे?
फाइल मिळवली गेली पण पूर्ण पार्स होऊ शकली नाही तेव्हा तपशील पेज error चे नाव सांगते. तुम्हाला बहुधा दिसतील अशा errors:
- Parsing error: XML पार्स होऊ शकले नाही, बहुतेकदा URL मधील escape न केलेल्या अक्षरामुळे.
&हे&असे लिहा, आणि',",<आणि>सुद्धा escape करा. - Unsupported format: header किंवा namespace चुकीचे आहे. Sitemap XML declaration ने सुरू व्हायला हवा आणि सरळ अवतरण चिन्हांसह
http://www.sitemaps.org/schemas/sitemap/0.9namespace वापरायला हवा. - Invalid date:
lastmodमध्ये W3C Datetime वापरायला हवे, जसे2026-11-17किंवा2026-11-17T09:30:00+00:00. वेळ दिली तर time zone सुद्धा द्या. - URL not allowed: दिलेले URL sitemap च्या फोल्डरच्या वर आहेत किंवा दुसऱ्या डोमेन किंवा protocol वर आहेत. Path mismatch ही
wwwसह तीच समस्या आहे: sitemap आणि त्यातील URL जुळायला हवेत. - Too many URLs किंवा Sitemap file size error: 50,000 पेक्षा जास्त URL किंवा uncompressed 50 MB पेक्षा जास्त. फाइल विभागा आणि भाग sitemap index मध्ये द्या.
- Compression error: gzip फाइल खराब झाली आहे. ती पुन्हा compress करा, अपलोड करा आणि पुन्हा submit करा.
- Empty sitemap: फाइलमध्ये एकही URL नाही. ती लिहिणारा generator तपासा.
- Leading whitespace: फक्त warning. XML declaration च्या आधीचे सर्व काढून टाका.
- URLs not followed किंवा URLs not accessible: फाइल ठीक आहे, पण दिलेले URL खूप वेळा redirect होतात किंवा क्रॉल होऊ शकत नाहीत. फक्त अंतिम, absolute URL द्या.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/products?color=blue&size=m</loc>
<lastmod>2026-11-17</lastmod>
</url>
<url>
<loc>https://example.com/about</loc>
<lastmod>2026-11-10T09:30:00+00:00</lastmod>
</url>
</urlset> Sitemap च्या आकाराच्या मर्यादा आणि स्वरूपाचे नियम कोणते?
sitemaps.org protocol आणि Google चे दस्तऐवज सारख्याच मर्यादा ठरवतात: प्रत्येक sitemap फाइलमध्ये 50,000 पेक्षा जास्त URL नाहीत आणि uncompressed 50 MB पेक्षा जास्त नाही. Sitemap index मध्ये 50,000 पर्यंत sitemaps देता येतात आणि आकाराची तीच मर्यादा असते, आणि index ती ओलांडतो तेव्हा Google Too many sitemaps दाखवते. Index इतर indexes कडे निर्देश करू शकत नाहीत. फाइल UTF-8 encoded असावी, प्रत्येक मूल्य entity-escaped असावे, आणि Google पूर्ण, absolute URL मागते.
Google असेही सांगते की ते priority आणि changefreq दुर्लक्षित करते, आणि lastmod सातत्याने व पडताळता येईल इतके अचूक असेल तेव्हाच वापरते, त्यामुळे ते मजकूर शेवटचा अर्थपूर्णरित्या बदलला त्या तारखेवर ठेवा. sitemaps.org protocol नुसार https://example.com/blog/sitemap.xml येथील sitemap फक्त /blog/ खालील URL देऊ शकतो, म्हणूनच Google sitemaps साइटच्या root वर ठेवण्याची शिफारस करते. मोठी साइट तिचे URL अनेक फाइलमध्ये विभागते आणि एक index submit करते:
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://example.com/sitemap-pages.xml</loc>
<lastmod>2026-11-17</lastmod>
</sitemap>
<sitemap>
<loc>https://example.com/sitemap-blog.xml.gz</loc>
<lastmod>2026-11-15</lastmod>
</sitemap>
</sitemapindex> robots.txt मध्ये पूर्ण URL असलेली एक ओळही जोडा, उदाहरणार्थ Sitemap: https://example.com/sitemap.xml. ती फाइलमध्ये कुठेही असू शकते, आणि robots.txt वाचणारा कोणताही क्रॉलर, फक्त तुम्ही submit करता तेच नव्हे, तिच्यावरून तुमचा sitemap शोधू शकतो.
AI क्रॉलरही sitemaps वापरतात का?
Google साठी अप्रत्यक्षपणे होय. Sitemaps Google ला त्याच्या Search इंडेक्ससाठी URL शोधायला मदत करतात, आणि Google सांगते की त्याचे AI Overviews आणि AI Mode त्या इंडेक्सवर आधारित आहेत: supporting link म्हणून दिसण्यासाठी पेज इंडेक्स झालेले आणि snippet साठी पात्र असावे. त्यामुळे इंडेक्सिंग मंदावणारी sitemap error Google च्या AI फीचरमध्ये पेज दिसण्यासही उशीर करू शकते.
इतर answer engines साठी हे दस्तऐवजीकृत नाही. OpenAI, Anthropic आणि Perplexity चे क्रॉलर दस्तऐवज त्यांचे क्रॉलर sitemaps वाचतात का हे सांगत नाहीत, त्यामुळे ChatGPT, Claude किंवा Perplexity मध्ये पेज आणण्यासाठी sitemap वर अवलंबून राहू नका. तिथे अंतर्गत लिंक आणि खुले robots.txt व फायरवॉल अधिक महत्त्वाचे आहेत. चालणारा sitemap आणि robots.txt मधील Sitemap: ओळ ठेवायला काहीच खर्च नाही आणि ते वापरणाऱ्या कोणत्याही क्रॉलरला उपयोगी पडतात.
AISeeWhy चा पूर्ण अहवाल robots.txt मध्ये जाहीर केलेले किंवा /sitemap.xml वर सापडलेले sitemaps वाचतो आणि मिळवता न येणारा किंवा पार्स न होणारा sitemap दाखवतो, प्रत्येक प्रकारासाठी उपाय मार्गदर्शकासह: sitemap पोहोचण्याजोगा नाही आणि sitemap वाचता येत नाही.
या समस्येवरील उपाय
- llms.txt मधील तुटलेल्या लिंक: 2
- Sitemap सापडले नाही
- Sitemap मिळवता येत नाही (स्टेटस 403)
- Sitemap वाचता येत नाही
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- AI क्रॉलर IP तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
Impossible de lire le sitemap म्हणजे काय?
हा Sitemap could not be read साठीचा फ्रेंच Search Console मजकूर आहे. Google फाइल मुळीच मिळवू शकले नाही तेव्हा तो तपशील पेजवर दिसतो. URL, robots.txt, सर्व्हरचा स्टेटस कोड आणि तुमचा फायरवॉल तपासा, कारण दुरुस्त करा आणि पुन्हा submit करा.
दुरुस्तीनंतर Google माझा sitemap किती वेळात पुन्हा वाचेल?
Google सांगते की तुम्ही sitemap submit करताच ते तो क्रॉल करण्याचा प्रयत्न करते, त्यामुळे दुरुस्तीनंतर पुन्हा submit करा. यशस्वी वाचनानंतर ते साइटच्या इतर भागापासून स्वतंत्रपणे, स्वतःच्या वेळापत्रकाने sitemap पुन्हा क्रॉल करते.
माझा sitemap Sitemaps अहवालात का दिसत नाही?
अहवाल फक्त अहवालातून किंवा API मधून submit केलेले sitemaps दाखवतो, आणि फक्त सध्याच्या property साठी. robots.txt मधून सापडलेला sitemap तिथे न दिसताही Google वापरू शकते. त्याची स्थिती पाहण्यासाठी तो submit करा.
Sitemap error मुळे माझी पेजेस Google मधून काढली जातात का?
स्वतःहून नाही. Google सांगते की आधीच्या यशस्वी वाचनांमधून शिकलेले ते लक्षात ठेवते, आणि नंतरच्या अपयशामुळे ते विसरत नाही. Sitemap पुन्हा चालू होईपर्यंत नवीन आणि बदललेली पेजेस हळू सापडू शकतात.
Sitemap हटवून पुन्हा submit केल्याने error जाते का?
कारण दुरुस्त झाले असेल तरच. अहवालातून sitemap काढल्याने Google तो किंवा त्याचे URL विसरत नाही, आणि अजूनही अयशस्वी होणाऱ्या पुन्हा submit केलेल्या sitemap ला तीच error मिळते.
स्रोत
- Google Search Console Help: Sitemaps report
- Google Search Console Help: Rapport sur les sitemaps (French)
- Google Search Central: Build and submit a sitemap
- Sitemaps.org: Sitemaps XML format
- Google: Verify requests from Google crawlers and fetchers
- Google: Google's common crawlers
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers