Google Search Console-এ সাইটম্যাপ এররের মানে কী, আর কীভাবে ঠিক করব?
Google Search Console-এ সাইটম্যাপ এরর মানে হয় Google ফাইলটি একেবারেই ডাউনলোড করতে পারেনি (Couldn't fetch, বিস্তারিত পেজে Sitemap could not be read), নয়তো ডাউনলোড করেছে কিন্তু এর কিছু অংশ পার্স করতে পারেনি (Has errors)। ফেচ ব্যর্থ হয় সাধারণত ভুল URL, robots.txt রুল, সার্ভার এরর বা Googlebot-কে উত্তর দেওয়া ফায়ারওয়ালের কারণে; পার্সিং এরর আসে ভাঙা XML, ভুল তারিখ, ভুল URL, বা 50,000-এর বেশি URL বা 50 MB-এর বড় ফাইল থেকে। curl দিয়ে বাইরে থেকে সাইটম্যাপের URL পরীক্ষা করুন, কারণ ঠিক করুন, তারপর আবার জমা দিন।
Search Console-এর Sitemaps রিপোর্ট কথায় কৃপণ: একটি স্ট্যাটাস, একটি সংখ্যা, আর কখনো কখনো একটি এররের নাম। প্রতিটি স্ট্যাটাসের পেছনে আছে নির্দিষ্ট একটি ব্যর্থতা, যা আপনি এক মিনিটে নিজের টার্মিনাল থেকে আবার ঘটিয়ে দেখতে পারেন। এই গাইড Google-এর নথিভুক্ত প্রতিটি বার্তাকে তার কারণের সঙ্গে মেলায়, বাইরে থেকে কীভাবে পরীক্ষা করবেন দেখায় এবং সমাধান জানায়।
এই পেজে
Search Console-এ সাইটম্যাপের স্ট্যাটাসগুলোর মানে কী?
আপনার জমা দেওয়া প্রতিটি সাইটম্যাপ একটি স্ট্যাটাস পায়, Google শেষবার যখন এটি চেয়েছিল সেই অনুযায়ী:
- Success: সাইটম্যাপ আনা ও এরর ছাড়াই প্রসেস করা হয়েছে, এবং এর সব URL ক্রলের জন্য সারিতে রাখা হয়েছে।
- Has errors (Sitemap had X errors হিসেবেও দেখায়): ফাইলটি আনা হয়েছে, কিন্তু এর কিছু অংশ পার্স করা যায়নি। যে URL-গুলো ঠিকভাবে পার্স হয়েছে, সেগুলো তবুও সারিতে থাকে।
- Couldn't fetch: Google ফাইলটিই আনতে পারেনি। সাইটম্যাপটি খুললে বিস্তারিত পেজে লেখা থাকে Sitemap could not be read। ফরাসি Search Console-এ একই বার্তা Impossible de lire le sitemap, আর ওপরের স্তরের স্ট্যাটাস Impossible de récupérer le sitemap।
ফেচ বা পার্স ব্যর্থ হলে Google কয়েক দিন চেষ্টা চালিয়ে যায়, তারপর সেই সাইটম্যাপ চাওয়া বন্ধ করে দেয়, তাই ভাঙা সাইটম্যাপ নিজে থেকে ঠিক হয় না। আরও দুটি বিষয় অনেক বিভ্রান্তিকর রিপোর্টের ব্যাখ্যা দেয়: রিপোর্টটি শুধু রিপোর্ট বা API দিয়ে জমা দেওয়া সাইটম্যাপ দেখায়, robots.txt-এ পাওয়া সাইটম্যাপ নয়, আর শুধু বর্তমান প্রপার্টির সাইটম্যাপ দেখায়, তাই চেক করুন আপনি ঠিক প্রপার্টিতে আছেন কি না: http নাকি https, www-সহ নাকি www ছাড়া।
Search Console কেন Couldn't fetch বা Sitemap could not be read দেখায়?
ফেচ ব্যর্থ হওয়ার জন্য Google এই নথিভুক্ত কারণগুলো জানায়:
- সাইটম্যাপ robots.txt দিয়ে ব্লকড। সাইটম্যাপ আনার সময় Google robots.txt মানে, তাই
Disallow: /sitemap-এর মতো রুল একে থামিয়ে দেয়। - URL ভুল এবং 404 দেয়। সাধারণ ভুলগুলো হলো ভিন্ন পাথ,
wwwবাদ পড়া, বাhttps-এর বদলেhttp। - সাধারণ কোনো এরর, যেমন সার্ভার পাওয়া যাচ্ছে না। এর কিছু সাময়িক।
- সাইটে একটি অমীমাংসিত ম্যানুয়াল অ্যাকশন আছে। এটি ঠিক না হওয়া পর্যন্ত সাইটম্যাপ পড়া হয় না।
- সাইটম্যাপের জন্য ক্রলের চাহিদা কম।
একটি কারণ Google আলাদা করে বলে না, যা সাধারণ বা HTTP এরর হিসেবে দেখা দেয়: ফায়ারওয়াল, CDN বা বট সুরক্ষা Googlebot-কে 403, 429 বা চ্যালেঞ্জ পেজ দেয়, অথচ আপনার ব্রাউজার ফাইলটি পায়। ফাইলের সামনে লগইনের শর্তও একই কাজ করে। Google-এর দিক থেকে ব্যর্থতা নিশ্চিত করতে সাইটম্যাপের URL URL Inspection টুলে পেস্ট করুন, একটি লাইভ টেস্ট চালান এবং দেখুন Crawl allowed-এ Yes আর Page fetch-এ Successful আছে কি না।
বাইরে থেকে সাইটম্যাপ কীভাবে পরীক্ষা করব?
যেকোনো কম্পিউটার থেকে এই চারটি চেক চালান। example.com-এর জায়গায় আপনার ডোমেইন দিন।
# 1. Status, redirects and content type
curl -sIL https://example.com/sitemap.xml | grep -iE '^(HTTP|location|content-type)'
# 2. The same file requested with Googlebot's user agent
curl -s -o /dev/null -w "%{http_code} %{content_type} %{size_download}\n" \
-A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
https://example.com/sitemap.xml
# 3. Rules and Sitemap lines in robots.txt
curl -s https://example.com/robots.txt | grep -iE '^(user-agent|disallow|allow|sitemap)'
# 4. Well-formed XML and number of URLs
curl -s https://example.com/sitemap.xml -o sitemap.xml
xmllint --noout sitemap.xml && grep -o '<loc>' sitemap.xml | wc -l কী দেখবেন: শেষ স্ট্যাটাস 200 হতে হবে। রিডাইরেক্টের একটি শৃঙ্খল মানে আপনি এমন ঠিকানা জমা দিয়েছেন যা চূড়ান্ত নয়; Search Console আপনার জমা দেওয়া হুবহু URL দেখায় এবং সেটির রিডাইরেক্ট অনুসরণ করে না, তাই চূড়ান্ত URL জমা দিন। HTML বডির সঙ্গে text/html কনটেন্ট টাইপ মানে সার্ভার ফাইলের বদলে একটি পেজ পাঠিয়েছে, প্রায়ই 404 পেজ বা হোম পেজ। চেক 1 যদি 200 দেয় আর চেক 2 দেয় 403, 429 বা 503, তাহলে একটি ফায়ারওয়াল রুল ক্রলারদের সঙ্গে ভিন্ন আচরণ করছে। কিছু সার্ভার HEAD রিকোয়েস্টে GET-এর থেকে ভিন্ন উত্তর দেয়, তাই চেক 2 একটি সাধারণ রিকোয়েস্ট ব্যবহার করে।
আপনার পরীক্ষা আসে আপনার নিজের IP ঠিকানা থেকে, তাই এটি দেখায় আপনার রুল ইউজার এজেন্টের সঙ্গে কী আচরণ করে। IP রেঞ্জভিত্তিক রুল তবুও আসল Googlebot-এর সঙ্গে ভিন্ন আচরণ করতে পারে। Google তার ক্রলারের IP রেঞ্জ প্রকাশ করে এবং রিভার্স DNS যাচাই সমর্থন করে, তাই একটি অনুমতির রুল ইউজার এজেন্ট স্ট্রিংয়ের বদলে আসল ক্রলারের সঙ্গে মিলতে পারে।
Has errors বার্তাগুলোর মানে কী, আর কীভাবে ঠিক করব?
ফাইলটি আনা গেলেও পুরোপুরি পার্স করা না গেলে বিস্তারিত পেজ এররের নাম জানায়। যেগুলো সবচেয়ে বেশি দেখা যায়:
- Parsing error: XML পার্স করা যায়নি, প্রায়ই URL-এ এস্কেপ না করা একটি অক্ষরের কারণে।
&-কে&হিসেবে লিখুন, আর',",<ও>-ও এস্কেপ করুন। - Unsupported format: হেডার বা নেমস্পেস ভুল। একটি সাইটম্যাপ XML ডিক্লারেশন দিয়ে শুরু হতে হবে এবং সোজা উদ্ধৃতিচিহ্নসহ
http://www.sitemaps.org/schemas/sitemap/0.9নেমস্পেস ব্যবহার করতে হবে। - Invalid date:
lastmod-কে W3C Datetime ফরম্যাটে হতে হবে, যেমন2026-11-17বা2026-11-17T09:30:00+00:00। সময় দিলে টাইম জোনও দিন। - URL not allowed: তালিকার URL-গুলো সাইটম্যাপের ফোল্ডারের ওপরে, বা অন্য ডোমেইন বা প্রোটোকলে। Path mismatch হলো
wwwনিয়ে একই সমস্যা: সাইটম্যাপ ও এর URL-গুলোকে মিলতে হবে। - Too many URLs বা Sitemap file size error: 50,000-এর বেশি URL, বা আনকমপ্রেসড অবস্থায় 50 MB-এর বেশি। ফাইলটি ভাগ করুন এবং অংশগুলো একটি সাইটম্যাপ ইনডেক্সে তালিকাভুক্ত করুন।
- Compression error: gzip ফাইলটি নষ্ট। আবার কমপ্রেস করুন, আপলোড করুন এবং আবার জমা দিন।
- Empty sitemap: ফাইলে কোনো URL নেই। যে জেনারেটর এটি লেখে, তা চেক করুন।
- Leading whitespace: শুধু একটি ওয়ার্নিং। XML ডিক্লারেশনের আগে যা আছে সব সরান।
- URLs not followed বা URLs not accessible: ফাইল ঠিক আছে, কিন্তু তালিকার URL-গুলো বারবার রিডাইরেক্ট করে বা ক্রল করা যায় না। শুধু চূড়ান্ত, পূর্ণ URL তালিকাভুক্ত করুন।
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/products?color=blue&size=m</loc>
<lastmod>2026-11-17</lastmod>
</url>
<url>
<loc>https://example.com/about</loc>
<lastmod>2026-11-10T09:30:00+00:00</lastmod>
</url>
</urlset> সাইটম্যাপের আকারের সীমা ও ফরম্যাটের নিয়ম কী?
sitemaps.org প্রোটোকল ও Google-এর ডকুমেন্টেশন একই সীমা দেয়: প্রতিটি সাইটম্যাপ ফাইলে 50,000-এর বেশি URL নয় এবং আনকমপ্রেসড অবস্থায় 50 MB-এর বেশি নয়। একটি সাইটম্যাপ ইনডেক্স সর্বোচ্চ 50,000টি সাইটম্যাপ তালিকাভুক্ত করতে পারে এবং এর আকারের সীমাও একই, আর ইনডেক্স তা ছাড়ালে Google Too many sitemaps জানায়। ইনডেক্স অন্য ইনডেক্সের দিকে নির্দেশ করতে পারে না। ফাইলটি UTF-8 এনকোডেড হতে হবে, প্রতিটি মান এনটিটি-এস্কেপ করা হতে হবে, আর Google পূর্ণ, অ্যাবসোলিউট URL চায়।
Google এটাও বলে যে এটি priority ও changefreq উপেক্ষা করে, এবং lastmod তখনই ব্যবহার করে যখন এটি ধারাবাহিকভাবে ও যাচাইযোগ্যভাবে সঠিক, তাই কনটেন্ট শেষবার অর্থবহভাবে যে তারিখে বদলেছে সেটি দিন। sitemaps.org প্রোটোকল অনুযায়ী https://example.com/blog/sitemap.xml-এ থাকা একটি সাইটম্যাপ শুধু /blog/-এর নিচের URL তালিকাভুক্ত করতে পারে, তাই Google সাইটম্যাপ সাইটের রুটে রাখার পরামর্শ দেয়। বড় সাইট তার URL কয়েকটি ফাইলে ভাগ করে একটি ইনডেক্স জমা দেয়:
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://example.com/sitemap-pages.xml</loc>
<lastmod>2026-11-17</lastmod>
</sitemap>
<sitemap>
<loc>https://example.com/sitemap-blog.xml.gz</loc>
<lastmod>2026-11-15</lastmod>
</sitemap>
</sitemapindex> robots.txt-এ পূর্ণ URL-সহ একটি লাইনও যোগ করুন, যেমন Sitemap: https://example.com/sitemap.xml। এটি ফাইলের যেকোনো জায়গায় থাকতে পারে, আর robots.txt পড়ে এমন যেকোনো ক্রলার এখান থেকে আপনার সাইটম্যাপ খুঁজে পায়, শুধু যাদের কাছে জমা দিয়েছেন তারা নয়।
AI ক্রলাররাও কি সাইটম্যাপ ব্যবহার করে?
Google-এর ক্ষেত্রে, পরোক্ষভাবে হ্যাঁ। সাইটম্যাপ Google-কে তার Search ইনডেক্সের জন্য URL খুঁজে পেতে সাহায্য করে, আর Google বলে এর AI Overviews ও AI Mode সেই ইনডেক্সের ওপর নির্ভর করে: সহায়ক লিংক হিসেবে আসতে একটি পেজকে ইনডেক্সড ও স্নিপেটের যোগ্য হতে হবে। তাই যে সাইটম্যাপ এরর ইনডেক্সিং ধীর করে, তা Google-এর AI ফিচারে একটি পেজের আসাও দেরি করাতে পারে।
অন্য আনসার ইঞ্জিনের ক্ষেত্রে এটি নথিভুক্ত নয়। OpenAI, Anthropic ও Perplexity-র ক্রলার ডকুমেন্টেশন বলে না তাদের ক্রলার সাইটম্যাপ পড়ে কি না, তাই ChatGPT, Claude বা Perplexity-তে একটি পেজ আনতে সাইটম্যাপের ওপর ভরসা করবেন না। সেখানে ইন্টারনাল লিংক এবং খোলা robots.txt ও ফায়ারওয়াল বেশি গুরুত্বপূর্ণ। একটি কার্যকর সাইটম্যাপ আর robots.txt-এ একটি Sitemap: লাইন রাখতে কোনো খরচ নেই, আর যে ক্রলার এগুলো ব্যবহার করে তার কাজে লাগে।
পূর্ণ AISeeWhy রিপোর্ট robots.txt-এ ঘোষিত বা /sitemap.xml-এ পাওয়া সাইটম্যাপগুলো পড়ে এবং যে সাইটম্যাপ আনা বা পার্স করা যায় না তা চিহ্নিত করে, প্রতিটি ক্ষেত্রের জন্য সমাধানের গাইডসহ: সাইটম্যাপ পৌঁছানো যায় না এবং সাইটম্যাপ পড়া যায় না।
এই সমস্যার সমাধান
- llms.txt-এ ভাঙা লিংক: 2
- কোনো সাইটম্যাপ পাওয়া যায়নি
- সাইটম্যাপ আনা যাচ্ছে না (স্ট্যাটাস 403)
- সাইটম্যাপ পড়া যাচ্ছে না
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- AI ক্রলারের IP চেক
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
Impossible de lire le sitemap মানে কী?
এটি Sitemap could not be read-এর ফরাসি Search Console টেক্সট। Google ফাইলটি একেবারেই আনতে না পারলে এটি বিস্তারিত পেজে দেখা যায়। URL, robots.txt, সার্ভারের স্ট্যাটাস কোড ও আপনার ফায়ারওয়াল চেক করুন, কারণ ঠিক করুন এবং আবার জমা দিন।
ঠিক করার কতক্ষণ পরে Google আমার সাইটম্যাপ আবার পড়বে?
Google বলে, আপনি জমা দেওয়ার সঙ্গে সঙ্গেই এটি সাইটম্যাপ ক্রল করার চেষ্টা করে, তাই ঠিক করার পরে আবার জমা দিন। সফলভাবে পড়ার পরে এটি সাইটের বাকি অংশ থেকে স্বাধীনভাবে নিজের সময়সূচিতে সাইটম্যাপ আবার ক্রল করে।
Sitemaps রিপোর্টে আমার সাইটম্যাপ নেই কেন?
রিপোর্টটি শুধু রিপোর্ট বা API দিয়ে জমা দেওয়া সাইটম্যাপ দেখায়, আর শুধু বর্তমান প্রপার্টির জন্য। robots.txt দিয়ে পাওয়া সাইটম্যাপ Google সেখানে না দেখিয়েই ব্যবহার করতে পারে। এর স্ট্যাটাস দেখতে এটি জমা দিন।
সাইটম্যাপ এরর কি Google থেকে আমার পেজ সরিয়ে দেয়?
নিজে থেকে নয়। Google বলে, আগের সফল পড়া থেকে যা শিখেছে তা এটি মনে রাখে, আর পরের ব্যর্থতায় তা ভুলে যায় না। সাইটম্যাপ আবার কাজ না করা পর্যন্ত নতুন ও বদলানো পেজ খুঁজে পেতে বেশি সময় লাগতে পারে।
সাইটম্যাপ মুছে আবার জমা দিলে কি এরর চলে যাবে?
শুধু কারণ ঠিক হলে। রিপোর্ট থেকে সাইটম্যাপ সরালে Google সেটি বা এর URL ভুলে যায় না, আর আবার জমা দেওয়া সাইটম্যাপ এখনো ব্যর্থ হলে একই এরর পায়।
উৎস
- Google Search Console Help: Sitemaps report
- Google Search Console Help: Rapport sur les sitemaps (ফরাসি)
- Google Search Central: Build and submit a sitemap
- Sitemaps.org: Sitemaps XML format
- Google: Verify requests from Google crawlers and fetchers
- Google: Google's common crawlers
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers