خطاهای sitemap در Google Search Console چه معنایی دارند و چطور رفعشان کنم؟
خطاهای sitemap در Google Search Console یا یعنی Google اصلاً نتوانسته فایل را دانلود کند (Couldn't fetch که در صفحه جزئیات به شکل Sitemap could not be read نشان داده میشود) یا آن را دانلود کرده اما نتوانسته بخشی از آن را پردازش کند (Has errors). شکست در دریافت معمولاً از URL اشتباه، یک قانون robots.txt، خطای سرور یا فایروالی است که به Googlebot پاسخ میدهد؛ خطاهای پردازش از XML خراب، تاریخهای نادرست، URLهای اشتباه یا فایلهای بیش از 50,000 URL یا 50 MB میآیند. URL نقشه سایت را از بیرون با curl تست کنید، علت را رفع کنید و دوباره ارسال کنید.
گزارش Sitemaps در Search Console کمحرف است: یک وضعیت، یک عدد و گاهی نام یک خطا. پشت هر وضعیت یک خطای مشخص است که میتوانید در یک دقیقه از ترمینال خودتان بازتولیدش کنید. این راهنما هر پیامی را که Google مستند کرده به علتش وصل میکند، نشان میدهد چطور از بیرون تستش کنید و راه رفع را فهرست میکند.
در این صفحه
- وضعیتهای sitemap در Search Console چه معنایی دارند؟
- چرا Search Console میگوید Couldn't fetch یا Sitemap could not be read؟
- چطور یک sitemap را از بیرون تست کنم؟
- پیامهای Has errors چه معنایی دارند و چطور رفعشان کنم؟
- محدودیتهای اندازه و قوانین قالب sitemap چیست؟
- آیا خزندههای هوش مصنوعی هم از sitemap استفاده میکنند؟
وضعیتهای sitemap در Search Console چه معنایی دارند؟
هر sitemap که ارسال میکنید یک وضعیت میگیرد، مربوط به آخرین باری که Google آن را درخواست کرده است:
- Success (موفق): sitemap دریافت و بدون خطا پردازش شده و همه URLهای آن در صف خزش قرار گرفتهاند.
- Has errors (که به شکل Sitemap had X errors هم نشان داده میشود): فایل دریافت شده، اما بخشهایی از آن پردازش نشده است. URLهایی که درست پردازش شدهاند همچنان در صف قرار میگیرند.
- Couldn't fetch (دریافت نشد): Google نتوانسته خود فایل را دریافت کند. وقتی sitemap را باز میکنید، صفحه جزئیات میگوید Sitemap could not be read. در Search Console فرانسوی همین پیام Impossible de lire le sitemap است و وضعیت سطح بالا Impossible de récupérer le sitemap.
اگر دریافت یا پردازش شکست بخورد، Google چند روز تلاش میکند و سپس درخواست آن sitemap را متوقف میکند، پس sitemap خراب خودبهخود درست نمیشود. دو نکته دیگر بسیاری از گزارشهای گیجکننده را توضیح میدهد: این گزارش فقط sitemapهایی را فهرست میکند که از طریق خود گزارش یا API ارسال شدهاند، نه آنهایی که در robots.txt پیدا شدهاند، و فقط sitemapهای property فعلی را نشان میدهد، پس بررسی کنید در property درست هستید: http یا https و با www یا بدون www.
چرا Search Console میگوید Couldn't fetch یا Sitemap could not be read؟
Google این علتهای مستند را برای شکست در دریافت فهرست کرده است:
- sitemap با robots.txt مسدود شده است. Google هنگام دریافت sitemapها به robots.txt احترام میگذارد، پس قانونی مثل
Disallow: /sitemapجلوی آن را میگیرد. - URL اشتباه است و 404 برمیگرداند. مسیر متفاوت، نبودن
www، یاhttpبهجایhttpsاشتباهات رایجاند. - یک خطای کلی، مثل در دسترس نبودن سرور. بعضی از اینها موقتیاند.
- سایت یک manual action حلنشده دارد. تا رفع آن، sitemapها خوانده نمیشوند.
- تقاضای خزش برای sitemap کم است.
یک علت که Google جداگانه نام نمیبرد به شکل خطای کلی یا خطای HTTP ظاهر میشود: فایروال، CDN یا محافظ رباتی که به Googlebot پاسخ 403، 429 یا صفحه چالش میدهد در حالی که مرورگر شما فایل را میگیرد. الزام ورود به حساب جلوی فایل هم همین اثر را دارد. برای تأیید شکست از سمت Google، URL نقشه سایت را در ابزار URL Inspection وارد کنید، یک تست زنده اجرا کنید و بررسی کنید Crawl allowed روی Yes و Page fetch روی Successful باشد.
چطور یک sitemap را از بیرون تست کنم؟
این چهار بررسی را از هر رایانهای اجرا کنید. example.com را با دامنه خودتان جایگزین کنید.
# 1. Status, redirects and content type
curl -sIL https://example.com/sitemap.xml | grep -iE '^(HTTP|location|content-type)'
# 2. The same file requested with Googlebot's user agent
curl -s -o /dev/null -w "%{http_code} %{content_type} %{size_download}\n" \
-A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
https://example.com/sitemap.xml
# 3. Rules and Sitemap lines in robots.txt
curl -s https://example.com/robots.txt | grep -iE '^(user-agent|disallow|allow|sitemap)'
# 4. Well-formed XML and number of URLs
curl -s https://example.com/sitemap.xml -o sitemap.xml
xmllint --noout sitemap.xml && grep -o '<loc>' sitemap.xml | wc -l به اینها دقت کنید: وضعیت نهایی باید 200 باشد. زنجیرهای از ریدایرکتها یعنی نشانیای را ارسال کردهاید که نشانی نهایی نیست؛ Search Console دقیقاً URL ارسالشده را نشان میدهد و ریدایرکتهای آن را دنبال نمیکند، پس URL نهایی را ارسال کنید. نوع محتوای text/html همراه با بدنه HTML یعنی سرور بهجای فایل یک صفحه فرستاده است، اغلب صفحه 404 یا صفحه اصلی. اگر بررسی 2 پاسخ 403، 429 یا 503 بدهد در حالی که بررسی 1 پاسخ 200 میدهد، یک قانون فایروال با خزندهها متفاوت رفتار میکند. بعضی سرورها به درخواستهای HEAD متفاوت از GET پاسخ میدهند، به همین دلیل بررسی 2 از درخواست معمولی استفاده میکند.
تست شما از نشانی IP خودتان میآید، پس نشان میدهد قوانین شما با user agent چطور رفتار میکنند. قوانینی که بر بازههای IP تکیه دارند ممکن است همچنان با Googlebot واقعی متفاوت رفتار کنند. Google بازههای IP خزندههایش را منتشر میکند و از تأیید با DNS معکوس پشتیبانی میکند، پس قانون مجازسازی میتواند بهجای رشته user agent با خزنده واقعی تطبیق داده شود.
پیامهای Has errors چه معنایی دارند و چطور رفعشان کنم؟
وقتی فایل دریافت میشود اما کامل پردازش نمیشود، صفحه جزئیات نام خطا را میآورد. پیامهایی که به احتمال زیاد میبینید:
- Parsing error: XML پردازش نشده، اغلب به دلیل یک کاراکتر escape نشده در URL.
&را به شکل&بنویسید و'،"،<و>را هم escape کنید. - Unsupported format: سرآیند یا namespace اشتباه است. sitemap باید با اعلان XML شروع شود و از namespace
http://www.sitemaps.org/schemas/sitemap/0.9با گیومههای صاف استفاده کند. - Invalid date:
lastmodباید از قالب W3C Datetime استفاده کند، مثل2026-11-17یا2026-11-17T09:30:00+00:00. اگر زمان میآورید، منطقه زمانی را هم بیاورید. - URL not allowed: URLهای فهرستشده بالاتر از پوشه sitemap یا روی دامنه یا پروتکل دیگری هستند. Path mismatch همین مشکل با
wwwاست: sitemap و URLهایش باید با هم یکی باشند. - Too many URLs یا Sitemap file size error: بیش از 50,000 URL یا بیش از 50 MB بدون فشردهسازی. فایل را تقسیم کنید و بخشها را در یک sitemap index فهرست کنید.
- Compression error: فایل gzip خراب است. دوباره فشرده کنید، بارگذاری کنید و دوباره ارسال کنید.
- Empty sitemap: فایل هیچ URLی ندارد. ابزاری را که فایل را میسازد بررسی کنید.
- Leading whitespace: فقط یک هشدار است. هر چیزی را پیش از اعلان XML حذف کنید.
- URLs not followed یا URLs not accessible: فایل سالم است، اما URLهای فهرستشده بیش از حد ریدایرکت میشوند یا قابل خزیدن نیستند. فقط URLهای نهایی و مطلق را فهرست کنید.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/products?color=blue&size=m</loc>
<lastmod>2026-11-17</lastmod>
</url>
<url>
<loc>https://example.com/about</loc>
<lastmod>2026-11-10T09:30:00+00:00</lastmod>
</url>
</urlset> محدودیتهای اندازه و قوانین قالب sitemap چیست؟
پروتکل sitemaps.org و مستندات Google محدودیتهای یکسانی تعیین میکنند: حداکثر 50,000 URL و حداکثر 50 MB بدون فشردهسازی برای هر فایل sitemap. یک sitemap index میتواند تا 50,000 sitemap را فهرست کند و همان محدودیت اندازه را دارد، و Google وقتی index از آن فراتر برود Too many sitemaps گزارش میکند. indexها نمیتوانند به indexهای دیگر اشاره کنند. فایل باید با UTF-8 کدگذاری شده باشد، همه مقادیر باید entity-escape شده باشند و Google URLهای کامل و مطلق میخواهد.
Google همچنین میگوید priority و changefreq را نادیده میگیرد و از lastmod فقط وقتی استفاده میکند که پیوسته و بهطور قابل تأیید دقیق باشد، پس آن را روی تاریخ آخرین تغییر معنادار محتوا بگذارید. طبق پروتکل sitemaps.org، sitemap در https://example.com/blog/sitemap.xml فقط میتواند URLهای زیر /blog/ را فهرست کند، به همین دلیل Google توصیه میکند sitemapها را در ریشه سایت بگذارید. یک سایت بزرگ URLهایش را در چند فایل تقسیم میکند و یک index ارسال میکند:
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://example.com/sitemap-pages.xml</loc>
<lastmod>2026-11-17</lastmod>
</sitemap>
<sitemap>
<loc>https://example.com/sitemap-blog.xml.gz</loc>
<lastmod>2026-11-15</lastmod>
</sitemap>
</sitemapindex> یک خط با URL کامل هم به robots.txt اضافه کنید، مثلاً Sitemap: https://example.com/sitemap.xml. میتواند هر جای فایل باشد و هر خزندهای که robots.txt را میخواند میتواند sitemap شما را از آن پیدا کند، نه فقط آنهایی که sitemap را برایشان ارسال میکنید.
آیا خزندههای هوش مصنوعی هم از sitemap استفاده میکنند؟
برای Google بهطور غیرمستقیم بله. sitemapها به Google کمک میکنند URLها را برای ایندکس جستجو کشف کند، و Google میگوید AI Overviews و AI Mode از همان ایندکس استفاده میکنند: صفحه برای ظاهر شدن بهعنوان لینک پشتیبان باید ایندکس شده و واجد شرایط نمایش اسنیپت باشد. پس خطای sitemap که ایندکس شدن را کند میکند، ممکن است ظاهر شدن صفحه در قابلیتهای هوش مصنوعی Google را هم به تأخیر بیندازد.
برای موتورهای پاسخ دیگر، مستند نشده است. مستندات خزندههای OpenAI، Anthropic و Perplexity نمیگوید خزندههایشان sitemap میخوانند یا نه، پس روی sitemap برای رساندن صفحه به ChatGPT، Claude یا Perplexity حساب نکنید. آنجا لینکهای داخلی و robots.txt و فایروال باز مهمترند. داشتن sitemap سالم و یک خط Sitemap: در robots.txt هزینهای ندارد و به هر خزندهای که از آنها استفاده کند کمک میکند.
گزارش کامل AISeeWhy sitemapهایی را که در robots.txt اعلام شده یا در /sitemap.xml پیدا شدهاند میخواند و sitemapی را که دریافت یا پردازش نشود علامت میزند، با راهنمای رفع برای هر حالت: sitemap در دسترس نیست و sitemap قابل خواندن نیست.
راهحلهای این مشکل
- پیوندهای خراب در llms.txt: 2
- نقشه سایت پیدا نشد
- نقشه سایت قابل دریافت نیست (وضعیت 403)
- نقشه سایت قابل خواندن نیست
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
Impossible de lire le sitemap یعنی چه؟
متن Search Console فرانسوی برای Sitemap could not be read است. وقتی Google اصلاً نتوانسته فایل را دریافت کند در صفحه جزئیات ظاهر میشود. URL، robots.txt، کد وضعیت سرور و فایروال خود را بررسی کنید، علت را رفع کنید و دوباره ارسال کنید.
چقدر بعد از رفع خطا Google دوباره sitemap من را میخواند؟
Google میگوید سعی میکند sitemap را به محض ارسال بخزد، پس پس از رفع خطا دوباره ارسالش کنید. پس از یک خواندن موفق، sitemap را طبق برنامه خودش و مستقل از بقیه سایت دوباره میخزد.
چرا sitemap من در گزارش Sitemaps فهرست نشده است؟
این گزارش فقط sitemapهایی را نشان میدهد که از طریق خود گزارش یا API ارسال شدهاند، و فقط برای property فعلی. sitemapی که از طریق robots.txt پیدا شده ممکن است بدون نمایش در آنجا توسط Google استفاده شود. برای دیدن وضعیتش آن را ارسال کنید.
آیا خطای sitemap صفحههای من را از Google حذف میکند؟
بهخودیخود نه. Google میگوید آنچه را از خواندنهای موفق قبلی آموخته به خاطر میسپارد و یک شکست بعدی باعث فراموشی آن نمیشود. صفحههای جدید و تغییرکرده ممکن است تا وقتی sitemap دوباره کار کند کندتر پیدا شوند.
آیا حذف و ارسال دوباره sitemap خطا را پاک میکند؟
فقط اگر علت رفع شده باشد. حذف sitemap از گزارش باعث نمیشود Google آن یا URLهایش را فراموش کند، و sitemapی که دوباره ارسال شود و همچنان شکست بخورد همان خطا را میگیرد.
منابع
- Google Search Console Help: Sitemaps report
- Google Search Console Help: Rapport sur les sitemaps (French)
- Google Search Central: Build and submit a sitemap
- Sitemaps.org: Sitemaps XML format
- Google: Verify requests from Google crawlers and fetchers
- Google: Google's common crawlers
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers