نقشه سایت قابل دریافت نیست (وضعیت 403)
یک نقشه سایت اعلام شده یا انتظار میرود، اما دریافت آن با خطا، 401، 403، 429 یا وضعیت 5xx ناموفق بود، پس ممکن است خزندهها هم نتوانند آن را بخوانند. ممیزی آن را مانند یک مرورگر دریافت میکند. URL نقشه سایت را عمومی کنید و آن را از چالشهای ربات و محدودیت نرخ مستثنا کنید.
یعنی چه
یک نقشه سایت پیدا شد، اما با وضعیت 403 پاسخ داد یا پاسخی نداد، پس احتمالاً خزندهها هم نمیتوانند از آن استفاده کنند. بررسی کنید که فایروال شما اجازه دریافت آن را به خزندهها میدهد.
چرا برای جستجوی هوش مصنوعی مهم است
نقشه سایتی که 403 یا خطای سرور برمیگرداند عملاً وجود ندارد: خزندهها نمیتوانند از آن درباره صفحههای جدید یا تغییرکرده باخبر شوند. محافظت در برابر ربات علت رایجی است، چون درخواستهای نقشه سایت تقریباً همه از خزندهها میآیند و آن قوانین دقیقاً برای متوقف کردن آنها ساخته شدهاند.
نقشههای سایت بزرگی که در هر درخواست ساخته میشوند هم ممکن است زمانشان تمام شود یا به محدودیتهای سرور بخورند که به شکل وضعیت 5xx ظاهر میشود. چون ممیزی فایل را مانند یک مرورگر دریافت میکند، شکست در اینجا معمولاً یعنی خزندهها هم رد میشوند.
چطور آن را اصلاح کنید
- URL نقشه سایت را از گزارش باز کنید و وضعیت را یادداشت کنید. گزارش AISeeWhy شواهد و یک راهحل آماده برای چسباندن را نشان میدهد؛ پس از آن «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
- در CDN یا WAF خود، مسیرهای نقشه سایت (مثلاً
/sitemap*.xml) را از چالشها، Bot Fight Mode و محدودیت نرخ مستثنا کنید. - اگر مانند یک محیط staging پشت احراز هویت است، آن را روی میزبان production عمومی کنید.
- برای خطاهای 5xx، نقشه سایت ساختهشده را کش کنید یا آن را از پیش بهصورت فایل ایستا بسازید، و نقشههای خیلی بزرگ را با یک sitemap index تقسیم کنید.
چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.