לא ניתן לאחזר את ה-sitemap (סטטוס 403)
sitemap מוצהר או צפוי, אבל משיכתו נכשלה עם שגיאה, 401, 403, 429 או סטטוס 5xx, ולכן ייתכן שגם סורקים לא יוכלו לקרוא אותו. הבדיקה מושכת אותו כדפדפן. הפכו את כתובת ה-sitemap לציבורית ופטרו אותה מאתגרי בוטים ומהגבלות קצב.
מה זה אומר
נמצא sitemap, אבל הוא השיב בסטטוס 403 או שלא השיב כלל, ולכן ייתכן שגם זחלנים לא יוכלו להשתמש בו. ודאו שחומת האש מאפשרת לזחלנים לאחזר אותו.
למה זה חשוב לחיפוש AI
sitemap שמחזיר 403 או שגיאת שרת שווה לחסר: סורקים לא יכולים ללמוד ממנו על עמודים חדשים או שהשתנו. הגנת בוטים היא סיבה נפוצה, כי בקשות ל-sitemap מגיעות כמעט כולן מסורקים, והכללים האלה נבנו כדי לעצור אותם.
sitemap גדולים שנוצרים בכל בקשה עלולים גם לפקוע או לפגוע במגבלות השרת, וזה מתבטא בסטטוס 5xx. מכיוון שהבדיקה מושכת את הקובץ כדפדפן, כשל כאן פירושו בדרך כלל שגם סורקים נדחים.
איך מתקנים
- פתחו את כתובת ה-sitemap מהדוח ורשמו את הסטטוס. דוח AISeeWhy מציג את הראיות ותיקון מוכן להדבקה; אחרי התיקון הריצו "בדיקה חוזרת" כדי לאשר את התוצאה.
- ב-CDN או ב-WAF, פטרו את נתיבי ה-sitemap (למשל
/sitemap*.xml) מאתגרים, מ-Bot Fight Mode ומהגבלת קצב. - אם הוא מאחורי אימות בהגדרה בסגנון סביבת בדיקות, הפכו אותו לציבורי במארח הייצור.
- בשגיאות 5xx, שמרו את ה-sitemap שנוצר במטמון או בנו אותו מראש כקובץ סטטי, ופצלו גדולים מאוד בעזרת אינדקס sitemap.
איך לוודא את התיקון
אחרי השינוי, לחצו על "בדיקה חוזרת" בדוח: הוא יפרט מה תוקן ואיך הציון השתנה.