2 דפים דחו את הסריקה

תשובה קצרה

העמודים האלה ענו 401, 403, 429 או 503, או חרגו מהזמן, כשהסריקה משכה אותם כמו דפדפן. לעיתים קרובות מדובר בחומת אש, בהגנה מבוטים או בהגבלת קצב, ולא בעמוד שבור. בדקו אם סורקי חיפוש ובינה מלאכותית מקבלים את אותה תשובה.

crawl.unreachable · עדיפות: P1–P3, לפי סוג הסורק

מה זה אומר

הדפים האלה החזירו 401, 403, 429 או 503, או שחרגו מזמן ההמתנה. ייתכן שחומת אש או מגבלת קצב עוצרת גם סורקים. בדקו אם סורקי חיפוש וסורקי AI מקבלים אותה תשובה.

למה זה חשוב לחיפוש AI

הסריקה מושכת עמודים רבים בזמן קצר משרת אחד, כך שהגבלת קצב עשויה לענות 429 או 503 גם כשאנשים מקבלים את העמוד. אם אותו כלל חל על סורקי חיפוש ובינה מלאכותית, העמודים האלה לא נמשכים לאינדקסים שלהם ולא ניתן לצטט אותם בתשובות בינה מלאכותית.

401 פירושו שהעמוד דורש התחברות, דבר צפוי באזורי חשבון אבל לא בתוכן ציבורי. 503 בכל עמוד עשוי להעיד שמצב תחזוקה נשאר פעיל. העמודים האלה מוצגים בנפרד מקישורים שבורים, כי התיקון תלוי במי שנדחה.

איך מתקנים

  1. פתחו כמה מהכתובות שברשימה בחלון דפדפן פרטי. אם הן נטענות, החסימה מכוונת לבקשות אוטומטיות.
  2. חפשו את הבקשות שנדחו ביומני חומת האש, ה-CDN או האחסון שלכם. ודאו שסורקי חיפוש מאומתים כמו Googlebot ו-Bingbot, וסורקי החיפוש מבוססי בינה מלאכותית שאתם רוצים, מורשים; ברבים מה-CDN, כולל Cloudflare, יש הגדרה לבוטים מאומתים.
  3. אם הגבלת קצב גרמה לכך, העלו את המגבלה לבקשות עמוד רגילות או החריגו ממנה עמודי HTML.
  4. אם עמודים עונים 401, הסירו את ההתחברות מעמודים ציבוריים, או הפסיקו לקשר לעמודים פרטיים מעמודים ציבוריים.
  5. הריצו שוב את סריקת האתר מהחשבון שלכם כדי לאשר את התוצאה.

איך לוודא את התיקון

אחרי השינוי, לחצו על "בדיקה חוזרת" בדוח: הוא יפרט מה תוקן ואיך הציון השתנה.

בדיקת העמוד שלי ←

כל הממצאים ואיך הציון מחושב