12 בדיקות AEO שכדאי להריץ לפני שמפרסמים עמוד (2027)
לפני הפרסום, ודאו שהכתובת מחזירה 200 בלי הפניות, ש-robots.txt מתיר כל סורק חיפוש של AI, שחומת האש מגישה להם את העמוד האמיתי ושהתשובה נמצאת ב-HTML הגולמי. אחר כך בדקו שאין noindex או nosnippet שנשכחו, שיש canonical אחד, תשובה מתחת ל-H1, JSON-LD תקין ותואם, תאריכים תואמים, רשומה ב-sitemap עם קישורים פנימיים ו-hreflang, ובקשו אינדוקס.
רוב העמודים שאף פעם לא מופיעים בתשובות AI נכשלים בגלל משהו משעמם: noindex שנשכח, כלל בחומת האש, canonical שמצביע על סביבת staging. שתים-עשרה הבדיקות האלה תופסות את זה לפני ההשקה. כל אחת לוקחת כמה דקות, לרובן לא צריך יותר מטרמינל וכתובת העמוד, והן מסודרות לפי הסדר שבו סורק נתקל בהן.
בעמוד זה
- כמה זמן לוקחת כל בדיקה?
- 1. הכתובת מחזירה 200 בלי שרשרת הפניות
- 2. robots.txt מתיר את העמוד לכל סורק חיפוש של AI
- 3. חומת האש מגישה לסורקי AI את העמוד האמיתי
- 4. התשובה נמצאת ב-HTML הגולמי
- 5. לא נשאר noindex או nosnippet
- 6. כתובת canonical אחת, מוחלטת ומצביעה על עצמה
- 7. הכותרת וה-H1 אומרים על מה העמוד עונה, והתשובה מיד מתחתם
- 8. JSON-LD מתפרסר ותואם לטקסט הגלוי
- 9. התאריך הגלוי, תאריכי הסימון ו-lastmod ב-sitemap תואמים
- 10. העמוד נמצא ב-sitemap ומקושר מעמודים קשורים
- 11. hreflang הדדי, עם x-default
- 12. בקשו ממנועי חיפוש לסרוק את העמוד החדש
- איך בחרנו את הבדיקות האלה
כמה זמן לוקחת כל בדיקה?
הערכה גסה לעמוד אחד, עם הכלי שצריך. הריצו את בדיקות 1 עד 5 על כל עמוד; את השאר פעם אחת לכל תבנית, ואחר כך בדיקות מדגמיות.
- 1. סטטוס 200: דקה, curl.
- 2. robots.txt לכל סורק: 3 דקות, דפדפן או curl.
- 3. תגובת חומת האש: 3 דקות, curl.
- 4. טקסט ב-HTML הגולמי: 2 דקות, curl.
- 5. אין noindex או nosnippet שנשכחו: 2 דקות, curl.
- 6. canonical אחד: 2 דקות, view-source.
- 7. כותרת, H1 ותשובה קצרה: 5 דקות, קריאת העמוד.
- 8. JSON-LD תקין ותואם: 5 דקות, Rich Results Test או Schema Markup Validator.
- 9. תאריכים תואמים: 3 דקות, העמוד, הסימון וה-sitemap.
- 10. sitemap וקישורים פנימיים: 5 דקות, sitemap.xml ומערכת ניהול התוכן.
- 11. hreflang: 5 דקות, רק לאתרים רב-לשוניים.
- 12. בקשת אינדוקס: 2 דקות, Search Console ו-IndexNow.
1. הכתובת מחזירה 200 בלי שרשרת הפניות
סורק צריך לקבל את העמוד עצמו עם סטטוס 200 בכתובת המדויקת שתשתפו ותרשמו ב-sitemap. כל הפניה היא עוד שלב שיכול להיכשל, ועמוד שעונה 200 עם הודעת "לא נמצא" הוא soft 404 שמנועי חיפוש עלולים להשמיט.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ תוצאה תקינה: 200 redirects=0 ואותה כתובת חוזרת. תיקון: קשרו לכתובת הסופית ורשמו אותה, והשאירו לכל היותר הפניה אחת מכתובות ישנות.
2. robots.txt מתיר את העמוד לכל סורק חיפוש של AI
קראו את robots.txt כמו שכל סורק יקרא אותו. קבוצה שמציינת סורק בשמו מחליפה עבורו את הקבוצה User-agent: *, ולפי RFC 9309 הכלל התואם הארוך ביותר מנצח, ו-Allow מנצח בתיקו.
בדקו לפחות את OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot ו-Googlebot. מדור חדש כמו /guides/ יכול להיתפס בכלל ישן Disallow: /g, כי כללים מתאימים לתחיליות של נתיבים. ודאו גם ש-robots.txt עצמו מחזיר 200 או 404: לפי RFC 9309, שגיאת שרת אומרת שסורקים צריכים להניח שכל האתר חסום.
תוצאה תקינה: אין כלל לאף אחד מהטוקנים האלה שחוסם את הנתיב. המדריך שלנו לבדיקת robots.txt מראה איך לבדוק כתובת אחת עבור סורק אחד.
3. חומת האש מגישה לסורקי AI את העמוד האמיתי
בקשו את העמוד עם user agent של דפדפן ועם user agents של סורקים, והשוו סטטוס וגודל. הגנה מפני בוטים שמתבססת על השם יכולה להחזיר 403, 429 או עמוד אתגר לסורקים בלבד.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done תוצאה תקינה: בכל שורה מופיע 200 וגודל דומה. גודל קטן בהרבה מעיד בדרך כלל על עמוד אתגר. המחרוזות האלה בודקות כללים שמתבססים על השם; סורקים אמיתיים מגיעים גם מטווחי IP שפורסמו, ובדיקה מהמחשב שלכם לא יכולה לשחזר את זה, לכן בדקו גם את כללי ההתרה בחומת האש עבור הטווחים האלה.
4. התשובה נמצאת ב-HTML הגולמי
חפשו ב-HTML שהשרת שולח משפט מהתשובה שלכם. בודק האלמנטים של הדפדפן מציג את העמוד אחרי שהסקריפטים רצו, וזה לא מה שרוב הסורקים מקבלים.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" תוצאה תקינה: 1 או יותר. 0 אומר שהטקסט נוסף על ידי JavaScript, ו-OpenAI, Anthropic ו-Perplexity לא מתעדות שהסורקים שלהן מריצים אותו. רנדרו אותו בשרת או בזמן הבנייה; המדריך שלנו על תוכן JavaScript וסורקי AI מפרט את האפשרויות.
5. לא נשאר noindex או nosnippet
אתרי staging יוצאים לעיתים קרובות עם noindex, ותבנית יכולה להעביר אותו לייצור. בדקו גם את תג המטא robots וגם את כותרת ה-HTTP X-Robots-Tag, כי כל אחד מהם נחשב.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html תוצאה תקינה: לא מודפס כלום, או רק index, follow וכדומה. Google אומרת שעמוד חייב להיות מאונדקס וזכאי לקטע תקציר כדי להופיע ב-AI Overviews וב-AI Mode, ושגם nosnippet חוסם שימוש בו כקלט ישיר עבורם.
6. כתובת canonical אחת, מוחלטת ומצביעה על עצמה
העמוד צריך להצהיר על rel="canonical" אחד בדיוק, ככתובת מוחלטת, שמצביע על הכתובת שאתם מפרסמים. Google מגדירה את ה-canonical כאות חזק ולא כפקודה, ומזהירה מפני כתובות יחסיות ומפני אותות סותרים, כמו sitemap שרושם כתובת אחרת.
טעויות נפוצות בהשקה הן canonical שהועתק מעמוד תבנית, canonical שעדיין מצביע על שרת staging, ושני תגי canonical מערכת עיצוב ומתוסף בבת אחת.
תוצאה תקינה: תג אחד, הכתובת החיה, אותו פרוטוקול ואותו host כמו ב-sitemap.
7. הכותרת וה-H1 אומרים על מה העמוד עונה, והתשובה מיד מתחתם
קראו את ראש העמוד כמו שזר היה קורא. הכותרת וה-H1 צריכים לציין את השאלה או הנושא במילים שקונים משתמשים בהן, ושניים או שלושה המשפטים הראשונים מתחת ל-H1 צריכים לענות עליה במלואה.
שמרו על כותרת של כ-60 תווים, כדי שהסיכוי שתיחתך בתוצאות החיפוש יהיה קטן יותר. כתבו את התשובה הקצרה כך שתהיה מובנת גם כשמצטטים אותה לבד, עם מספרים, יחידות ושם המוצר כתובים במפורש.
תוצאה תקינה: מי שקורא רק את הפסקה הראשונה מקבל את התשובה. הרשימה שלנו של דרכים לקבל ציטוט בתשובות AI מעמיקה בכתיבה שקל לצטט.
8. JSON-LD מתפרסר ותואם לטקסט הגלוי
JSON-LD שבור מתעלמים ממנו כולו, כך שפסיק אחד חסר מוחק את כל הסימון. הדביקו את הכתובת ב-Rich Results Test של Google או ב-Schema Markup Validator ותקנו כל שגיאה.
אחר כך השוו את הערכים לעמוד. הכותרת, התאריכים, המחיר, המטבע ושם הארגון בסימון צריכים להיות אלה שהקורא רואה. Google אומרת שלא נדרש סימון מיוחד לתכונות ה-AI שלה, ושנתונים מובנים צריכים להתאים לטקסט הגלוי.
תוצאה תקינה: אין שגיאות, וכל ערך גלוי בעמוד. אפשר לדלג אם: לסוג העמוד אין סימון מתאים; עמוד פשוט עדיף על סימון שגוי.
9. התאריך הגלוי, תאריכי הסימון ו-lastmod ב-sitemap תואמים
הציגו בעמוד תאריך עם תווית, השתמשו באותם תאריכים ב-datePublished וב-dateModified, וקבעו את lastmod ב-sitemap לשינוי המשמעותי האחרון. Google מבקשת שהתאריכים הגלויים והמסומנים יתאימו, ואומרת שהיא משתמשת ב-lastmod רק אם הוא מדויק באופן עקבי וניתן לאימות.
מחולל sitemap שמחתים כל כתובת בתאריך של היום בכל בנייה הופך את lastmod לחסר תועלת בכל העמודים, לא רק בחדש.
תוצאה תקינה: שלושה מקומות, תאריך אחד.
10. העמוד נמצא ב-sitemap ומקושר מעמודים קשורים
סורקים מוצאים עמודים דרך קישורים ו-sitemap. הוסיפו את הכתובת החדשה ל-XML sitemap, עם כתובת ה-canonical המדויקת, וקשרו אליה מלפחות שני עמודים קשורים ומעמוד מרכזי או עמוד אינדקס.
קובץ sitemap יכול להכיל עד 50,000 כתובות ו-50 MB לא דחוסים; אתרים גדולים יותר צריכים sitemap index. Google אומרת שהיא מתעלמת מ-priority ומ-changefreq, אז אל תשקיעו בהם זמן. עמוד בלי קישורים פנימיים הוא עמוד יתום, שסורקים עלולים למצוא מאוחר או לא למצוא בכלל.
תוצאה תקינה: הכתובת נמצאת ב-sitemap ולפחות שני עמודים מקשרים אליה עם טקסט עוגן תיאורי.
11. hreflang הדדי, עם x-default
אם העמוד קיים בכמה שפות, כל גרסה צריכה לרשום את כל הגרסאות, כולל את עצמה, וכל אחת צריכה לקשר חזרה. Google מתעלמת מהערות hreflang שלא מאושרות מהצד השני. הוסיפו x-default לגרסה שמוצגת כשאף שפה לא מתאימה.
אפשר לדלג אם: לאתר יש שפה אחת. המדריך שלנו על hreflang x-default מסביר מתי צריך אותו.
12. בקשו ממנועי חיפוש לסרוק את העמוד החדש
כשהעמוד באוויר ועובר את הבדיקות שלמעלה, ספרו עליו למנועי החיפוש. ב-Google Search Console, הפעילו URL Inspection על הכתובת החדשה ובחרו Request indexing. עבור Bing ומנועים אחרים שתומכים ב-IndexNow, שלחו את הכתובת לנקודת הקצה של IndexNow עם המפתח שלכם; Bing מציינת שזה לא מבטיח סריקה או אינדוקס.
לעוזרי AI אין טופס שליחה. הסורקים שלהם מוצאים את העמוד דרך קישורים וחיפוש, ולכן בדיקות 2, 3 ו-10 חשובות. אם אתם מפרסמים קובץ llms.txt, הוסיפו אליו גם את העמוד; Google אומרת שהחיפוש שלה לא משתמש בו, אז התייחסו אליו כאופציונלי.
תוצאה תקינה: URL Inspection מראה שאפשר לאנדקס את העמוד החי.
איך בחרנו את הבדיקות האלה
הרשימה עוקבת אחרי הדרך שסורק עובר: מגיע לכתובת, קורא את robots.txt, עובר את חומת האש, קורא את ה-HTML ואז מפרש אותו. כל בדיקה מבוססת על מה ש-OpenAI, Anthropic, Perplexity ו-Google מתעדות על הסורקים שלהן, על RFC 9309 עבור robots.txt, ועל ההנחיות של Google ל-canonical, תאריכים, sitemap ו-hreflang. השמטנו בדיקות שאין להן השפעה מתועדת על תשובות AI, כמו צפיפות מילות מפתח או יעדים של מספר מילים.
הבדיקות מראות שאפשר לקרוא את העמוד; הן לא יכולות להראות שהוא יצוטט. זה תלוי באיכות התשובה ביחס למקורות אחרים. חזרו על בדיקות 2 עד 5 אחרי כל שינוי בחומת האש, ב-CDN, בתבנית העיצוב או במערכת ניהול התוכן, כי אלה השינויים שמבטלים אותן בשקט.
AISeeWhy מריצה את רוב הבדיקות האלה בסבב אחד: היא מביאה את העמוד כמו 16 סורקי AI וחיפוש לצד דפדפן אמיתי, מחילה robots.txt לכל סורק וקוראת את ה-HTML, הסימון, ה-canonical והתאריכים. הבדיקה החינמית מציגה את הציון ואת הממצא הראשון; הדוח המלא מפרט כל בעיה עם תיקון מוכן.
תיקונים לבעיה הזו
- OAI-SearchBot חסום
- תוכן הדף דורש JavaScript
- רשימות שנכתבו כטקסט רגיל
- הסעיפים לא נפתחים בתשובה קצרה: 2 מתוך 3
הצעדים הבאים
הסורקים במאמר הזה
שאלות נפוצות
צריך להריץ את הבדיקות האלה על כל עמוד?
הריצו את בדיקות 1 עד 5 על כל עמוד חדש, כי כתובת בודדת יכולה להיחסם או לשאת noindex שנשכח. בדיקות 6 עד 11 תלויות בעיקר בתבנית, אז הריצו אותן פעם אחת לכל סוג עמוד ובדקו עמודים חדשים במדגם.
למה אי אפשר לשלוח עמוד ל-ChatGPT או ל-Claude כמו ל-Google?
OpenAI, Anthropic ו-Perplexity לא מציעות כלי לשליחת כתובות של עמודי אינטרנט. הסורקים שלהן מוצאים עמודים דרך קישורים וחיפוש, כך שמה שבשליטתכם הוא קישורים פנימיים, sitemap וגישה פתוחה ל-OAI-SearchBot, ל-Claude-SearchBot ול-PerplexityBot.
העמוד שלי עובר את כל שתים-עשרה הבדיקות. למה הוא עדיין לא מצוטט?
הבדיקות הופכות עמוד לקריא, לא למועדף. עוזר בוחר את המקורות שעונים הכי טוב על שאלה, אז השוו את העמוד שלכם לעמודים שהוא כן מצטט: אם הם עונים מוקדם יותר, מציינים מחירים או מפרטים כטקסט, או מציעים נתונים שחסרים אצלכם.
כמה זמן אחרי הפרסום סורקי AI מגיעים?
אף ספק לא מפרסם לוח זמנים. יומני השרת שלכם מראים מתי OAI-SearchBot, Claude-SearchBot או PerplexityBot מבקשים את הכתובת לראשונה; המדריך שלנו לבדיקת יומני שרת עבור סורקי AI מראה איך למצוא אותם.
מקורות
- RFC 9309: Robots Exclusion Protocol (פרוטוקול החרגת רובוטים)
- OpenAI: סקירה של הסורקים של OpenAI
- Anthropic: האם Anthropic סורקת נתונים מהרשת, ואיך בעלי אתרים יכולים לחסום את הסורק?
- Perplexity: הסורקים של Perplexity
- Google Search Central: תכונות AI והאתר שלכם
- Google Search Central: תג המטא robots, data-nosnippet ו-X-Robots-Tag
- Google Search Central: איך לציין כתובת URL קנונית
- Google Search Central: השפעה על תאריכי הפרסום
- Google Search Central: בנייה ושליחה של sitemap
- Sitemaps.org: פורמט Sitemaps XML
- Google Search Central: איך לספר ל-Google על גרסאות מותאמות של העמוד
- העזרה של Google Search Console: הכלי URL Inspection
- Bing: IndexNow, תחילת עבודה
- העזרה של Google Search Console: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: יסודות JavaScript SEO