האם Gemini רואה את האתר שלכם? איך לבדוק

פורסם · עודכן

תשובה קצרה

Gemini יכול להשתמש בעמוד שלכם בתשובה מעוגנת (grounded) רק אם העמוד נמצא באינדקס של חיפוש Google ו-robots.txt לא חוסם את הטוקן Google-Extended. Google אומרת שעיגון באפליקציית Gemini מספק למודל תוכן מהאינדקס של חיפוש Google, ושהטוקן Google-Extended קובע אם מותר להשתמש בתוכן שלכם לשם כך. לכן בדקו אינדוקס ב-Search Console, בדקו את robots.txt עבור Googlebot ו-Google-Extended, ואז שאלו את Gemini את השאלות שהלקוחות שלכם שואלים ופתחו את המקורות שלו.

ל-Gemini אין סורק שאפשר לחפש בלוגים כמו אצל עוזרים אחרים. Google סורקת עם הסורקים הקיימים שלה, וטוקן ב-robots.txt קובע מה Gemini רשאי לעשות עם התוכן. לכן הבדיקה שונה: רובה מתבצע ב-Google Search Console וב-robots.txt, והשלב האחרון ב-Gemini עצמו.

בעמוד זה
  1. הבדיקה של 5 דקות, צעד אחר צעד
  2. איך Gemini מקבל מידע מאתרים?
  3. איך לבדוק אם Google הוסיפה את העמוד שלי לאינדקס?
  4. האם Google-Extended מונע מ-Gemini להשתמש באתר שלי?
  5. האם חומת אש יכולה לחסום את Google בזמן שדפדפנים עוברים?
  6. איך לראות אם Gemini משתמש באתר שלי או מצטט אותו?
  7. האם AI Overviews, AI Mode וכללי קטעי תקציר משפיעים על Gemini?
  8. איך AISeeWhy בודק את זה?

הבדיקה של 5 דקות, צעד אחר צעד

  1. חפשו ב-Google את site: יחד עם כתובת העמוד, או השתמשו בבדיקת כתובות URL ב-Search Console, כדי לוודא שהעמוד נמצא באינדקס של Google.
  2. פתחו את ה-robots.txt שלכם וודאו ש-Googlebot רשאי למשוך את העמוד ושה-Google-Extended לא חסום, אלא אם בחרתם לצאת.
  3. הריצו בדיקה חינמית של העמוד ב-AISeeWhy או שלחו בקשה אחת עם ה-user agent Googlebot: היא צריכה לקבל סטטוס 200 ואת אותו טקסט שדפדפן מקבל.
  4. שאלו את Gemini שאלה שהעמוד שלכם עונה עליה ופתחו את המקורות שהוא מציג מתחת לתשובה.

אם העמוד לא באינדקס, ה-grounding של Gemini לא יכול להשתמש בו, אז התחילו בצעד 1. המקטעים הבאים מסבירים כל צעד ומה לעשות כשהוא נכשל.

איך Gemini מקבל מידע מאתרים?

ה-Privacy Hub של אפליקציות Gemini אומר שחלק מהתשובות של Gemini מעוגנות בתוצאות חיפוש. תיעוד הסורקים של Google מגדיר עיגון (grounding) כאספקת תוכן מהאינדקס של חיפוש Google למודל בזמן הפרומפט, כדי לשפר דיוק ורלוונטיות. אותו עמוד אומר ש-Google-Extended קובע אם מותר להשתמש בתוכן ש-Google סורקת לאימון מודלי Gemini ולעיגון באפליקציות Gemini וב-Grounding with Google Search ב-Vertex AI.

ל-Google-Extended אין מחרוזת user agent משלו. Google אומרת שהסריקה נעשית עם ה-user agents הקיימים שלה, והטוקן פועל רק כבקרה ב-robots.txt. בפועל יש שני תנאים כדי ש-Gemini ישתמש בעמוד שלכם: Google צריכה להחזיק אותו באינדקס, ו-robots.txt לא צריך לחסום אותו עבור Google-Extended.

Google לא מתעדת איך Gemini בוחר באילו עמודים מהאינדקס להשתמש או לצטט. עמידה בשני התנאים הופכת את העמוד לזמין; היא לא מבטיחה ש-Gemini יבחר בו.

איך לבדוק אם Google הוסיפה את העמוד שלי לאינדקס?

השתמשו בכלי בדיקת כתובות ה-URL ב-Google Search Console. עבור הגרסה שבאינדקס הוא מציג:

בדיקת כתובת URL פעילה מביאה את העמוד בזמן אמת, והצגת הדף שנבדק מראה צילום מסך ואת ה-HTML ש-Google קיבלה. אם בצילום רואים עמוד אתגר או שה-HTML חסר את הטקסט הראשי, Google, ואיתה Gemini, לא רואה את התוכן שלכם. בקשה להוספה לאינדקס מבקשת מ-Google לסרוק שוב את הכתובת; Google אומרת שבדרך כלל זה לוקח בערך יום, בלי הבטחה לאינדוקס.

האם Google-Extended מונע מ-Gemini להשתמש באתר שלי?

פתחו את robots.txt וחפשו קבוצה שמציינת את Google-Extended. Disallow: / שם אומר ל-Google לא להשתמש בעמודים שלכם לאימון Gemini או לעיגון באפליקציות Gemini. Google אומרת שהטוקן לא משפיע על ההכללה בחיפוש Google ואינו אות דירוג, ולכן קל לפספס את החסימה הזאת: תנועת החיפוש נראית רגילה בזמן ש-Gemini לא יכול לעגן תשובות בעמודים שלכם. המאמר הנפרד שלנו על AI Overviews ו-Google-Extended מסביר מה הטוקן שולט בו בחיפוש ומה לא.

מכיוון שהטוקן אף פעם לא מופיע בבקשות, אי אפשר לבדוק אותו עם curl או למצוא אותו בלוגים. קריאת הקובץ היא הבדיקה היחידה:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

ההתאמה לא תלויה באותיות גדולות או קטנות, ואם אף קבוצה לא מציינת את Google-Extended, חלה עליו הקבוצה *. אתרים רבים הוסיפו את החסימה הזאת כשהדיון באימון AI רק התחיל. במחקר שלנו על 1,000 הדומיינים הפופולריים ביותר, 114 מתוך 518 האתרים עם robots.txt ציינו את Google-Extended ו-94 (18.1%) חסמו עבורו את דף הבית. החליטו אם זה עדיין מתאים למה שאתם רוצים, בהתחשב בכך שזה מכסה גם עיגון.

האם חומת אש יכולה לחסום את Google בזמן שדפדפנים עוברים?

כן. אם הגנה מפני בוטים או הגבלת קצב עונות לסורקים של Google ב-403, ב-429 או בעמוד אתגר, Google לא יכולה לסרוק את העמוד, ועם הזמן הוא עלול לצאת מהחיפוש, ויחד איתו מהעיגון של Gemini. בדיקת כתובות ה-URL היא הבדיקה הטובה ביותר כאן, כי Google מביאה את העמוד מהכתובות שלה; בדיקת curl מהמחשב שלכם מראה רק איך הכללים שלכם מטפלים ב-user agent.

כדי להתיר את Google בבטחה, אמתו את המבקר במקום לסמוך על השם. Google מתעדת בדיקת DNS הפוכה ואחריה בדיקה ישירה, ומפרסמת טווחי IP של הסורקים הנפוצים שלה ב-common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

החליפו את כתובת הדוגמה בכתובת מהלוגים שלכם. אם שתי הבדיקות לא תואמות, הבקשה רק מתחזה ל-Google.

איך לראות אם Gemini משתמש באתר שלי או מצטט אותו?

שאלו את Gemini את השאלות שהלקוחות שלכם שואלים, בלי לציין את האתר שלכם, ופתחו את המקורות. מרכז העזרה של Google אומר שכפתור המקורות מופיע בתחתית התשובה או בתוך הטקסט, ופותח חלונית של קישורים קשורים שיכולה לכלול אתרים ציבוריים. אם אין כפתור מקורות, Gemini לא סיפק קישורים לתשובה הזאת, ו-Google מציינת שלא כל התשובות כוללות אותם. רשמו אילו דומיינים מופיעים וחזרו על אותן שאלות לאורך כמה שבועות.

מפתחים יכולים להריץ את אותה בדיקה דרך Gemini API עם Grounding with Google Search. Google אומרת שזה מחבר את המודל לתוכן אינטרנט בזמן אמת, ותשובות מעוגנות כוללות ציטוטים עם הכתובת והכותרת של כל מקור, כך שאפשר לבדוק אם הדומיין שלכם מופיע. תשובות ה-API יכולות להיות שונות ממה שאפליקציית Gemini מציגה.

חלק מהבקשות שקשורות ל-Gemini כן מגיעות לשרת שלכם. Google מפרטת מאחזרים שמופעלים על ידי משתמשים, כמו Google-GeminiNotebook, שמבקש כתובות שמשתמשים מוסיפים כמקורות לפרויקט ב-Gemini Notebook, ו-Google-Agent, שמשמש סוכנים בתשתית של Google שפועלים לבקשת משתמש. Google אומרת שהמאחזרים האלה בדרך כלל מתעלמים מ-robots.txt כי משתמש ביקש את הבאת העמוד. הביקורים שלהם מראים שאנשים פותחים את העמודים שלכם דרך המוצרים האלה; הם לא נתיב העיגון שתואר למעלה.

האם AI Overviews, AI Mode וכללי קטעי תקציר משפיעים על Gemini?

AI Overviews ו-AI Mode הם תכונות של חיפוש Google עם בקרות משלהן. Google מונה את nosnippet, data-nosnippet, max-snippet ו-noindex כדרכים להגביל מה מוצג מהעמודים שלכם. התיעוד שלה על תג ה-meta robots אומר ש-nosnippet מונע גם שימוש בתוכן כקלט ישיר ל-AI Overviews ול-AI Mode, ושהכלל max-snippet מגביל כמה מותר להשתמש. ב-Search Console יש גם הגדרת Search generative AI ברמת האתר, שיכולה להוציא אתר מ-AI Overviews, מ-AI Mode ומתכונות ה-AI הגנרטיבי ב-Discover.

אף אחד מהעמודים האלה לא מזכיר את אפליקציית Gemini. אל תניחו שכלל קטעי תקציר או ההגדרה ב-Search Console משנים את העיגון של Gemini, או ש-Google-Extended משנה את AI Overviews. noindex הוא היוצא מן הכלל: לפי ההגדרה של Google לעיגון, עמוד שמחוץ לאינדקס החיפוש לא יכול לשמש לכך. כדי למצוא כללי קטעי תקציר ששכחתם, בדקו את ה-HTML ואת הכותרות:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

איך AISeeWhy בודק את זה?

הבדיקה החינמית של AISeeWhy מביאה את העמוד שלכם בתור Googlebot ושאר סורקי ה-AI והחיפוש, לצד דפדפן אמיתי, מחילה את robots.txt על כל אחד, כולל הטוקן Google-Extended, מזהה עמודי אתגר ומראה כמה טקסט מגיע בלי JavaScript. בדיקת הנראות ב-AI, בניסיון ובמסלולים בתשלום, שואלת את השאלות שלכם דרך Gemini API עם עיגון ב-Google Search, במפתח שלכם, ומראה אם המותג או הדומיין שלכם מוזכרים או מצוטטים. היא לא שולחת שאילתות ל-AI Overviews או ל-AI Mode.

כלים חינמיים

הצעדים הבאים

הסורקים במאמר הזה

שאלות נפוצות

אפשר לבדוק בחינם אם Gemini רואה את האתר שלי?

כן. Search Console, חיפוש site:, ה-robots.txt שלכם ושאלה ב-Gemini לא עולים דבר. הבדיקה החינמית של AISeeWhy בודקת את Googlebot, את כלל ה-Google-Extended ו-14 סורקים נוספים לעמוד אחד ביום.

האם ל-Gemini יש סורק משלו?

לא לצורך עיגון. Google אומרת של-Google-Extended אין מחרוזת user agent ושהסריקה נעשית עם הסורקים הקיימים שלה. מאחזרים נפרדים שמופעלים על ידי משתמשים, כמו Google-GeminiNotebook ו-Google-Agent, מבקרים בעמודים כשמשתמש מבקש, ו-Google אומרת שהם בדרך כלל מתעלמים מ-robots.txt.

אם אחסום את Google-Extended, האם Gemini עדיין יכול להזכיר את המותג שלי?

Google אומרת שהיא לא תשתמש בתוכן שלכם לעיגון באפליקציות Gemini. הכלל הזה מכסה את העמודים שלכם. Google לא אומרת דבר על תוכן באתרים אחרים שכותבים עליכם, כך ש-Gemini עדיין עשוי להזכיר את המותג שלכם מהמקורות האלה.

כמה זמן לוקח לשינוי ב-robots.txt להגיע ל-Gemini?

Google לא מציינת זמן עבור Gemini. תיעוד ה-robots.txt שלה אומר ש-Google בדרך כלל שומרת את הקובץ במטמון עד 24 שעות, אז חכו לפחות יום לפני בדיקה חוזרת, ויותר לעמודים ש-Google סורקת לעיתים רחוקות.

האם AI Overviews ו-Gemini משתמשים באותם מקורות?

Google לא מתעדת איך השניים קשורים. שניהם נשענים על האינדקס של Google, אבל יש להם בקרות שונות: כללי קטעי תקציר וההגדרה ב-Search Console עבור AI Overviews ו-AI Mode, ו-Google-Extended עבור העיגון של Gemini. בדקו אותם בנפרד.

איך לעקוב אחרי התשובות של Gemini לאורך זמן?

החזיקו רשימה קבועה של שאלות לקוחות, שאלו אותן ב-Gemini לפי לוח זמנים ורשמו אילו דומיינים מופיעים במקורות. בדיקת הנראות ב-AI של AISeeWhy מריצה את השאלות שלכם מדי שבוע דרך Gemini API עם עיגון ב-Google Search ומראה אזכורים לצד עד ארבעה מתחרים. תוצאות ה-API יכולות להיות שונות מאפליקציית Gemini.

מקורות

מאמרים נוספים