Google-Extended
Google-Extended הוא אסימון robots.txt, לא סורק נפרד. הוא קובע אם תוכן ש-Google סרקה עשוי לשמש לאימון מודלי Gemini עתידיים ולביסוס (grounding) באפליקציות Gemini וב-Vertex AI. Google מציינת שהוא אינו משפיע על הכללת אתר בחיפוש Google.
מה הוא עושה
ל-Google-Extended אין user agent משלו. הסריקה מתבצעת באמצעות ה-user agents הקיימים של Google, והאסימון Google-Extended משמש לבקרה: הוא מודיע ל-Google אם תוכן שהיא סרקה עשוי לשמש לאימון דורות עתידיים של מודלי Gemini ולביסוס (grounding) באפליקציות Gemini וב-Vertex AI.
Google מצהירה ש-Google-Extended אינו משפיע על הכללת אתר בחיפוש Google. תכונות ה-AI של Google בחיפוש, כמו סקירות AI, נשלטות על ידי כללי Googlebot ובקרות הקטעים, לא על ידי האסימון הזה.
במחקר שלנו מ2026-11, 18.1% מהאתרים הפופולריים שיש להם robots.txt חסמו אותו. →
אסימון robots.txt
Google-Extended
איך לאפשר אותו
User-agent: Google-Extended
Allow: /איך לחסום אותו
User-agent: Google-Extended
Disallow: /איך לאמת ביקורים אמיתיים
אין מה לאמת ביומנים שלכם: Google-Extended אף פעם לא מופיע כ-user agent. הבקשות שמאחוריו מגיעות מהסורקים הרגילים של Google, שאפשר לאמת באמצעות חיפוש DNS הפוך (googlebot.com, google.com או googleusercontent.com) ואחריו חיפוש ישיר, או מול טווחי ה-IP ש-Google מפרסמת.