Googlebot
Googlebot הוא הסורק הראשי של Google לבניית אינדקסי החיפוש שלה. Google מציינת שכללי robots.txt עבור Googlebot הם הבקרה על אופן הסריקה של אתר לצורך החיפוש, כולל תכונות AI כמו סקירות AI ומצב AI. חסימה שלו מסירה את הדפים שלכם מחיפוש Google ומתשובות ה-AI האלה.
מה הוא עושה
Googlebot משמש לאיתור מידע לבניית אינדקסי החיפוש של Google. העדפות סריקה המופנות לאסימון Googlebot משפיעות על חיפוש Google ועל מוצרים כמו Google תמונות, וידאו, Google News ו-Discover. הוא פועל כסורק לסמארטפון וכסורק למחשב; שניהם מצייתים לאותם כללי Googlebot, ו-Google מציינת שהסורקים הנפוצים שלה תמיד מצייתים ל-robots.txt בסריקה אוטומטית.
התיעוד של Google על תכונות AI מתאר את כללי Googlebot כבקרה על החיפוש, כולל סקירות AI ומצב AI, ומפנה אל nosnippet, data-nosnippet, max-snippet ו-noindex להגבלת מה שמוצג. השימוש לאימון Gemini נשלט בנפרד על ידי Google-Extended.
במחקר שלנו מ2026-11, 2.7% מהאתרים הפופולריים שיש להם robots.txt חסמו אותו. →
אסימון robots.txt
Googlebot
מחרוזת user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36איך לאפשר אותו
User-agent: Googlebot
Allow: /איך לחסום אותו
User-agent: Googlebot
Disallow: /איך לאמת ביקורים אמיתיים
Google מציינת שמחרוזות user agent ניתנות לזיוף, ולכן היא ממליצה על בדיקת DNS בשני שלבים. בצעו חיפוש DNS הפוך על כתובת ה-IP ששלחה את הבקשה: שם המארח צריך להסתיים ב-googlebot.com, ב-google.com או ב-googleusercontent.com. לאחר מכן בצעו חיפוש ישיר של שם המארח הזה ווודאו שהוא מחזיר את אותה כתובת IP. Google מפרסמת גם כקובץ JSON את טווחי ה-IP של הסורקים הנפוצים שלה, כך שאפשר להתאים כתובות באופן אוטומטי.