Google-CloudVertexBot

Google · משיכה לבקשת משתמש

Google-CloudVertexBot סורק אתרים לבקשת בעליהם כדי לבנות סוכני Vertex AI ב-Google Cloud. Google מציינת שכללי robots.txt שלו אינם משפיעים על חיפוש Google או על מוצרים אחרים. חסימה שלו משמעותית רק אם אתם או לקוח של Google Cloud משתמשים באתר שלכם כמקור נתונים של סוכן.

מה הוא עושה

Google מציינת שהעדפות סריקה המופנות ל-Google-CloudVertexBot משפיעות על סריקות שבעלי אתרים ביקשו לצורך בניית סוכני Vertex AI. אין לו השפעה על חיפוש Google או על מוצרים אחרים של Google. ה-user agent שלו מכיל את תת-המחרוזת Google-CloudVertexBot.

ב-robots.txt הוא פועל לפי הכללים של האסימון Google-CloudVertexBot, ואם אין כאלה, לפי הכללים של Googlebot. Google מונה אותו בין הסורקים הנפוצים שלה, שתמיד מצייתים ל-robots.txt בסריקה אוטומטית.

אסימון robots.txt

Google-CloudVertexBot

איך לאפשר אותו

User-agent: Google-CloudVertexBot
Allow: /

איך לחסום אותו

User-agent: Google-CloudVertexBot
Disallow: /

איך לאמת ביקורים אמיתיים

Google מציינת שמחרוזות user agent ניתנות לזיוף, ולכן היא ממליצה על בדיקת DNS בשני שלבים. בצעו חיפוש DNS הפוך על כתובת ה-IP ששלחה את הבקשה: שם המארח צריך להסתיים ב-googlebot.com, ב-google.com או ב-googleusercontent.com. לאחר מכן בצעו חיפוש ישיר של שם המארח הזה ווודאו שהוא מחזיר את אותה כתובת IP. Google מפרסמת גם כקובץ JSON את טווחי ה-IP של הסורקים הנפוצים שלה, כך שאפשר להתאים כתובות באופן אוטומטי.

בדקו אם האתר שלכם מאפשר לו להיכנס →