Google-CloudVertexBot

Google · Пайдаланушы сұраған жүктеу

Google-CloudVertexBot сайттарды Google Cloud-та Vertex AI Agents құру үшін олардың иелерінің сұрауы бойынша краулингтен өткізеді. Google оның robots.txt ережелері Google Search-ке немесе басқа өнімдерге әсер етпейтінін айтады. Оны бұғаттау сіз немесе Google Cloud клиенті сайтыңызды агенттің дереккөзі ретінде пайдаланса ғана маңызды.

Оны қалай өткізуге болады

User-agent: Google-CloudVertexBot
Allow: /

Оны қалай бұғаттауға болады

User-agent: Google-CloudVertexBot
Disallow: /

Ол не істейді

Google-дың айтуынша, Google-CloudVertexBot-қа арналған краулинг параметрлері сайт иелері Vertex AI Agents құру үшін сұраған краулингке әсер етеді. Оның Google Search-ке немесе басқа Google өнімдеріне әсері жоқ. Оның user agent-інде Google-CloudVertexBot ішкі жолы бар.

robots.txt-те ол Google-CloudVertexBot токеніне арналған ережелерді, ал олар болмаса, Googlebot ережелерін ұстанады. Google оны автоматты краулинг кезінде әрқашан robots.txt-ке бағынатын жалпы краулерлерінің қатарына жатқызады.

robots.txt токені

Google-CloudVertexBot

Нақты кірулерді қалай тексеруге болады

Google user agent жолдарын жалған жасауға болатынын айтады және DNS арқылы екі қадамды тексеруді ұсынады. Сұрау жасаған IP бойынша reverse DNS іздеуін орындаңыз: хост атауы googlebot.com, google.com немесе googleusercontent.com деп аяқталуы керек. Содан кейін сол хост атауы бойынша тура іздеу жасап, оның сол IP-ді қайтаратынын растаңыз. Google сондай-ақ өзінің жалпы краулерлерінің IP ауқымдарын JSON ретінде жариялайды, сондықтан мекенжайларды автоматты түрде салыстыруға болады.

Сайтыңыз оны өткізетінін тексеріңіз →