Google-CloudVertexBot
Google-CloudVertexBot сайттарды Google Cloud-та Vertex AI Agents құру үшін олардың иелерінің сұрауы бойынша краулингтен өткізеді. Google оның robots.txt ережелері Google Search-ке немесе басқа өнімдерге әсер етпейтінін айтады. Оны бұғаттау сіз немесе Google Cloud клиенті сайтыңызды агенттің дереккөзі ретінде пайдаланса ғана маңызды.
Оны қалай өткізуге болады
User-agent: Google-CloudVertexBot
Allow: / Оны қалай бұғаттауға болады
User-agent: Google-CloudVertexBot
Disallow: / Ол не істейді
Google-дың айтуынша, Google-CloudVertexBot-қа арналған краулинг параметрлері сайт иелері Vertex AI Agents құру үшін сұраған краулингке әсер етеді. Оның Google Search-ке немесе басқа Google өнімдеріне әсері жоқ. Оның user agent-інде Google-CloudVertexBot ішкі жолы бар.
robots.txt-те ол Google-CloudVertexBot токеніне арналған ережелерді, ал олар болмаса, Googlebot ережелерін ұстанады. Google оны автоматты краулинг кезінде әрқашан robots.txt-ке бағынатын жалпы краулерлерінің қатарына жатқызады.
robots.txt токені
Google-CloudVertexBot
Нақты кірулерді қалай тексеруге болады
Google user agent жолдарын жалған жасауға болатынын айтады және DNS арқылы екі қадамды тексеруді ұсынады. Сұрау жасаған IP бойынша reverse DNS іздеуін орындаңыз: хост атауы googlebot.com, google.com немесе googleusercontent.com деп аяқталуы керек. Содан кейін сол хост атауы бойынша тура іздеу жасап, оның сол IP-ді қайтаратынын растаңыз. Google сондай-ақ өзінің жалпы краулерлерінің IP ауқымдарын JSON ретінде жариялайды, сондықтан мекенжайларды автоматты түрде салыстыруға болады.