Google-CloudVertexBot
Google-CloudVertexBot nuskaito svetaines jų savininkų prašymu, kad Google Cloud būtų sukurti Vertex AI Agents. Google teigia, kad jo robots.txt taisyklės neturi įtakos Google paieškai ar kitiems produktams. Jo blokavimas svarbus tik tada, jei jūs ar Google Cloud klientas naudojate jūsų svetainę kaip agento duomenų šaltinį.
Kaip jį įleisti
User-agent: Google-CloudVertexBot
Allow: / Kaip jį blokuoti
User-agent: Google-CloudVertexBot
Disallow: / Ką jis daro
Google teigia, kad Google-CloudVertexBot skirti nuskaitymo nustatymai veikia svetainių savininkų užsakytus nuskaitymus Vertex AI Agents kurti. Jie neturi įtakos Google paieškai ar kitiems Google produktams. Jo user agent yra poeilutė Google-CloudVertexBot.
robots.txt jis laikosi žymeniui Google-CloudVertexBot skirtų taisyklių, o jei jų nėra, Googlebot taisyklių. Google jį priskiria savo bendriesiems robotams, kurie automatiškai nuskaitydami visada paiso robots.txt.
robots.txt žymuo
Google-CloudVertexBot
Kaip patvirtinti tikrus apsilankymus
Google nurodo, kad user agent eilutes galima suklastoti, ir rekomenduoja dviejų žingsnių DNS patikrą. Atlikite užklausos IP atvirkštinę DNS paiešką: serverio pavadinimas turi baigtis googlebot.com, google.com ar googleusercontent.com. Tada atlikite to pavadinimo tiesioginę paiešką ir patvirtinkite, kad ji grąžina tą patį IP. Google taip pat skelbia savo bendrųjų robotų IP intervalus JSON formatu, todėl adresus galite tikrinti automatiškai.