Google-CloudVertexBot
Google-CloudVertexBot-ը շրջանցում է կայքերը դրանց սեփականատերերի խնդրանքով՝ Google Cloud-ում Vertex AI Agents ստեղծելու համար։ Google-ն ասում է, որ դրա robots.txt կանոնները չեն ազդում Google Search-ի կամ այլ արտադրանքների վրա։ Այն արգելափակելը կարևոր է միայն այն դեպքում, եթե դուք կամ Google Cloud-ի հաճախորդն օգտագործում եք ձեր կայքը որպես գործակալի տվյալների աղբյուր։
Ինչպես թույլատրել
User-agent: Google-CloudVertexBot
Allow: / Ինչպես արգելափակել
User-agent: Google-CloudVertexBot
Disallow: / Ինչ է անում
Google-ն ասում է, որ Google-CloudVertexBot-ին ուղղված շրջանցման նախընտրությունները ազդում են կայքի սեփականատերերի խնդրած շրջանցումների վրա՝ Vertex AI Agents ստեղծելու համար։ Այն չի ազդում Google Search-ի կամ Google-ի այլ արտադրանքների վրա։ Նրա user agent-ը պարունակում է Google-CloudVertexBot ենթատողը։
robots.txt-ում այն հետևում է Google-CloudVertexBot նշանի կանոններին, իսկ եթե այդպիսիք չկան՝ Googlebot-ի կանոններին։ Google-ն այն ներառում է իր ընդհանուր ռոբոտների ցուցակում, որոնք ավտոմատ շրջանցման ժամանակ միշտ հետևում են robots.txt-ին։
robots.txt նշան
Google-CloudVertexBot
Ինչպես ստուգել իրական այցելությունները
Google-ն ասում է, որ user agent տողերը կարող են կեղծվել, և խորհուրդ է տալիս երկքայլ DNS ստուգում։ Կատարեք հակադարձ DNS որոնում հարցում ուղարկող IP-ի համար. հոսթի անունը պետք է ավարտվի googlebot.com, google.com կամ googleusercontent.com-ով։ Ապա կատարեք ուղիղ որոնում այդ հոսթի անվան համար և համոզվեք, որ այն վերադարձնում է նույն IP-ն։ Google-ը նաև հրապարակում է իր ընդհանուր ռոբոտների IP տիրույթները JSON ձևաչափով, ուստի կարող եք հասցեներն ավտոմատ համեմատել։