Google-CloudVertexBot

Google · યુઝરની વિનંતીથી મેળવવું

Google-CloudVertexBot સાઇટના માલિકોની વિનંતી પર Google Cloud પર Vertex AI Agents બનાવવા માટે સાઇટ ક્રૉલ કરે છે. Google કહે છે કે તેના robots.txt નિયમોની Google Search કે બીજાં પ્રોડક્ટ પર કોઈ અસર થતી નથી. તેને બ્લૉક કરવાનું ત્યારે જ મહત્ત્વનું છે જ્યારે તમે કે કોઈ Google Cloud ગ્રાહક તમારી સાઇટને એજન્ટના ડેટા સ્રોત તરીકે વાપરતા હો.

તેને કેવી રીતે આવવા દેવો

User-agent: Google-CloudVertexBot
Allow: /

તેને કેવી રીતે બ્લૉક કરવો

User-agent: Google-CloudVertexBot
Disallow: /

તે શું કરે છે

Google કહે છે કે Google-CloudVertexBotને સંબોધેલી ક્રૉલિંગ પસંદગીઓ Vertex AI Agents બનાવવા માટે સાઇટ માલિકોએ માગેલા ક્રૉલને અસર કરે છે. Google Search કે Googleનાં બીજાં પ્રોડક્ટ પર તેની કોઈ અસર નથી. તેના યુઝર એજન્ટમાં Google-CloudVertexBot સબસ્ટ્રિંગ હોય છે.

robots.txtમાં તે Google-CloudVertexBot ટોકન માટેના નિયમોનું પાલન કરે છે, અને જો તે ન હોય તો Googlebot માટેના નિયમોનું. Google તેને તેના સામાન્ય ક્રૉલરમાં ગણાવે છે, જે આપમેળે ક્રૉલ કરતી વખતે હંમેશાં robots.txtનું પાલન કરે છે.

robots.txt ટોકન

Google-CloudVertexBot

સાચી મુલાકાતો કેવી રીતે ચકાસવી

Google કહે છે કે યુઝર એજન્ટ સ્ટ્રિંગ નકલી હોઈ શકે છે અને બે પગલાંની DNS તપાસની ભલામણ કરે છે. વિનંતી કરનાર IP પર reverse DNS lookup ચલાવો: hostname googlebot.com, google.com કે googleusercontent.comમાં પૂરું થવું જોઈએ. પછી એ hostname પર forward lookup ચલાવો અને ખાતરી કરો કે તે એ જ IP આપે છે. Google તેના સામાન્ય ક્રૉલરની IP રેન્જ પણ JSON તરીકે પ્રકાશિત કરે છે, જેથી તમે સરનામાં આપમેળે મેળવી શકો.

તપાસો કે તમારી સાઇટ તેને આવવા દે છે કે નહીં →