Google-CloudVertexBot

Google · ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਲਿਆਉਣਾ

Google-CloudVertexBot ਸਾਈਟ ਮਾਲਕਾਂ ਦੀ ਬੇਨਤੀ 'ਤੇ Google Cloud 'ਤੇ Vertex AI Agents ਬਣਾਉਣ ਲਈ ਸਾਈਟਾਂ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਸਦੇ robots.txt ਨਿਯਮਾਂ ਦਾ Google Search ਜਾਂ ਹੋਰ ਉਤਪਾਦਾਂ 'ਤੇ ਕੋਈ ਅਸਰ ਨਹੀਂ। ਇਸਨੂੰ ਬਲੌਕ ਕਰਨਾ ਤਾਂ ਹੀ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ ਜੇ ਤੁਸੀਂ ਜਾਂ ਕੋਈ Google Cloud ਗਾਹਕ ਤੁਹਾਡੀ ਸਾਈਟ ਨੂੰ ਕਿਸੇ ਏਜੰਟ ਦੇ ਡਾਟਾ ਸਰੋਤ ਵਜੋਂ ਵਰਤਦਾ ਹੈ।

ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਈਏ

User-agent: Google-CloudVertexBot
Allow: /

ਇਸਨੂੰ ਬਲੌਕ ਕਿਵੇਂ ਕਰੀਏ

User-agent: Google-CloudVertexBot
Disallow: /

ਇਹ ਕੀ ਕਰਦਾ ਹੈ

Google ਕਹਿੰਦਾ ਹੈ ਕਿ Google-CloudVertexBot ਲਈ ਦਿੱਤੀਆਂ ਕ੍ਰੌਲਿੰਗ ਤਰਜੀਹਾਂ ਸਾਈਟ ਮਾਲਕਾਂ ਵੱਲੋਂ Vertex AI Agents ਬਣਾਉਣ ਲਈ ਮੰਗੇ ਕ੍ਰੌਲਾਂ 'ਤੇ ਅਸਰ ਪਾਉਂਦੀਆਂ ਹਨ। ਇਸਦਾ Google Search ਜਾਂ ਹੋਰ Google ਉਤਪਾਦਾਂ 'ਤੇ ਕੋਈ ਅਸਰ ਨਹੀਂ। ਇਸਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਵਿੱਚ Google-CloudVertexBot substring ਹੁੰਦੀ ਹੈ।

robots.txt ਵਿੱਚ ਇਹ Google-CloudVertexBot ਟੋਕਨ ਲਈ ਨਿਯਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ, ਅਤੇ ਜੇ ਉਹ ਨਹੀਂ ਹਨ, ਤਾਂ Googlebot ਲਈ ਨਿਯਮਾਂ ਦੀ। Google ਇਸਨੂੰ ਆਪਣੇ ਆਮ ਕ੍ਰੌਲਰਾਂ ਵਿੱਚ ਗਿਣਦਾ ਹੈ, ਜੋ ਸਵੈਚਾਲਿਤ ਕ੍ਰੌਲਿੰਗ ਦੌਰਾਨ ਹਮੇਸ਼ਾ robots.txt ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ।

robots.txt ਟੋਕਨ

Google-CloudVertexBot

ਅਸਲ ਫੇਰੀਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ

Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਯੂਜ਼ਰ ਏਜੰਟ strings ਨਕਲੀ ਬਣਾਈਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ ਅਤੇ ਦੋ-ਕਦਮੀ DNS ਜਾਂਚ ਦੀ ਸਲਾਹ ਦਿੰਦਾ ਹੈ। ਬੇਨਤੀ ਕਰਨ ਵਾਲੇ IP 'ਤੇ reverse DNS lookup ਚਲਾਓ: hostname googlebot.com, google.com ਜਾਂ googleusercontent.com ਨਾਲ ਖ਼ਤਮ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਫਿਰ ਉਸ hostname 'ਤੇ forward lookup ਚਲਾਓ ਅਤੇ ਪੁਸ਼ਟੀ ਕਰੋ ਕਿ ਇਹ ਉਹੀ IP ਵਾਪਸ ਕਰਦਾ ਹੈ। Google ਆਪਣੇ ਆਮ ਕ੍ਰੌਲਰਾਂ ਦੀਆਂ IP ਰੇਂਜਾਂ JSON ਵਜੋਂ ਵੀ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਪਤਿਆਂ ਨੂੰ ਸਵੈਚਾਲਿਤ ਢੰਗ ਨਾਲ ਮਿਲਾ ਸਕਦੇ ਹੋ।

ਜਾਂਚੋ ਕਿ ਕੀ ਤੁਹਾਡੀ ਸਾਈਟ ਇਸਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੀ ਹੈ →