Google-Extended
Google-Extended ਇੱਕ robots.txt ਟੋਕਨ ਹੈ, ਵੱਖਰਾ ਕ੍ਰੌਲਰ ਨਹੀਂ। ਇਹ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ ਕਿ ਕੀ Google ਵੱਲੋਂ ਕ੍ਰੌਲ ਕੀਤੀ ਸਮੱਗਰੀ ਭਵਿੱਖ ਦੇ Gemini ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਅਤੇ Gemini Apps ਅਤੇ Vertex AI ਵਿੱਚ grounding ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ Google Search ਵਿੱਚ ਸਾਈਟ ਦੇ ਸ਼ਾਮਲ ਹੋਣ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪਾਉਂਦਾ।
ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਈਏ
User-agent: Google-Extended
Allow: / ਇਸਨੂੰ ਬਲੌਕ ਕਿਵੇਂ ਕਰੀਏ
User-agent: Google-Extended
Disallow: / ਇਹ ਕੀ ਕਰਦਾ ਹੈ
Google-Extended ਦਾ ਆਪਣਾ ਕੋਈ ਯੂਜ਼ਰ ਏਜੰਟ ਨਹੀਂ। ਕ੍ਰੌਲਿੰਗ Google ਦੇ ਮੌਜੂਦਾ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਨਾਲ ਹੁੰਦੀ ਹੈ, ਅਤੇ Google-Extended ਟੋਕਨ ਕੰਟਰੋਲ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ: ਇਹ Google ਨੂੰ ਦੱਸਦਾ ਹੈ ਕਿ ਕੀ ਉਸਦੀ ਕ੍ਰੌਲ ਕੀਤੀ ਸਮੱਗਰੀ Gemini ਮਾਡਲਾਂ ਦੀਆਂ ਭਵਿੱਖੀ ਪੀੜ੍ਹੀਆਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਅਤੇ Gemini Apps ਅਤੇ Vertex AI ਵਿੱਚ grounding ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ।
Google ਦੱਸਦਾ ਹੈ ਕਿ Google-Extended Google Search ਵਿੱਚ ਸਾਈਟ ਦੇ ਸ਼ਾਮਲ ਹੋਣ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪਾਉਂਦਾ। Search ਵਿੱਚ Google ਦੇ AI ਫੀਚਰ, ਜਿਵੇਂ AI Overviews, Googlebot ਨਿਯਮਾਂ ਅਤੇ snippet ਕੰਟਰੋਲਾਂ ਨਾਲ ਚੱਲਦੇ ਹਨ, ਇਸ ਟੋਕਨ ਨਾਲ ਨਹੀਂ।
ਸਾਡੇ 2026-11 ਦੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਵਾਲੀਆਂ ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਵਿੱਚੋਂ 18.1% ਨੇ ਇਸਨੂੰ ਬਲੌਕ ਕੀਤਾ। →
robots.txt ਟੋਕਨ
Google-Extended
ਅਸਲ ਫੇਰੀਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ
ਤੁਹਾਡੇ ਲੌਗਾਂ ਵਿੱਚ ਪ੍ਰਮਾਣਿਤ ਕਰਨ ਲਈ ਕੁਝ ਨਹੀਂ: Google-Extended ਕਦੇ ਵੀ ਯੂਜ਼ਰ ਏਜੰਟ ਵਜੋਂ ਨਹੀਂ ਦਿਸਦਾ। ਇਸ ਪਿੱਛੇ ਦੀਆਂ ਬੇਨਤੀਆਂ Google ਦੇ ਆਮ ਕ੍ਰੌਲਰਾਂ ਤੋਂ ਆਉਂਦੀਆਂ ਹਨ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ reverse DNS lookup (googlebot.com, google.com ਜਾਂ googleusercontent.com) ਅਤੇ ਫਿਰ forward lookup ਨਾਲ, ਜਾਂ Google ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨਾਲ ਪ੍ਰਮਾਣਿਤ ਕਰ ਸਕਦੇ ਹੋ।
ਜਾਂਚੋ ਕਿ ਕੀ ਤੁਹਾਡੀ ਸਾਈਟ ਇਸਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੀ ਹੈ →
AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt: ਕਿਸਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣੀ ਹੈ, ਕਿਸਨੂੰ ਬਲੌਕ ਕਰਨਾ ਹੈ →