Googlebot
Googlebot Google ਦਾ ਮੁੱਖ ਕ੍ਰੌਲਰ ਹੈ ਜੋ ਉਸਦੇ ਸਰਚ ਇੰਡੈਕਸ ਬਣਾਉਂਦਾ ਹੈ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ Googlebot ਲਈ robots.txt ਨਿਯਮ ਇਹ ਕੰਟਰੋਲ ਕਰਦੇ ਹਨ ਕਿ Search ਲਈ ਸਾਈਟ ਕਿਵੇਂ ਕ੍ਰੌਲ ਹੁੰਦੀ ਹੈ, AI Overviews ਅਤੇ AI Mode ਵਰਗੇ AI ਫੀਚਰਾਂ ਸਮੇਤ। ਇਸਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਹਾਡੇ ਪੰਨੇ Google Search ਅਤੇ ਉਨ੍ਹਾਂ AI ਜਵਾਬਾਂ ਵਿੱਚੋਂ ਹਟ ਜਾਂਦੇ ਹਨ।
ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਈਏ
User-agent: Googlebot
Allow: / ਇਸਨੂੰ ਬਲੌਕ ਕਿਵੇਂ ਕਰੀਏ
User-agent: Googlebot
Disallow: / ਇਹ ਕੀ ਕਰਦਾ ਹੈ
Googlebot Google ਦੇ ਸਰਚ ਇੰਡੈਕਸ ਬਣਾਉਣ ਲਈ ਜਾਣਕਾਰੀ ਲੱਭਣ ਵਾਸਤੇ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। Googlebot ਟੋਕਨ ਲਈ ਦਿੱਤੀਆਂ ਕ੍ਰੌਲਿੰਗ ਤਰਜੀਹਾਂ Google Search ਅਤੇ Google Images, Video, Google News ਅਤੇ Discover ਵਰਗੇ ਉਤਪਾਦਾਂ 'ਤੇ ਅਸਰ ਪਾਉਂਦੀਆਂ ਹਨ। ਇਹ ਸਮਾਰਟਫ਼ੋਨ ਅਤੇ ਡੈਸਕਟਾਪ ਕ੍ਰੌਲਰ ਵਜੋਂ ਚੱਲਦਾ ਹੈ; ਦੋਵੇਂ ਇੱਕੋ Googlebot ਨਿਯਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ, ਅਤੇ Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਆਮ ਕ੍ਰੌਲਰ ਸਵੈਚਾਲਿਤ ਕ੍ਰੌਲਿੰਗ ਦੌਰਾਨ ਹਮੇਸ਼ਾ robots.txt ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ।
AI ਫੀਚਰਾਂ ਬਾਰੇ Google ਦੇ ਦਸਤਾਵੇਜ਼ Googlebot ਨਿਯਮਾਂ ਨੂੰ Search ਲਈ ਕੰਟਰੋਲ ਦੱਸਦੇ ਹਨ, AI Overviews ਅਤੇ AI Mode ਸਮੇਤ, ਅਤੇ ਦਿਖਾਈ ਜਾਣ ਵਾਲੀ ਚੀਜ਼ ਨੂੰ ਸੀਮਤ ਕਰਨ ਲਈ nosnippet, data-nosnippet, max-snippet ਅਤੇ noindex ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੇ ਹਨ। Gemini ਸਿਖਲਾਈ ਲਈ ਵਰਤੋਂ ਵੱਖਰੇ ਤੌਰ 'ਤੇ Google-Extended ਨਾਲ ਕੰਟਰੋਲ ਹੁੰਦੀ ਹੈ।
ਸਾਡੇ 2026-11 ਦੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਵਾਲੀਆਂ ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਵਿੱਚੋਂ 2.7% ਨੇ ਇਸਨੂੰ ਬਲੌਕ ਕੀਤਾ। →
robots.txt ਟੋਕਨ
Googlebot
ਯੂਜ਼ਰ ਏਜੰਟ string
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 ਅਸਲ ਫੇਰੀਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ
Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਯੂਜ਼ਰ ਏਜੰਟ strings ਨਕਲੀ ਬਣਾਈਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ ਅਤੇ ਦੋ-ਕਦਮੀ DNS ਜਾਂਚ ਦੀ ਸਲਾਹ ਦਿੰਦਾ ਹੈ। ਬੇਨਤੀ ਕਰਨ ਵਾਲੇ IP 'ਤੇ reverse DNS lookup ਚਲਾਓ: hostname googlebot.com, google.com ਜਾਂ googleusercontent.com ਨਾਲ ਖ਼ਤਮ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਫਿਰ ਉਸ hostname 'ਤੇ forward lookup ਚਲਾਓ ਅਤੇ ਪੁਸ਼ਟੀ ਕਰੋ ਕਿ ਇਹ ਉਹੀ IP ਵਾਪਸ ਕਰਦਾ ਹੈ। Google ਆਪਣੇ ਆਮ ਕ੍ਰੌਲਰਾਂ ਦੀਆਂ IP ਰੇਂਜਾਂ JSON ਵਜੋਂ ਵੀ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਪਤਿਆਂ ਨੂੰ ਸਵੈਚਾਲਿਤ ਢੰਗ ਨਾਲ ਮਿਲਾ ਸਕਦੇ ਹੋ।
ਜਾਂਚੋ ਕਿ ਕੀ ਤੁਹਾਡੀ ਸਾਈਟ ਇਸਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੀ ਹੈ →
AEO ਬਨਾਮ SEO: ਕੀ ਇੱਕੋ ਜਿਹਾ ਹੈ ਅਤੇ AI ਜਵਾਬਾਂ ਲਈ ਕੀ ਬਦਲਦਾ ਹੈ →