ਕੀ Gemini ਮੇਰੀ ਵੈੱਬਸਾਈਟ ਦੇਖ ਸਕਦਾ ਹੈ? ਕਿਵੇਂ ਜਾਂਚੀਏ
Gemini ਤੁਹਾਡੇ ਪੰਨੇ ਨੂੰ grounded ਜਵਾਬ ਵਿੱਚ ਤਾਂ ਹੀ ਵਰਤ ਸਕਦਾ ਹੈ ਜੇ ਪੰਨਾ Google ਦੇ ਸਰਚ ਇੰਡੈਕਸ ਵਿੱਚ ਹੈ ਅਤੇ ਤੁਹਾਡੀ robots.txt Google-Extended ਟੋਕਨ ਨੂੰ ਮਨ੍ਹਾ ਨਹੀਂ ਕਰਦੀ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ Gemini ਐਪ ਵਿੱਚ grounding ਮਾਡਲ ਨੂੰ Google Search ਇੰਡੈਕਸ ਦੀ ਸਮੱਗਰੀ ਦਿੰਦੀ ਹੈ, ਅਤੇ Google-Extended ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਇਸ ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜਾਂ ਨਹੀਂ। ਇਸ ਲਈ Search Console ਵਿੱਚ ਇੰਡੈਕਸਿੰਗ ਜਾਂਚੋ, robots.txt ਵਿੱਚ Googlebot ਅਤੇ Google-Extended ਜਾਂਚੋ, ਫਿਰ Gemini ਤੋਂ ਆਪਣੇ ਖਰੀਦਦਾਰਾਂ ਵਾਲੇ ਸਵਾਲ ਪੁੱਛੋ ਅਤੇ ਉਸਦੇ ਸਰੋਤ ਖੋਲ੍ਹੋ।
Gemini ਦਾ ਕੋਈ ਅਜਿਹਾ ਕ੍ਰੌਲਰ ਨਹੀਂ ਜਿਸਨੂੰ ਤੁਸੀਂ ਹੋਰ ਅਸਿਸਟੈਂਟਾਂ ਵਾਂਗ ਆਪਣੇ ਲੌਗਾਂ ਵਿੱਚ ਲੱਭ ਸਕੋ। Google ਆਪਣੇ ਮੌਜੂਦਾ ਕ੍ਰੌਲਰਾਂ ਨਾਲ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, ਅਤੇ ਇੱਕ robots.txt ਟੋਕਨ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ Gemini ਸਮੱਗਰੀ ਨਾਲ ਕੀ ਕਰ ਸਕਦਾ ਹੈ। ਇਸ ਕਰਕੇ ਜਾਂਚ ਵੱਖਰੀ ਹੈ: ਇਸਦਾ ਜ਼ਿਆਦਾਤਰ ਹਿੱਸਾ Google Search Console ਵਿੱਚ ਅਤੇ ਤੁਹਾਡੀ robots.txt ਵਿੱਚ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਆਖ਼ਰੀ ਕਦਮ ਖੁਦ Gemini ਵਿੱਚ।
ਇਸ ਪੰਨੇ 'ਤੇ
- 5 ਮਿੰਟ ਦੀ ਜਾਂਚ, ਕਦਮ ਦਰ ਕਦਮ
- Gemini ਵੈੱਬਸਾਈਟਾਂ ਤੋਂ ਜਾਣਕਾਰੀ ਕਿਵੇਂ ਲੈਂਦਾ ਹੈ?
- ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ Google ਨੇ ਮੇਰਾ ਪੰਨਾ ਇੰਡੈਕਸ ਕੀਤਾ ਹੈ?
- ਕੀ Google-Extended, Gemini ਨੂੰ ਮੇਰੀ ਸਾਈਟ ਵਰਤਣ ਤੋਂ ਰੋਕ ਰਿਹਾ ਹੈ?
- ਕੀ ਫਾਇਰਵਾਲ Google ਨੂੰ ਬਲੌਕ ਕਰ ਸਕਦੀ ਹੈ ਜਦਕਿ ਬ੍ਰਾਊਜ਼ਰ ਲੰਘ ਜਾਂਦੇ ਹਨ?
- ਮੈਂ ਕਿਵੇਂ ਦੇਖਾਂ ਕਿ Gemini ਮੇਰੀ ਸਾਈਟ ਵਰਤਦਾ ਹੈ ਜਾਂ ਉਸਦਾ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ?
- ਕੀ AI Overviews, AI Mode ਅਤੇ snippet ਨਿਯਮ Gemini 'ਤੇ ਅਸਰ ਪਾਉਂਦੇ ਹਨ?
- AISeeWhy ਇਹ ਕਿਵੇਂ ਜਾਂਚਦਾ ਹੈ?
5 ਮਿੰਟ ਦੀ ਜਾਂਚ, ਕਦਮ ਦਰ ਕਦਮ
- ਪੰਨਾ Google ਦੇ ਇੰਡੈਕਸ ਵਿੱਚ ਹੈ ਇਹ ਪੱਕਾ ਕਰਨ ਲਈ Google 'ਤੇ
site:ਅਤੇ ਆਪਣੇ ਪੰਨੇ ਦਾ ਪਤਾ ਸਰਚ ਕਰੋ, ਜਾਂ Search Console ਵਿੱਚ URL Inspection ਵਰਤੋ। - ਆਪਣੀ robots.txt ਖੋਲ੍ਹੋ ਅਤੇ ਪੱਕਾ ਕਰੋ ਕਿ
Googlebotਪੰਨਾ ਲੈ ਸਕਦਾ ਹੈ ਅਤੇGoogle-Extendedਮਨ੍ਹਾ ਨਹੀਂ, ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਇਸ ਤੋਂ ਬਾਹਰ ਰਹਿਣ ਦੀ ਚੋਣ ਨਾ ਕੀਤੀ ਹੋਵੇ। - AISeeWhy 'ਤੇ ਪੰਨੇ ਦੀ ਮੁਫ਼ਤ ਜਾਂਚ ਚਲਾਓ ਜਾਂ
Googlebotਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਇੱਕ ਬੇਨਤੀ ਭੇਜੋ: ਉਸਨੂੰ ਸਥਿਤੀ 200 ਅਤੇ ਬ੍ਰਾਊਜ਼ਰ ਵਾਲਾ ਹੀ ਟੈਕਸਟ ਮਿਲਣਾ ਚਾਹੀਦਾ ਹੈ। - Gemini ਤੋਂ ਅਜਿਹਾ ਸਵਾਲ ਪੁੱਛੋ ਜਿਸਦਾ ਜਵਾਬ ਤੁਹਾਡਾ ਪੰਨਾ ਦਿੰਦਾ ਹੈ ਅਤੇ ਜਵਾਬ ਦੇ ਹੇਠਾਂ ਦਿਖਾਏ ਸਰੋਤ ਖੋਲ੍ਹੋ।
ਜੇ ਪੰਨਾ ਇੰਡੈਕਸ ਨਹੀਂ ਹੋਇਆ, ਤਾਂ Gemini ਦਾ grounding ਉਸਨੂੰ ਨਹੀਂ ਵਰਤ ਸਕਦਾ, ਇਸ ਲਈ ਕਦਮ 1 ਤੋਂ ਸ਼ੁਰੂ ਕਰੋ। ਹੇਠਲੇ ਭਾਗ ਹਰ ਕਦਮ ਅਤੇ ਉਸਦੇ ਫੇਲ੍ਹ ਹੋਣ 'ਤੇ ਕੀ ਕਰਨਾ ਹੈ ਸਮਝਾਉਂਦੇ ਹਨ।
Gemini ਵੈੱਬਸਾਈਟਾਂ ਤੋਂ ਜਾਣਕਾਰੀ ਕਿਵੇਂ ਲੈਂਦਾ ਹੈ?
Google ਦਾ Gemini Apps Privacy Hub ਕਹਿੰਦਾ ਹੈ ਕਿ Gemini ਦੇ ਕੁਝ ਜਵਾਬ ਸਰਚ ਨਤੀਜਿਆਂ 'ਤੇ grounded ਹੁੰਦੇ ਹਨ। Google ਦੇ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ grounding ਦੀ ਪਰਿਭਾਸ਼ਾ ਇਹ ਦਿੰਦੇ ਹਨ: ਪ੍ਰੌਂਪਟ ਦੇ ਸਮੇਂ ਮਾਡਲ ਨੂੰ Google Search ਇੰਡੈਕਸ ਦੀ ਸਮੱਗਰੀ ਦੇਣਾ, ਤਾਂ ਜੋ ਜਵਾਬ ਜ਼ਿਆਦਾ ਤੱਥਾਂ ਵਾਲੇ ਅਤੇ ਢੁਕਵੇਂ ਹੋਣ। ਉਸੇ ਪੰਨੇ ਮੁਤਾਬਕ Google-Extended ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ Google ਦੀ ਕ੍ਰੌਲ ਕੀਤੀ ਸਮੱਗਰੀ Gemini ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ, ਅਤੇ Gemini Apps ਅਤੇ Vertex AI ਦੀ Grounding with Google Search ਵਿੱਚ grounding ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜਾਂ ਨਹੀਂ।
Google-Extended ਦੀ ਆਪਣੀ ਕੋਈ ਯੂਜ਼ਰ ਏਜੰਟ ਸਤਰ ਨਹੀਂ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਿੰਗ ਉਸਦੇ ਮੌਜੂਦਾ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਨਾਲ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਇਹ ਟੋਕਨ ਸਿਰਫ਼ robots.txt ਵਿੱਚ ਕੰਟਰੋਲ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ। ਅਮਲ ਵਿੱਚ Gemini ਦੇ ਤੁਹਾਡਾ ਪੰਨਾ ਵਰਤਣ ਲਈ ਦੋ ਸ਼ਰਤਾਂ ਬਣਦੀਆਂ ਹਨ: Google ਦੇ ਇੰਡੈਕਸ ਵਿੱਚ ਪੰਨਾ ਹੋਵੇ, ਅਤੇ ਤੁਹਾਡੀ robots.txt ਉਸ ਲਈ Google-Extended ਨੂੰ ਮਨ੍ਹਾ ਨਾ ਕਰੇ।
Google ਇਹ ਨਹੀਂ ਦੱਸਦਾ ਕਿ Gemini ਇੰਡੈਕਸ ਕੀਤੇ ਕਿਹੜੇ ਪੰਨੇ ਵਰਤਣ ਜਾਂ ਹਵਾਲਾ ਦੇਣ ਲਈ ਕਿਵੇਂ ਚੁਣਦਾ ਹੈ। ਦੋਵੇਂ ਸ਼ਰਤਾਂ ਪੂਰੀਆਂ ਕਰਨ ਨਾਲ ਤੁਹਾਡਾ ਪੰਨਾ ਉਪਲਬਧ ਹੋ ਜਾਂਦਾ ਹੈ; ਇਹ ਗਾਰੰਟੀ ਨਹੀਂ ਕਿ Gemini ਉਸਨੂੰ ਚੁਣੇਗਾ।
ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ Google ਨੇ ਮੇਰਾ ਪੰਨਾ ਇੰਡੈਕਸ ਕੀਤਾ ਹੈ?
Google Search Console ਵਿੱਚ URL Inspection ਟੂਲ ਵਰਤੋ। ਇੰਡੈਕਸ ਕੀਤੇ ਸੰਸਕਰਣ ਲਈ ਇਹ ਦਿਖਾਉਂਦਾ ਹੈ:
- ਪੰਨਾ ਇੰਡੈਕਸ ਹੈ ਜਾਂ ਨਹੀਂ, ਜਾਂ "URL is unknown to Google" ਵਰਗਾ ਕੋਈ ਕਾਰਨ।
- ਆਖ਼ਰੀ ਕ੍ਰੌਲ ਦੀ ਤਾਰੀਖ, ਅਤੇ Google ਨੇ ਉਸਨੂੰ ਡੈਸਕਟਾਪ ਜਾਂ ਮੋਬਾਈਲ ਵਿਜ਼ਿਟਰ ਵਜੋਂ ਕ੍ਰੌਲ ਕੀਤਾ।
- ਪੰਨਾ ਲਿਆਉਣਾ ਸਫਲ ਹੋਇਆ ਜਾਂ ਨਹੀਂ, ਅਤੇ robots.txt ਨੇ ਕ੍ਰੌਲ ਦੀ ਇਜਾਜ਼ਤ ਦਿੱਤੀ ਜਾਂ ਨਹੀਂ।
- ਤੁਹਾਡਾ ਦੱਸਿਆ canonical ਅਤੇ Google ਦਾ ਚੁਣਿਆ canonical। ਜੇ ਇਹ ਵੱਖਰੇ ਹਨ, ਤਾਂ Google ਆਪਣੀ ਚੋਣ ਨੂੰ ਪੰਨੇ ਦਾ ਅਧਿਕਾਰਤ ਸੰਸਕਰਣ ਮੰਨਦਾ ਹੈ।
Test live URL ਪੰਨੇ ਨੂੰ ਉਸੇ ਵੇਲੇ ਲਿਆਉਂਦਾ ਹੈ, ਅਤੇ View tested page ਇੱਕ ਸਕ੍ਰੀਨਸ਼ਾਟ ਅਤੇ Google ਨੂੰ ਮਿਲਿਆ HTML ਦਿਖਾਉਂਦਾ ਹੈ। ਜੇ ਸਕ੍ਰੀਨਸ਼ਾਟ ਚੈਲੰਜ ਪੰਨਾ ਹੈ ਜਾਂ HTML ਵਿੱਚ ਤੁਹਾਡਾ ਮੁੱਖ ਟੈਕਸਟ ਨਹੀਂ, ਤਾਂ Google, ਅਤੇ ਉਸਦੇ ਨਾਲ Gemini, ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਨਹੀਂ ਦੇਖਦਾ। Request indexing Google ਨੂੰ URL ਦੁਬਾਰਾ ਕ੍ਰੌਲ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ; Google ਮੁਤਾਬਕ ਇਸ ਵਿੱਚ ਆਮ ਤੌਰ 'ਤੇ ਲਗਭਗ ਇੱਕ ਦਿਨ ਲੱਗਦਾ ਹੈ, ਅਤੇ ਇੰਡੈਕਸ ਹੋਣ ਦੀ ਗਾਰੰਟੀ ਨਹੀਂ।
ਕੀ Google-Extended, Gemini ਨੂੰ ਮੇਰੀ ਸਾਈਟ ਵਰਤਣ ਤੋਂ ਰੋਕ ਰਿਹਾ ਹੈ?
ਆਪਣੀ robots.txt ਖੋਲ੍ਹੋ ਅਤੇ ਉਹ ਗਰੁੱਪ ਲੱਭੋ ਜੋ Google-Extended ਦਾ ਨਾਮ ਲੈਂਦਾ ਹੈ। ਉੱਥੇ Disallow: / Google ਨੂੰ ਕਹਿੰਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਪੰਨੇ Gemini ਦੀ ਸਿਖਲਾਈ ਲਈ ਜਾਂ Gemini Apps ਵਿੱਚ grounding ਲਈ ਨਾ ਵਰਤੇ ਜਾਣ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਟੋਕਨ Google Search ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪਾਉਂਦਾ ਅਤੇ ਰੈਂਕਿੰਗ ਸੰਕੇਤ ਨਹੀਂ ਹੈ, ਇਸ ਲਈ ਇਹ ਬਲੌਕ ਆਸਾਨੀ ਨਾਲ ਨਜ਼ਰੋਂ ਖੁੰਝ ਜਾਂਦਾ ਹੈ: ਤੁਹਾਡਾ ਸਰਚ ਟ੍ਰੈਫਿਕ ਆਮ ਲੱਗਦਾ ਹੈ ਜਦਕਿ Gemini ਤੁਹਾਡੇ ਪੰਨਿਆਂ 'ਤੇ ਜਵਾਬ ground ਨਹੀਂ ਕਰ ਸਕਦਾ। AI Overviews ਅਤੇ Google-Extended ਬਾਰੇ ਸਾਡਾ ਵੱਖਰਾ ਲੇਖ ਦੱਸਦਾ ਹੈ ਕਿ ਇਹ ਟੋਕਨ Search ਵਿੱਚ ਕੀ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ ਅਤੇ ਕੀ ਨਹੀਂ।
ਕਿਉਂਕਿ ਇਹ ਟੋਕਨ ਬੇਨਤੀਆਂ ਵਿੱਚ ਕਦੇ ਨਹੀਂ ਆਉਂਦਾ, ਤੁਸੀਂ ਇਸਨੂੰ curl ਨਾਲ ਟੈਸਟ ਨਹੀਂ ਕਰ ਸਕਦੇ ਜਾਂ ਲੌਗਾਂ ਵਿੱਚ ਨਹੀਂ ਲੱਭ ਸਕਦੇ। ਫਾਈਲ ਪੜ੍ਹਨਾ ਹੀ ਇੱਕੋ ਜਾਂਚ ਹੈ:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" ਮੇਲ ਵਿੱਚ ਵੱਡੇ-ਛੋਟੇ ਅੱਖਰਾਂ ਦਾ ਫ਼ਰਕ ਨਹੀਂ ਪੈਂਦਾ, ਅਤੇ ਜੇ ਕੋਈ ਗਰੁੱਪ Google-Extended ਦਾ ਨਾਮ ਨਹੀਂ ਲੈਂਦਾ, ਤਾਂ ਉਸ 'ਤੇ * ਗਰੁੱਪ ਲਾਗੂ ਹੁੰਦਾ ਹੈ। ਬਹੁਤ ਸਾਰੀਆਂ ਸਾਈਟਾਂ ਨੇ ਇਹ ਬਲੌਕ ਉਦੋਂ ਜੋੜਿਆ ਸੀ ਜਦੋਂ AI ਸਿਖਲਾਈ ਦੀ ਚਰਚਾ ਪਹਿਲੀ ਵਾਰ ਹੋਈ ਸੀ। 1,000 ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ ਡੋਮੇਨਾਂ ਦੇ ਸਾਡੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਵਾਲੀਆਂ 518 ਸਾਈਟਾਂ ਵਿੱਚੋਂ 114 ਨੇ Google-Extended ਦਾ ਨਾਮ ਲਿਆ ਅਤੇ 94 (18.1%) ਨੇ ਉਸ ਲਈ ਆਪਣਾ ਹੋਮ ਪੇਜ ਮਨ੍ਹਾ ਕੀਤਾ। ਫ਼ੈਸਲਾ ਕਰੋ ਕਿ ਕੀ ਇਹ ਅਜੇ ਵੀ ਤੁਹਾਡੀ ਮਰਜ਼ੀ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ, ਕਿਉਂਕਿ ਇਹ grounding ਨੂੰ ਵੀ ਕਵਰ ਕਰਦਾ ਹੈ।
ਕੀ ਫਾਇਰਵਾਲ Google ਨੂੰ ਬਲੌਕ ਕਰ ਸਕਦੀ ਹੈ ਜਦਕਿ ਬ੍ਰਾਊਜ਼ਰ ਲੰਘ ਜਾਂਦੇ ਹਨ?
ਹਾਂ। ਜੇ ਬੋਟ ਸੁਰੱਖਿਆ ਜਾਂ ਰੇਟ ਲਿਮਿਟ Google ਦੇ ਕ੍ਰੌਲਰਾਂ ਨੂੰ 403, 429 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਦਿੰਦੀ ਹੈ, ਤਾਂ Google ਪੰਨਾ ਕ੍ਰੌਲ ਨਹੀਂ ਕਰ ਸਕਦਾ, ਅਤੇ ਸਮੇਂ ਨਾਲ ਪੰਨਾ Search ਵਿੱਚੋਂ, ਅਤੇ ਉਸਦੇ ਨਾਲ Gemini ਦੀ grounding ਵਿੱਚੋਂ, ਬਾਹਰ ਹੋ ਸਕਦਾ ਹੈ। ਇੱਥੇ URL Inspection ਸਭ ਤੋਂ ਵਧੀਆ ਟੈਸਟ ਹੈ, ਕਿਉਂਕਿ Google ਆਪਣੇ ਪਤਿਆਂ ਤੋਂ ਪੰਨਾ ਲਿਆਉਂਦਾ ਹੈ; ਤੁਹਾਡੇ ਕੰਪਿਊਟਰ ਤੋਂ curl ਟੈਸਟ ਸਿਰਫ਼ ਇਹ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਨਿਯਮ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਕਿਵੇਂ ਵਰਤਦੇ ਹਨ।
Google ਨੂੰ ਸੁਰੱਖਿਅਤ ਢੰਗ ਨਾਲ ਇਜਾਜ਼ਤ ਦੇਣ ਲਈ, ਨਾਮ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਦੀ ਥਾਂ ਵਿਜ਼ਿਟਰ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ। Google ਰਿਵਰਸ DNS ਲੁੱਕਅੱਪ ਅਤੇ ਉਸ ਤੋਂ ਬਾਅਦ ਫਾਰਵਰਡ ਲੁੱਕਅੱਪ ਦਾ ਤਰੀਕਾ ਦੱਸਦਾ ਹੈ, ਅਤੇ ਆਪਣੇ ਆਮ ਕ੍ਰੌਲਰਾਂ ਦੀਆਂ IP ਰੇਂਜਾਂ common-crawlers.json ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com ਮਿਸਾਲ ਵਾਲੇ ਪਤੇ ਦੀ ਥਾਂ ਆਪਣੇ ਲੌਗਾਂ ਵਿੱਚੋਂ ਕੋਈ ਪਤਾ ਪਾਓ। ਜੇ ਦੋਵੇਂ ਲੁੱਕਅੱਪ ਮੇਲ ਨਹੀਂ ਖਾਂਦੇ, ਤਾਂ ਬੇਨਤੀ ਸਿਰਫ਼ Google ਹੋਣ ਦਾ ਦਾਅਵਾ ਕਰਦੀ ਹੈ।
ਮੈਂ ਕਿਵੇਂ ਦੇਖਾਂ ਕਿ Gemini ਮੇਰੀ ਸਾਈਟ ਵਰਤਦਾ ਹੈ ਜਾਂ ਉਸਦਾ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ?
ਆਪਣੀ ਸਾਈਟ ਦਾ ਨਾਮ ਲਏ ਬਿਨਾਂ Gemini ਤੋਂ ਉਹ ਸਵਾਲ ਪੁੱਛੋ ਜੋ ਤੁਹਾਡੇ ਖਰੀਦਦਾਰ ਪੁੱਛਦੇ ਹਨ, ਅਤੇ ਸਰੋਤ ਖੋਲ੍ਹੋ। Google ਦਾ ਹੈਲਪ ਸੈਂਟਰ ਕਹਿੰਦਾ ਹੈ ਕਿ Sources ਬਟਨ ਜਵਾਬ ਦੇ ਹੇਠਾਂ ਜਾਂ ਟੈਕਸਟ ਦੇ ਵਿਚਕਾਰ ਆਉਂਦਾ ਹੈ, ਅਤੇ ਸੰਬੰਧਿਤ ਲਿੰਕਾਂ ਦਾ ਪੈਨਲ ਖੋਲ੍ਹਦਾ ਹੈ ਜਿਸ ਵਿੱਚ ਜਨਤਕ ਵੈੱਬਸਾਈਟਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਜੇ Sources ਬਟਨ ਨਹੀਂ ਹੈ, ਤਾਂ Gemini ਨੇ ਉਸ ਜਵਾਬ ਲਈ ਲਿੰਕ ਨਹੀਂ ਦਿੱਤੇ, ਅਤੇ Google ਦੱਸਦਾ ਹੈ ਕਿ ਹਰ ਜਵਾਬ ਵਿੱਚ ਇਹ ਨਹੀਂ ਹੁੰਦੇ। ਨੋਟ ਕਰੋ ਕਿ ਕਿਹੜੇ ਡੋਮੇਨ ਆਉਂਦੇ ਹਨ ਅਤੇ ਕੁਝ ਹਫ਼ਤਿਆਂ ਤੱਕ ਉਹੀ ਸਵਾਲ ਦੁਹਰਾਓ।
ਡਿਵੈਲਪਰ ਇਹੀ ਟੈਸਟ Gemini API ਵਿੱਚ Grounding with Google Search ਨਾਲ ਚਲਾ ਸਕਦੇ ਹਨ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਮਾਡਲ ਨੂੰ ਵੈੱਬ ਦੀ ਰੀਅਲ-ਟਾਈਮ ਸਮੱਗਰੀ ਨਾਲ ਜੋੜਦੀ ਹੈ, ਅਤੇ grounded ਜਵਾਬਾਂ ਵਿੱਚ ਹਰ ਸਰੋਤ ਦੇ URL ਅਤੇ ਸਿਰਲੇਖ ਵਾਲੇ ਹਵਾਲੇ ਹੁੰਦੇ ਹਨ, ਇਸ ਲਈ ਤੁਸੀਂ ਜਾਂਚ ਸਕਦੇ ਹੋ ਕਿ ਤੁਹਾਡਾ ਡੋਮੇਨ ਆਉਂਦਾ ਹੈ ਜਾਂ ਨਹੀਂ। API ਦੇ ਜਵਾਬ Gemini ਐਪ ਵਿੱਚ ਦਿਖਣ ਵਾਲੇ ਜਵਾਬਾਂ ਤੋਂ ਵੱਖਰੇ ਹੋ ਸਕਦੇ ਹਨ।
Gemini ਨਾਲ ਜੁੜੀਆਂ ਕੁਝ ਬੇਨਤੀਆਂ ਤੁਹਾਡੇ ਸਰਵਰ ਤੱਕ ਪਹੁੰਚਦੀਆਂ ਹਨ। Google ਯੂਜ਼ਰ ਦੇ ਕਹਿਣ 'ਤੇ ਚੱਲਣ ਵਾਲੇ fetchers ਦੀ ਸੂਚੀ ਦਿੰਦਾ ਹੈ, ਜਿਵੇਂ Google-GeminiNotebook, ਜੋ ਉਹ URL ਮੰਗਦਾ ਹੈ ਜੋ ਯੂਜ਼ਰ Gemini Notebook ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਸਰੋਤਾਂ ਵਜੋਂ ਜੋੜਦੇ ਹਨ, ਅਤੇ Google-Agent, ਜੋ Google ਦੇ ਢਾਂਚੇ 'ਤੇ ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਕੰਮ ਕਰਨ ਵਾਲੇ ਏਜੰਟ ਵਰਤਦੇ ਹਨ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ fetchers ਆਮ ਤੌਰ 'ਤੇ robots.txt ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦੇ ਹਨ ਕਿਉਂਕਿ ਬੇਨਤੀ ਯੂਜ਼ਰ ਨੇ ਕੀਤੀ ਹੁੰਦੀ ਹੈ। ਇਨ੍ਹਾਂ ਦੀਆਂ ਫੇਰੀਆਂ ਦਿਖਾਉਂਦੀਆਂ ਹਨ ਕਿ ਲੋਕ ਉਨ੍ਹਾਂ ਉਤਪਾਦਾਂ ਰਾਹੀਂ ਤੁਹਾਡੇ ਪੰਨੇ ਖੋਲ੍ਹਦੇ ਹਨ; ਇਹ ਉੱਪਰ ਦੱਸਿਆ grounding ਵਾਲਾ ਰਸਤਾ ਨਹੀਂ ਹੈ।
ਕੀ AI Overviews, AI Mode ਅਤੇ snippet ਨਿਯਮ Gemini 'ਤੇ ਅਸਰ ਪਾਉਂਦੇ ਹਨ?
AI Overviews ਅਤੇ AI Mode, Google Search ਦੇ ਫੀਚਰ ਹਨ ਜਿਨ੍ਹਾਂ ਦੇ ਆਪਣੇ ਕੰਟਰੋਲ ਹਨ। Google ਤੁਹਾਡੇ ਪੰਨਿਆਂ ਤੋਂ ਦਿਖਾਈ ਜਾਣ ਵਾਲੀ ਸਮੱਗਰੀ ਸੀਮਤ ਕਰਨ ਲਈ nosnippet, data-nosnippet, max-snippet ਅਤੇ noindex ਦੱਸਦਾ ਹੈ। ਉਸਦੇ robots meta tag ਦਸਤਾਵੇਜ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ nosnippet ਸਮੱਗਰੀ ਨੂੰ AI Overviews ਅਤੇ AI Mode ਲਈ ਸਿੱਧੇ ਇਨਪੁਟ ਵਜੋਂ ਵਰਤੇ ਜਾਣ ਤੋਂ ਵੀ ਰੋਕਦਾ ਹੈ, ਅਤੇ max-snippet ਸੀਮਤ ਕਰਦਾ ਹੈ ਕਿ ਕਿੰਨੀ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ। Search Console ਵਿੱਚ ਪੂਰੀ ਸਾਈਟ ਲਈ Search generative AI ਸੈਟਿੰਗ ਵੀ ਹੈ, ਜੋ ਸਾਈਟ ਨੂੰ AI Overviews, AI Mode ਅਤੇ Discover ਦੇ ਜਨਰੇਟਿਵ AI ਫੀਚਰਾਂ ਤੋਂ ਬਾਹਰ ਰੱਖ ਸਕਦੀ ਹੈ।
ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਪੰਨਾ Gemini ਐਪ ਦਾ ਜ਼ਿਕਰ ਨਹੀਂ ਕਰਦਾ। ਇਹ ਨਾ ਮੰਨੋ ਕਿ snippet ਨਿਯਮ ਜਾਂ Search Console ਸੈਟਿੰਗ Gemini ਦੀ grounding ਬਦਲਦੀ ਹੈ, ਜਾਂ Google-Extended AI Overviews ਨੂੰ ਬਦਲਦਾ ਹੈ। noindex ਅਪਵਾਦ ਹੈ: Google ਦੀ grounding ਦੀ ਪਰਿਭਾਸ਼ਾ ਮੁਤਾਬਕ, ਸਰਚ ਇੰਡੈਕਸ ਤੋਂ ਬਾਹਰ ਵਾਲਾ ਪੰਨਾ ਇਸ ਲਈ ਵਰਤਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ। ਭੁੱਲੇ ਹੋਏ snippet ਨਿਯਮ ਲੱਭਣ ਲਈ HTML ਅਤੇ ਹੈਡਰ ਜਾਂਚੋ:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" AISeeWhy ਇਹ ਕਿਵੇਂ ਜਾਂਚਦਾ ਹੈ?
ਮੁਫ਼ਤ AISeeWhy ਜਾਂਚ ਤੁਹਾਡਾ ਪੰਨਾ ਅਸਲ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਨਾਲ Googlebot ਅਤੇ ਹੋਰ AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਲਿਆਉਂਦੀ ਹੈ, Google-Extended ਟੋਕਨ ਸਮੇਤ ਹਰ ਇੱਕ ਲਈ ਤੁਹਾਡੀ robots.txt ਲਾਗੂ ਕਰਦੀ ਹੈ, ਚੈਲੰਜ ਪੰਨੇ ਪਛਾਣਦੀ ਹੈ ਅਤੇ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ JavaScript ਤੋਂ ਬਿਨਾਂ ਕਿੰਨਾ ਟੈਕਸਟ ਪਹੁੰਚਦਾ ਹੈ। AI ਵਿੱਚ ਦਿੱਖ ਜਾਂਚ, ਜੋ ਟ੍ਰਾਇਲ ਅਤੇ ਭੁਗਤਾਨ ਵਾਲੇ ਪਲਾਨਾਂ ਵਿੱਚ ਹੈ, ਤੁਹਾਡੀ ਆਪਣੀ ਕੁੰਜੀ ਨਾਲ Google Search grounding ਵਾਲੀ Gemini API ਰਾਹੀਂ ਤੁਹਾਡੇ ਸਵਾਲ ਪੁੱਛਦੀ ਹੈ ਅਤੇ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਤੁਹਾਡੇ ਬ੍ਰਾਂਡ ਜਾਂ ਡੋਮੇਨ ਦਾ ਜ਼ਿਕਰ ਜਾਂ ਹਵਾਲਾ ਹੈ ਜਾਂ ਨਹੀਂ। ਇਹ AI Overviews ਜਾਂ AI Mode ਤੋਂ ਨਹੀਂ ਪੁੱਛਦੀ।
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- AI ਕ੍ਰੌਲਰ IP ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ ਮੈਂ ਮੁਫ਼ਤ ਵਿੱਚ ਜਾਂਚ ਸਕਦਾ ਹਾਂ ਕਿ Gemini ਮੇਰੀ ਸਾਈਟ ਦੇਖ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ?
ਹਾਂ। Search Console, site: ਸਰਚ, ਤੁਹਾਡੀ robots.txt ਅਤੇ Gemini ਵਿੱਚ ਇੱਕ ਸਵਾਲ, ਇਨ੍ਹਾਂ ਦਾ ਕੋਈ ਖ਼ਰਚਾ ਨਹੀਂ। AISeeWhy ਦੀ ਮੁਫ਼ਤ ਜਾਂਚ ਦਿਨ ਵਿੱਚ ਇੱਕ ਪੰਨੇ ਲਈ Googlebot, Google-Extended ਨਿਯਮ ਅਤੇ 14 ਹੋਰ ਕ੍ਰੌਲਰ ਜਾਂਚਦੀ ਹੈ।
ਕੀ Gemini ਦਾ ਆਪਣਾ ਕ੍ਰੌਲਰ ਹੈ?
grounding ਲਈ ਨਹੀਂ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ Google-Extended ਦੀ ਕੋਈ ਯੂਜ਼ਰ ਏਜੰਟ ਸਤਰ ਨਹੀਂ ਅਤੇ ਕ੍ਰੌਲਿੰਗ ਉਸਦੇ ਮੌਜੂਦਾ ਕ੍ਰੌਲਰਾਂ ਨਾਲ ਹੁੰਦੀ ਹੈ। ਯੂਜ਼ਰ ਦੇ ਕਹਿਣ 'ਤੇ ਚੱਲਣ ਵਾਲੇ ਵੱਖਰੇ fetchers, ਜਿਵੇਂ Google-GeminiNotebook ਅਤੇ Google-Agent, ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਪੰਨਿਆਂ 'ਤੇ ਆਉਂਦੇ ਹਨ, ਅਤੇ Google ਮੁਤਾਬਕ ਉਹ ਆਮ ਤੌਰ 'ਤੇ robots.txt ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦੇ ਹਨ।
ਜੇ ਮੈਂ Google-Extended ਬਲੌਕ ਕਰਾਂ, ਤਾਂ ਕੀ Gemini ਫਿਰ ਵੀ ਮੇਰੇ ਬ੍ਰਾਂਡ ਦਾ ਜ਼ਿਕਰ ਕਰ ਸਕਦਾ ਹੈ?
Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਹ Gemini Apps ਵਿੱਚ grounding ਲਈ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਨਹੀਂ ਵਰਤੇਗਾ। ਇਹ ਨਿਯਮ ਤੁਹਾਡੇ ਆਪਣੇ ਪੰਨਿਆਂ 'ਤੇ ਲਾਗੂ ਹੁੰਦਾ ਹੈ। Google ਉਨ੍ਹਾਂ ਹੋਰ ਸਾਈਟਾਂ ਦੀ ਸਮੱਗਰੀ ਬਾਰੇ ਕੁਝ ਨਹੀਂ ਕਹਿੰਦਾ ਜੋ ਤੁਹਾਡੇ ਬਾਰੇ ਲਿਖਦੀਆਂ ਹਨ, ਇਸ ਲਈ Gemini ਉਨ੍ਹਾਂ ਸਰੋਤਾਂ ਤੋਂ ਫਿਰ ਵੀ ਤੁਹਾਡੇ ਬ੍ਰਾਂਡ ਦਾ ਨਾਮ ਲੈ ਸਕਦਾ ਹੈ।
robots.txt ਵਿੱਚ ਕੀਤੀ ਤਬਦੀਲੀ Gemini ਤੱਕ ਕਿੰਨੇ ਸਮੇਂ ਵਿੱਚ ਪਹੁੰਚਦੀ ਹੈ?
Google Gemini ਲਈ ਕੋਈ ਸਮਾਂ ਨਹੀਂ ਦੱਸਦਾ। ਉਸਦੇ robots.txt ਦਸਤਾਵੇਜ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ Google ਆਮ ਤੌਰ 'ਤੇ ਫਾਈਲ ਨੂੰ 24 ਘੰਟਿਆਂ ਤੱਕ ਕੈਸ਼ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਦੁਬਾਰਾ ਟੈਸਟ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਦਿਨ ਉਡੀਕ ਕਰੋ, ਅਤੇ ਉਨ੍ਹਾਂ ਪੰਨਿਆਂ ਲਈ ਹੋਰ ਵੀ ਜ਼ਿਆਦਾ ਜਿਨ੍ਹਾਂ ਨੂੰ Google ਘੱਟ ਹੀ ਦੁਬਾਰਾ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ।
ਕੀ AI Overviews ਅਤੇ Gemini ਇੱਕੋ ਸਰੋਤ ਵਰਤਦੇ ਹਨ?
Google ਇਹ ਨਹੀਂ ਦੱਸਦਾ ਕਿ ਦੋਵਾਂ ਦਾ ਆਪਸ ਵਿੱਚ ਕੀ ਸੰਬੰਧ ਹੈ। ਦੋਵੇਂ Google ਦੇ ਇੰਡੈਕਸ ਤੋਂ ਲੈਂਦੇ ਹਨ, ਪਰ ਉਨ੍ਹਾਂ ਦੇ ਕੰਟਰੋਲ ਵੱਖਰੇ ਹਨ: AI Overviews ਅਤੇ AI Mode ਲਈ snippet ਨਿਯਮ ਅਤੇ Search Console ਸੈਟਿੰਗ, ਅਤੇ Gemini grounding ਲਈ Google-Extended। ਇਨ੍ਹਾਂ ਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਜਾਂਚੋ।
ਮੈਂ ਸਮੇਂ ਦੇ ਨਾਲ Gemini ਦੇ ਜਵਾਬ ਕਿਵੇਂ ਟਰੈਕ ਕਰਾਂ?
ਖਰੀਦਦਾਰਾਂ ਦੇ ਸਵਾਲਾਂ ਦੀ ਇੱਕ ਪੱਕੀ ਸੂਚੀ ਰੱਖੋ, ਉਨ੍ਹਾਂ ਨੂੰ ਨਿਯਮਿਤ ਸਮੇਂ 'ਤੇ Gemini ਤੋਂ ਪੁੱਛੋ ਅਤੇ ਨੋਟ ਕਰੋ ਕਿ ਸਰੋਤਾਂ ਵਿੱਚ ਕਿਹੜੇ ਡੋਮੇਨ ਆਉਂਦੇ ਹਨ। AISeeWhy ਦੀ AI ਵਿੱਚ ਦਿੱਖ ਜਾਂਚ ਤੁਹਾਡੇ ਸਵਾਲ ਹਰ ਹਫ਼ਤੇ Google Search grounding ਵਾਲੀ Gemini API ਰਾਹੀਂ ਚਲਾਉਂਦੀ ਹੈ ਅਤੇ 4 ਤੱਕ ਮੁਕਾਬਲੇਬਾਜ਼ਾਂ ਦੇ ਨਾਲ ਜ਼ਿਕਰ ਦਿਖਾਉਂਦੀ ਹੈ। API ਦੇ ਨਤੀਜੇ Gemini ਐਪ ਤੋਂ ਵੱਖਰੇ ਹੋ ਸਕਦੇ ਹਨ।
ਸਰੋਤ
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy: AI ਕ੍ਰੌਲਰ ਪਹੁੰਚ ਰਿਪੋਰਟ, 2026-11