ਕੀ AI ਕ੍ਰੌਲਰ JavaScript ਨਾਲ ਰੈਂਡਰ ਹੋਈ ਸਮੱਗਰੀ ਪੜ੍ਹ ਸਕਦੇ ਹਨ?

ਪ੍ਰਕਾਸ਼ਿਤ

ਛੋਟਾ ਜਵਾਬ

ਅਕਸਰ ਨਹੀਂ। Googlebot ਬਾਅਦ ਦੇ ਇੱਕ ਪੜਾਅ ਵਿੱਚ JavaScript ਰੈਂਡਰ ਕਰਦਾ ਹੈ, ਪਰ ਜ਼ਿਆਦਾਤਰ AI ਕ੍ਰੌਲਰ ਅਜਿਹਾ ਕਰਨ ਬਾਰੇ ਆਪਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਨਹੀਂ ਲਿਖਦੇ, ਅਤੇ Google ਆਪ ਦੱਸਦਾ ਹੈ ਕਿ ਸਾਰੇ ਬੋਟ JavaScript ਨਹੀਂ ਚਲਾ ਸਕਦੇ। ਜੇ ਤੁਹਾਡੀ ਲਿਖਤ ਸਿਰਫ਼ ਸਕ੍ਰਿਪਟਾਂ ਚੱਲਣ ਤੋਂ ਬਾਅਦ ਦਿਖਦੀ ਹੈ, ਤਾਂ AI ਕ੍ਰੌਲਰ ਨੂੰ ਖਾਲੀ ਪੰਨਾ ਮਿਲ ਸਕਦਾ ਹੈ। ਮੁੱਖ ਸਮੱਗਰੀ ਸਰਵਰ-ਸਾਈਡ ਰੈਂਡਰਿੰਗ ਜਾਂ ਸਟੈਟਿਕ ਪੰਨਿਆਂ ਰਾਹੀਂ ਸ਼ੁਰੂਆਤੀ HTML ਵਿੱਚ ਦਿਓ।

ਸਿੰਗਲ-ਪੇਜ ਐਪ ਅਤੇ ਕਲਾਇੰਟ-ਸਾਈਡ ਫਰੇਮਵਰਕ ਹਰ ਥਾਂ ਹਨ, ਅਤੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਇਹ ਠੀਕ ਦਿਖਦੇ ਹਨ। ਜੋ ਕ੍ਰੌਲਰ ਸਿਰਫ਼ ਤੁਹਾਡੇ ਸਰਵਰ ਦਾ ਭੇਜਿਆ HTML ਪੜ੍ਹਦਾ ਹੈ, ਉਸਨੂੰ ਕੁਝ ਹੋਰ ਦਿਖਦਾ ਹੈ: ਇੱਕ <div id="root"></div>, ਕੁਝ ਸਕ੍ਰਿਪਟ ਟੈਗ ਅਤੇ ਥੋੜ੍ਹੀ ਜਿਹੀ ਲਿਖਤ ਜਾਂ ਕੁਝ ਵੀ ਨਹੀਂ। AI ਜਵਾਬਾਂ ਲਈ ਉਸ ਪੰਨੇ 'ਤੇ ਹਵਾਲਾ ਦੇਣ ਲਈ ਕੁਝ ਨਹੀਂ ਹੁੰਦਾ।

ਇਸ ਪੰਨੇ 'ਤੇ
  1. AI ਕ੍ਰੌਲਰਾਂ ਤੋਂ JavaScript ਵਾਲੀ ਸਮੱਗਰੀ ਕਿਉਂ ਖੁੰਝ ਜਾਂਦੀ ਹੈ?
  2. ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ ਕ੍ਰੌਲਰ ਨੂੰ ਕੀ ਮਿਲਦਾ ਹੈ?
  3. ਕਿਹੜੇ ਪੰਨਿਆਂ ਨੂੰ ਸਭ ਤੋਂ ਵੱਧ ਖ਼ਤਰਾ ਹੈ?
  4. ਸਿਰਫ਼ JavaScript ਵਾਲੀ ਸਮੱਗਰੀ ਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰਾਂ?
  5. ਕੀ ਲੌਗਇਨ, ਸਹਿਮਤੀ ਅਤੇ ਪੇਵਾਲ ਸਕ੍ਰੀਨਾਂ ਵੀ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ?
  6. AISeeWhy ਸਿਰਫ਼ JavaScript ਵਾਲੇ ਪੰਨੇ ਕਿਵੇਂ ਫੜਦਾ ਹੈ?

AI ਕ੍ਰੌਲਰਾਂ ਤੋਂ JavaScript ਵਾਲੀ ਸਮੱਗਰੀ ਕਿਉਂ ਖੁੰਝ ਜਾਂਦੀ ਹੈ?

JavaScript ਚਲਾਉਣਾ ਮਹਿੰਗਾ ਹੈ। ਕ੍ਰੌਲਰ ਨੂੰ ਸਕ੍ਰਿਪਟਾਂ ਡਾਊਨਲੋਡ ਕਰਨੀਆਂ ਪੈਂਦੀਆਂ ਹਨ, ਉਨ੍ਹਾਂ ਨੂੰ ਬ੍ਰਾਊਜ਼ਰ ਇੰਜਣ ਵਿੱਚ ਚਲਾਉਣਾ ਪੈਂਦਾ ਹੈ ਅਤੇ ਡਾਟਾ ਲੋਡ ਹੋਣ ਦੀ ਉਡੀਕ ਕਰਨੀ ਪੈਂਦੀ ਹੈ। Google ਇਹ ਸਰਚ ਲਈ ਕਰਦਾ ਹੈ: ਇਹ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, ਪੰਨਿਆਂ ਨੂੰ ਰੈਂਡਰਿੰਗ ਲਈ ਕਤਾਰ ਵਿੱਚ ਲਾਉਂਦਾ ਹੈ, ਅਤੇ ਜਦੋਂ ਸਰੋਤ ਇਜਾਜ਼ਤ ਦੇਣ ਤਾਂ headless Chromium ਨਾਲ ਰੈਂਡਰ ਕਰਦਾ ਹੈ। ਫਿਰ ਵੀ Google ਸਰਵਰ-ਸਾਈਡ ਰੈਂਡਰਿੰਗ ਜਾਂ ਪ੍ਰੀਰੈਂਡਰਿੰਗ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਯੂਜ਼ਰਾਂ ਅਤੇ ਕ੍ਰੌਲਰਾਂ ਦੋਵਾਂ ਲਈ ਤੇਜ਼ ਹੈ, ਅਤੇ ਦੱਸਦਾ ਹੈ ਕਿ ਸਾਰੇ ਬੋਟ JavaScript ਨਹੀਂ ਚਲਾ ਸਕਦੇ।

OpenAI, Anthropic ਅਤੇ Perplexity ਆਪਣੇ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਇਹ ਨਹੀਂ ਕਹਿੰਦੇ ਕਿ ਉਨ੍ਹਾਂ ਦੇ ਏਜੰਟ JavaScript ਚਲਾਉਂਦੇ ਹਨ। Apple ਕਹਿੰਦਾ ਹੈ ਕਿ Applebot ਪੰਨਿਆਂ ਨੂੰ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਰੈਂਡਰ ਕਰ ਸਕਦਾ ਹੈ। ਸਾਫ਼ ਬਿਆਨ ਤੋਂ ਬਿਨਾਂ, AI ਕ੍ਰੌਲਰਾਂ ਲਈ ਸੁਰੱਖਿਅਤ ਧਾਰਨਾ ਇਹੀ ਹੈ ਕਿ ਉਹ ਸਿਰਫ਼ ਸ਼ੁਰੂਆਤੀ HTML ਪੜ੍ਹਦੇ ਹਨ।

ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ ਕ੍ਰੌਲਰ ਨੂੰ ਕੀ ਮਿਲਦਾ ਹੈ?

ਰੈਂਡਰ ਹੋਇਆ ਪੰਨਾ ਨਹੀਂ, ਕੱਚਾ HTML ਦੇਖੋ। ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਡਿਵੈਲਪਰ ਟੂਲ ਸਕ੍ਰਿਪਟਾਂ ਚੱਲਣ ਤੋਂ ਬਾਅਦ ਦਾ DOM ਦਿਖਾਉਂਦੇ ਹਨ, ਜੋ ਕ੍ਰੌਲਰ ਨੂੰ ਨਹੀਂ ਮਿਲਦਾ। view-source ਵਰਤੋ, ਜਾਂ ਕਮਾਂਡ ਲਾਈਨ ਤੋਂ ਕੱਚਾ HTML ਸੇਵ ਕਰਕੇ ਉਸ ਵਿੱਚ ਖੋਜੋ:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

ਨਤੀਜਾ 0 ਹੋਣ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਉਹ ਵਾਕ ਸਰਵਰ ਦੇ ਭੇਜੇ HTML ਵਿੱਚ ਨਹੀਂ ਹੈ, ਇਸ ਲਈ ਜੋ ਕ੍ਰੌਲਰ ਸਕ੍ਰਿਪਟਾਂ ਨਹੀਂ ਚਲਾਉਂਦੇ ਉਨ੍ਹਾਂ ਨੂੰ ਇਹ ਨਹੀਂ ਲੱਭੇਗਾ। ਫ਼ਾਈਲ 'ਤੇ ਇੱਕ ਨਜ਼ਰ ਬਾਕੀ ਦੱਸ ਦਿੰਦੀ ਹੈ: ਸਰਵਰ 'ਤੇ ਰੈਂਡਰ ਹੋਏ ਲੇਖ ਦੀ ਪੂਰੀ ਲਿਖਤ ਉੱਥੇ ਹੁੰਦੀ ਹੈ; ਕਲਾਇੰਟ-ਸਾਈਡ ਸ਼ੈੱਲ ਵਿੱਚ ਖਾਲੀ root ਐਲੀਮੈਂਟ ਅਤੇ ਸਕ੍ਰਿਪਟਾਂ ਦੀ ਸੂਚੀ ਹੁੰਦੀ ਹੈ।

ਕਿਹੜੇ ਪੰਨਿਆਂ ਨੂੰ ਸਭ ਤੋਂ ਵੱਧ ਖ਼ਤਰਾ ਹੈ?

ਸਿਰਫ਼ JavaScript ਵਾਲੀ ਸਮੱਗਰੀ ਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰਾਂ?

ਹੱਲ ਇਹ ਹੈ ਕਿ ਅਹਿਮ ਸਮੱਗਰੀ ਪਹਿਲੇ ਜਵਾਬ ਵਿੱਚ ਹੀ ਭੇਜੀ ਜਾਵੇ। ਤੁਹਾਡਾ ਸਟੈਕ ਜੋ ਸਭ ਤੋਂ ਹਲਕਾ ਵਿਕਲਪ ਦਿੰਦਾ ਹੈ ਉਹ ਚੁਣੋ:

ਪੂਰੀ ਐਪ ਨੂੰ ਇੱਕੋ ਵਾਰ ਬਦਲਣ ਦੀ ਲੋੜ ਨਹੀਂ। ਉਨ੍ਹਾਂ ਪੰਨਿਆਂ ਤੋਂ ਸ਼ੁਰੂ ਕਰੋ ਜਿਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ: ਲੇਖ, ਦਸਤਾਵੇਜ਼, ਉਤਪਾਦ ਅਤੇ ਕੀਮਤਾਂ ਵਾਲੇ ਪੰਨੇ। ਖਾਤੇ ਵਾਲੇ ਹਿੱਸੇ ਅਤੇ ਡੈਸ਼ਬੋਰਡ ਕਲਾਇੰਟ-ਸਾਈਡ ਰਹਿ ਸਕਦੇ ਹਨ, ਕਿਉਂਕਿ ਉਹ ਵੈਸੇ ਵੀ ਲੌਗਇਨ ਦੇ ਪਿੱਛੇ ਹਨ।

ਯੂਜ਼ਰ ਏਜੰਟ ਦੇ ਆਧਾਰ 'ਤੇ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਯੂਜ਼ਰਾਂ ਨਾਲੋਂ ਵੱਖਰਾ ਪੰਨਾ ਦੇਣ ਤੋਂ ਬਚੋ। ਸਾਰਿਆਂ ਲਈ ਇੱਕੋ HTML ਰੈਂਡਰ ਕਰਨਾ ਸੰਭਾਲਣਾ ਸੌਖਾ ਹੈ ਅਤੇ cloaking ਬਾਰੇ ਕੋਈ ਸ਼ੱਕ ਨਹੀਂ ਛੱਡਦਾ।

ਕੀ ਲੌਗਇਨ, ਸਹਿਮਤੀ ਅਤੇ ਪੇਵਾਲ ਸਕ੍ਰੀਨਾਂ ਵੀ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ?

ਹਾਂ। ਕ੍ਰੌਲਰ ਲੌਗਇਨ ਨਹੀਂ ਕਰਦਾ, ਕੂਕੀ ਬੈਨਰ 'ਤੇ ਕਲਿੱਕ ਨਹੀਂ ਕਰਦਾ ਅਤੇ ਚੈਲੰਜ ਹੱਲ ਨਹੀਂ ਕਰਦਾ। Anthropic ਦੱਸਦਾ ਹੈ ਕਿ ਉਸਦੇ ਬੋਟ CAPTCHA ਪਾਰ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਨਹੀਂ ਕਰਨਗੇ। ਜੇ ਸਹਿਮਤੀ ਮੈਨੇਜਰ HTML ਵਿੱਚ ਪੰਨੇ ਦੀ ਥਾਂ ਪੂਰੀ ਸਕ੍ਰੀਨ ਦਾ ਓਵਰਲੇ ਰੱਖ ਦਿੰਦਾ ਹੈ, ਜਾਂ ਪਹਿਲੀ ਵਾਰ ਆਉਣ ਵਾਲਿਆਂ ਨੂੰ ਸਹਿਮਤੀ ਪੰਨੇ 'ਤੇ ਰੀਡਾਇਰੈਕਟ ਕਰਦਾ ਹੈ, ਤਾਂ ਕ੍ਰੌਲਰ ਨੂੰ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਦੀ ਥਾਂ ਉਹੀ ਮਿਲਦਾ ਹੈ।

ਪੱਕਾ ਕਰੋ ਕਿ ਜਨਤਕ ਪੰਨੇ ਸਹਿਮਤੀ ਦੀ ਸਥਿਤੀ ਜੋ ਵੀ ਹੋਵੇ ਆਪਣੀ ਸਮੱਗਰੀ HTML ਵਿੱਚ ਰੈਂਡਰ ਕਰਦੇ ਹਨ, ਅਤੇ ਬੈਨਰ ਬਦਲ ਨਹੀਂ ਸਗੋਂ ਓਵਰਲੇ ਹੋਵੇ। ਜਿਨ੍ਹਾਂ ਪੰਨਿਆਂ ਦਾ ਹਵਾਲਾ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਉਨ੍ਹਾਂ ਨੂੰ ਲੌਗਇਨ ਦੀਆਂ ਕੰਧਾਂ ਤੋਂ ਬਾਹਰ ਰੱਖੋ, ਅਤੇ ਜਾਂਚੋ ਕਿ ਕ੍ਰੌਲਰ ਸਾਈਨ-ਇਨ ਪੰਨੇ 'ਤੇ ਰੀਡਾਇਰੈਕਟ ਨਹੀਂ ਹੁੰਦਾ।

AISeeWhy ਸਿਰਫ਼ JavaScript ਵਾਲੇ ਪੰਨੇ ਕਿਵੇਂ ਫੜਦਾ ਹੈ?

AISeeWhy ਸ਼ੁਰੂਆਤੀ HTML ਨੂੰ ਉਸੇ ਤਰ੍ਹਾਂ ਪੜ੍ਹਦਾ ਹੈ ਜਿਵੇਂ ਹਰ ਕ੍ਰੌਲਰ ਨੂੰ ਮਿਲਦਾ ਹੈ, ਸਕ੍ਰਿਪਟਾਂ ਚਲਾਏ ਬਿਨਾਂ। ਜਦੋਂ ਪੰਨੇ 'ਤੇ ਦਿਖਣ ਵਾਲੀ ਲਿਖਤ ਲਗਭਗ ਨਹੀਂ ਹੁੰਦੀ ਪਰ ਫਰੇਮਵਰਕ ਦਾ root ਐਲੀਮੈਂਟ ਅਤੇ ਸਕ੍ਰਿਪਟਾਂ ਹੁੰਦੀਆਂ ਹਨ, ਤਾਂ ਇਹ P1 ਖੋਜ ਰਿਪੋਰਟ ਕਰਦਾ ਹੈ ਕਿ ਸਮੱਗਰੀ ਨੂੰ JavaScript ਚਾਹੀਦੀ ਹੈ। ਇਹ ਉਨ੍ਹਾਂ ਰੀਡਾਇਰੈਕਟਾਂ ਨੂੰ ਵੀ ਦਰਸਾਉਂਦਾ ਹੈ ਜੋ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬ੍ਰਾਊਜ਼ਰ ਵਾਲੇ ਪੰਨੇ ਦੀ ਥਾਂ ਕਿਤੇ ਹੋਰ ਭੇਜਦੇ ਹਨ।

ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ

ਮੁਫ਼ਤ ਟੂਲ

ਅਗਲੇ ਕਦਮ

ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਕੀ Googlebot JavaScript ਰੈਂਡਰ ਕਰਦਾ ਹੈ?

ਹਾਂ। Google HTML ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, ਪੰਨਿਆਂ ਨੂੰ ਰੈਂਡਰਿੰਗ ਲਈ ਕਤਾਰ ਵਿੱਚ ਲਾਉਂਦਾ ਹੈ ਅਤੇ ਜਦੋਂ ਸਰੋਤ ਇਜਾਜ਼ਤ ਦੇਣ ਤਾਂ headless Chromium ਨਾਲ ਰੈਂਡਰ ਕਰਦਾ ਹੈ। ਫਿਰ ਵੀ Google ਸਰਵਰ-ਸਾਈਡ ਰੈਂਡਰਿੰਗ ਜਾਂ ਪ੍ਰੀਰੈਂਡਰਿੰਗ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦਾ ਹੈ।

ਕੀ ChatGPT, Claude ਅਤੇ Perplexity ਦੇ ਕ੍ਰੌਲਰ JavaScript ਚਲਾਉਂਦੇ ਹਨ?

ਉਨ੍ਹਾਂ ਦੇ ਵੈਂਡਰਾਂ ਦੇ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ ਅਜਿਹਾ ਨਹੀਂ ਕਹਿੰਦੇ। ਜਦੋਂ ਤੱਕ ਕੋਈ ਵੈਂਡਰ ਕੁਝ ਹੋਰ ਨਹੀਂ ਕਹਿੰਦਾ, ਮੰਨ ਕੇ ਚੱਲੋ ਕਿ ਕ੍ਰੌਲਰ ਸ਼ੁਰੂਆਤੀ HTML ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਪੱਕਾ ਕਰੋ ਕਿ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਉਸ ਵਿੱਚ ਹੈ।

ਕੀ ਬੋਟਾਂ ਲਈ dynamic rendering ਚੰਗਾ ਵਿਚਾਰ ਹੈ?

ਇਹ ਆਰਜ਼ੀ ਹੱਲ ਵਜੋਂ ਚੱਲ ਜਾਂਦਾ ਹੈ ਪਰ ਸੰਭਾਲਣ ਲਈ ਰੈਂਡਰਿੰਗ ਦਾ ਦੂਜਾ ਰਾਹ ਜੋੜ ਦਿੰਦਾ ਹੈ। ਸਰਵਰ-ਸਾਈਡ ਰੈਂਡਰਿੰਗ ਜਾਂ ਸਟੈਟਿਕ HTML ਸਾਰਿਆਂ ਨੂੰ ਇੱਕੋ ਸਮੱਗਰੀ ਦਿੰਦਾ ਹੈ ਅਤੇ ਲੰਮੇ ਸਮੇਂ ਲਈ ਸੌਖਾ ਹੱਲ ਹੈ।

ਕੀ JavaScript ਰਾਹੀਂ ਜੋੜਿਆ JSON-LD ਗਿਣਿਆ ਜਾਂਦਾ ਹੈ?

Google ਇਸਨੂੰ ਰੈਂਡਰਿੰਗ ਤੋਂ ਬਾਅਦ ਪੜ੍ਹ ਸਕਦਾ ਹੈ, ਪਰ ਜੋ ਕ੍ਰੌਲਰ ਸਕ੍ਰਿਪਟਾਂ ਨਹੀਂ ਚਲਾਉਂਦੇ ਉਨ੍ਹਾਂ ਨੂੰ ਇਹ ਨਹੀਂ ਦਿਖੇਗਾ। JSON-LD ਨੂੰ ਸ਼ੁਰੂਆਤੀ HTML ਵਿੱਚ ਰੱਖੋ।

ਸਰੋਤ

ਹੋਰ ਲੇਖ