ਕੀ AI ਕ੍ਰੌਲਰ JavaScript ਨਾਲ ਰੈਂਡਰ ਹੋਈ ਸਮੱਗਰੀ ਪੜ੍ਹ ਸਕਦੇ ਹਨ?
ਅਕਸਰ ਨਹੀਂ। Googlebot ਬਾਅਦ ਦੇ ਇੱਕ ਪੜਾਅ ਵਿੱਚ JavaScript ਰੈਂਡਰ ਕਰਦਾ ਹੈ, ਪਰ ਜ਼ਿਆਦਾਤਰ AI ਕ੍ਰੌਲਰ ਅਜਿਹਾ ਕਰਨ ਬਾਰੇ ਆਪਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਨਹੀਂ ਲਿਖਦੇ, ਅਤੇ Google ਆਪ ਦੱਸਦਾ ਹੈ ਕਿ ਸਾਰੇ ਬੋਟ JavaScript ਨਹੀਂ ਚਲਾ ਸਕਦੇ। ਜੇ ਤੁਹਾਡੀ ਲਿਖਤ ਸਿਰਫ਼ ਸਕ੍ਰਿਪਟਾਂ ਚੱਲਣ ਤੋਂ ਬਾਅਦ ਦਿਖਦੀ ਹੈ, ਤਾਂ AI ਕ੍ਰੌਲਰ ਨੂੰ ਖਾਲੀ ਪੰਨਾ ਮਿਲ ਸਕਦਾ ਹੈ। ਮੁੱਖ ਸਮੱਗਰੀ ਸਰਵਰ-ਸਾਈਡ ਰੈਂਡਰਿੰਗ ਜਾਂ ਸਟੈਟਿਕ ਪੰਨਿਆਂ ਰਾਹੀਂ ਸ਼ੁਰੂਆਤੀ HTML ਵਿੱਚ ਦਿਓ।
ਸਿੰਗਲ-ਪੇਜ ਐਪ ਅਤੇ ਕਲਾਇੰਟ-ਸਾਈਡ ਫਰੇਮਵਰਕ ਹਰ ਥਾਂ ਹਨ, ਅਤੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਇਹ ਠੀਕ ਦਿਖਦੇ ਹਨ। ਜੋ ਕ੍ਰੌਲਰ ਸਿਰਫ਼ ਤੁਹਾਡੇ ਸਰਵਰ ਦਾ ਭੇਜਿਆ HTML ਪੜ੍ਹਦਾ ਹੈ, ਉਸਨੂੰ ਕੁਝ ਹੋਰ ਦਿਖਦਾ ਹੈ: ਇੱਕ <div id="root"></div>, ਕੁਝ ਸਕ੍ਰਿਪਟ ਟੈਗ ਅਤੇ ਥੋੜ੍ਹੀ ਜਿਹੀ ਲਿਖਤ ਜਾਂ ਕੁਝ ਵੀ ਨਹੀਂ। AI ਜਵਾਬਾਂ ਲਈ ਉਸ ਪੰਨੇ 'ਤੇ ਹਵਾਲਾ ਦੇਣ ਲਈ ਕੁਝ ਨਹੀਂ ਹੁੰਦਾ।
ਇਸ ਪੰਨੇ 'ਤੇ
- AI ਕ੍ਰੌਲਰਾਂ ਤੋਂ JavaScript ਵਾਲੀ ਸਮੱਗਰੀ ਕਿਉਂ ਖੁੰਝ ਜਾਂਦੀ ਹੈ?
- ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ ਕ੍ਰੌਲਰ ਨੂੰ ਕੀ ਮਿਲਦਾ ਹੈ?
- ਕਿਹੜੇ ਪੰਨਿਆਂ ਨੂੰ ਸਭ ਤੋਂ ਵੱਧ ਖ਼ਤਰਾ ਹੈ?
- ਸਿਰਫ਼ JavaScript ਵਾਲੀ ਸਮੱਗਰੀ ਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰਾਂ?
- ਕੀ ਲੌਗਇਨ, ਸਹਿਮਤੀ ਅਤੇ ਪੇਵਾਲ ਸਕ੍ਰੀਨਾਂ ਵੀ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ?
- AISeeWhy ਸਿਰਫ਼ JavaScript ਵਾਲੇ ਪੰਨੇ ਕਿਵੇਂ ਫੜਦਾ ਹੈ?
AI ਕ੍ਰੌਲਰਾਂ ਤੋਂ JavaScript ਵਾਲੀ ਸਮੱਗਰੀ ਕਿਉਂ ਖੁੰਝ ਜਾਂਦੀ ਹੈ?
JavaScript ਚਲਾਉਣਾ ਮਹਿੰਗਾ ਹੈ। ਕ੍ਰੌਲਰ ਨੂੰ ਸਕ੍ਰਿਪਟਾਂ ਡਾਊਨਲੋਡ ਕਰਨੀਆਂ ਪੈਂਦੀਆਂ ਹਨ, ਉਨ੍ਹਾਂ ਨੂੰ ਬ੍ਰਾਊਜ਼ਰ ਇੰਜਣ ਵਿੱਚ ਚਲਾਉਣਾ ਪੈਂਦਾ ਹੈ ਅਤੇ ਡਾਟਾ ਲੋਡ ਹੋਣ ਦੀ ਉਡੀਕ ਕਰਨੀ ਪੈਂਦੀ ਹੈ। Google ਇਹ ਸਰਚ ਲਈ ਕਰਦਾ ਹੈ: ਇਹ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, ਪੰਨਿਆਂ ਨੂੰ ਰੈਂਡਰਿੰਗ ਲਈ ਕਤਾਰ ਵਿੱਚ ਲਾਉਂਦਾ ਹੈ, ਅਤੇ ਜਦੋਂ ਸਰੋਤ ਇਜਾਜ਼ਤ ਦੇਣ ਤਾਂ headless Chromium ਨਾਲ ਰੈਂਡਰ ਕਰਦਾ ਹੈ। ਫਿਰ ਵੀ Google ਸਰਵਰ-ਸਾਈਡ ਰੈਂਡਰਿੰਗ ਜਾਂ ਪ੍ਰੀਰੈਂਡਰਿੰਗ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਯੂਜ਼ਰਾਂ ਅਤੇ ਕ੍ਰੌਲਰਾਂ ਦੋਵਾਂ ਲਈ ਤੇਜ਼ ਹੈ, ਅਤੇ ਦੱਸਦਾ ਹੈ ਕਿ ਸਾਰੇ ਬੋਟ JavaScript ਨਹੀਂ ਚਲਾ ਸਕਦੇ।
OpenAI, Anthropic ਅਤੇ Perplexity ਆਪਣੇ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਇਹ ਨਹੀਂ ਕਹਿੰਦੇ ਕਿ ਉਨ੍ਹਾਂ ਦੇ ਏਜੰਟ JavaScript ਚਲਾਉਂਦੇ ਹਨ। Apple ਕਹਿੰਦਾ ਹੈ ਕਿ Applebot ਪੰਨਿਆਂ ਨੂੰ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਰੈਂਡਰ ਕਰ ਸਕਦਾ ਹੈ। ਸਾਫ਼ ਬਿਆਨ ਤੋਂ ਬਿਨਾਂ, AI ਕ੍ਰੌਲਰਾਂ ਲਈ ਸੁਰੱਖਿਅਤ ਧਾਰਨਾ ਇਹੀ ਹੈ ਕਿ ਉਹ ਸਿਰਫ਼ ਸ਼ੁਰੂਆਤੀ HTML ਪੜ੍ਹਦੇ ਹਨ।
ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ ਕ੍ਰੌਲਰ ਨੂੰ ਕੀ ਮਿਲਦਾ ਹੈ?
ਰੈਂਡਰ ਹੋਇਆ ਪੰਨਾ ਨਹੀਂ, ਕੱਚਾ HTML ਦੇਖੋ। ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਡਿਵੈਲਪਰ ਟੂਲ ਸਕ੍ਰਿਪਟਾਂ ਚੱਲਣ ਤੋਂ ਬਾਅਦ ਦਾ DOM ਦਿਖਾਉਂਦੇ ਹਨ, ਜੋ ਕ੍ਰੌਲਰ ਨੂੰ ਨਹੀਂ ਮਿਲਦਾ। view-source ਵਰਤੋ, ਜਾਂ ਕਮਾਂਡ ਲਾਈਨ ਤੋਂ ਕੱਚਾ HTML ਸੇਵ ਕਰਕੇ ਉਸ ਵਿੱਚ ਖੋਜੋ:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html ਨਤੀਜਾ 0 ਹੋਣ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਉਹ ਵਾਕ ਸਰਵਰ ਦੇ ਭੇਜੇ HTML ਵਿੱਚ ਨਹੀਂ ਹੈ, ਇਸ ਲਈ ਜੋ ਕ੍ਰੌਲਰ ਸਕ੍ਰਿਪਟਾਂ ਨਹੀਂ ਚਲਾਉਂਦੇ ਉਨ੍ਹਾਂ ਨੂੰ ਇਹ ਨਹੀਂ ਲੱਭੇਗਾ। ਫ਼ਾਈਲ 'ਤੇ ਇੱਕ ਨਜ਼ਰ ਬਾਕੀ ਦੱਸ ਦਿੰਦੀ ਹੈ: ਸਰਵਰ 'ਤੇ ਰੈਂਡਰ ਹੋਏ ਲੇਖ ਦੀ ਪੂਰੀ ਲਿਖਤ ਉੱਥੇ ਹੁੰਦੀ ਹੈ; ਕਲਾਇੰਟ-ਸਾਈਡ ਸ਼ੈੱਲ ਵਿੱਚ ਖਾਲੀ root ਐਲੀਮੈਂਟ ਅਤੇ ਸਕ੍ਰਿਪਟਾਂ ਦੀ ਸੂਚੀ ਹੁੰਦੀ ਹੈ।
ਕਿਹੜੇ ਪੰਨਿਆਂ ਨੂੰ ਸਭ ਤੋਂ ਵੱਧ ਖ਼ਤਰਾ ਹੈ?
- React, Vue, Angular ਜਾਂ Svelte ਨਾਲ ਬਣੇ ਸਿੰਗਲ-ਪੇਜ ਐਪ ਜੋ ਸਭ ਕੁਝ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਰੈਂਡਰ ਕਰਦੇ ਹਨ।
- ਉਹ ਪੰਨੇ ਜੋ ਲੋਡ ਹੋਣ ਤੋਂ ਬਾਅਦ ਆਪਣੀ ਮੁੱਖ ਲਿਖਤ API ਤੋਂ ਲਿਆਉਂਦੇ ਹਨ, ਜਿਵੇਂ ਉਤਪਾਦ ਦੇ ਵੇਰਵੇ, ਕੀਮਤਾਂ ਜਾਂ ਰਿਵਿਊ।
- ਟੈਬਾਂ, ਅਕਾਰਡੀਅਨਾਂ ਜਾਂ "ਹੋਰ ਲੋਡ ਕਰੋ" ਭਾਗਾਂ ਦੇ ਅੰਦਰਲੀ ਸਮੱਗਰੀ ਜੋ ਸਿਰਫ਼ ਕਲਿੱਕ ਕਰਨ 'ਤੇ ਮੰਗੀ ਜਾਂਦੀ ਹੈ।
- ਲੌਗਇਨ, ਪੇਵਾਲ ਜਾਂ ਸਹਿਮਤੀ ਦੀ ਕੰਧ ਦੇ ਪਿੱਛੇ ਵਾਲੇ ਪੰਨੇ ਜਿਨ੍ਹਾਂ ਨੂੰ ਕ੍ਰੌਲਰ ਪਾਰ ਨਹੀਂ ਕਰ ਸਕਦਾ।
- ਉਹ ਪੰਨੇ ਜੋ
noindexਜਾਂ canonical URL ਸਿਰਫ਼ JavaScript ਰਾਹੀਂ ਸੈੱਟ ਕਰਦੇ ਹਨ। Google ਚੇਤਾਵਨੀ ਦਿੰਦਾ ਹੈ ਕਿ ਜਦੋਂ ਉਸਨੂੰ ਮੂਲ HTML ਵਿੱਚnoindexਦਿਖਦਾ ਹੈ ਤਾਂ ਉਹ ਰੈਂਡਰਿੰਗ ਪੂਰੀ ਤਰ੍ਹਾਂ ਛੱਡ ਸਕਦਾ ਹੈ।
ਸਿਰਫ਼ JavaScript ਵਾਲੀ ਸਮੱਗਰੀ ਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰਾਂ?
ਹੱਲ ਇਹ ਹੈ ਕਿ ਅਹਿਮ ਸਮੱਗਰੀ ਪਹਿਲੇ ਜਵਾਬ ਵਿੱਚ ਹੀ ਭੇਜੀ ਜਾਵੇ। ਤੁਹਾਡਾ ਸਟੈਕ ਜੋ ਸਭ ਤੋਂ ਹਲਕਾ ਵਿਕਲਪ ਦਿੰਦਾ ਹੈ ਉਹ ਚੁਣੋ:
- ਸਰਵਰ-ਸਾਈਡ ਰੈਂਡਰਿੰਗ (SSR): Next.js, Nuxt, SvelteKit ਅਤੇ Angular SSR ਵਰਗੇ ਫਰੇਮਵਰਕ ਪੰਨੇ ਨੂੰ ਸਰਵਰ 'ਤੇ ਰੈਂਡਰ ਕਰਦੇ ਹਨ ਅਤੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ hydrate ਕਰਦੇ ਹਨ।
- ਸਟੈਟਿਕ ਜਨਰੇਸ਼ਨ ਜਾਂ ਪ੍ਰੀਰੈਂਡਰਿੰਗ: ਘੱਟ ਬਦਲਣ ਵਾਲੇ ਪੰਨਿਆਂ ਲਈ, ਜਿਵੇਂ ਲੇਖ, ਦਸਤਾਵੇਜ਼ ਅਤੇ ਲੈਂਡਿੰਗ ਪੰਨੇ, HTML ਡਿਪਲੌਇ ਵੇਲੇ ਬਣਾਓ।
- ਪ੍ਰੋਗਰੈਸਿਵ ਐਨਹਾਂਸਮੈਂਟ: ਲਿਖਤ, ਸਿਰਲੇਖ, ਲਿੰਕ, ਕੀਮਤਾਂ ਅਤੇ JSON-LD ਨੂੰ HTML ਵਿੱਚ ਰੱਖੋ ਅਤੇ JavaScript ਸਿਰਫ਼ ਇੰਟਰੈਕਸ਼ਨ ਲਈ ਵਰਤੋ।
- ਜੋ ਅਹਿਮ ਹੈ ਉਸਨੂੰ HTML ਵਿੱਚ ਹੀ ਰੱਖੋ: ਜੇ ਟੈਬਾਂ ਸਮੱਗਰੀ ਲੁਕਾਉਂਦੀਆਂ ਹਨ, ਤਾਂ ਕਲਿੱਕ 'ਤੇ ਲਿਆਉਣ ਦੀ ਥਾਂ ਸਾਰੀ ਸਮੱਗਰੀ HTML ਵਿੱਚ ਰੱਖੋ ਅਤੇ CSS ਜਾਂ ਸਕ੍ਰਿਪਟ ਨਾਲ ਦਿਖਾਓ-ਲੁਕਾਓ।
ਪੂਰੀ ਐਪ ਨੂੰ ਇੱਕੋ ਵਾਰ ਬਦਲਣ ਦੀ ਲੋੜ ਨਹੀਂ। ਉਨ੍ਹਾਂ ਪੰਨਿਆਂ ਤੋਂ ਸ਼ੁਰੂ ਕਰੋ ਜਿਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ: ਲੇਖ, ਦਸਤਾਵੇਜ਼, ਉਤਪਾਦ ਅਤੇ ਕੀਮਤਾਂ ਵਾਲੇ ਪੰਨੇ। ਖਾਤੇ ਵਾਲੇ ਹਿੱਸੇ ਅਤੇ ਡੈਸ਼ਬੋਰਡ ਕਲਾਇੰਟ-ਸਾਈਡ ਰਹਿ ਸਕਦੇ ਹਨ, ਕਿਉਂਕਿ ਉਹ ਵੈਸੇ ਵੀ ਲੌਗਇਨ ਦੇ ਪਿੱਛੇ ਹਨ।
ਯੂਜ਼ਰ ਏਜੰਟ ਦੇ ਆਧਾਰ 'ਤੇ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਯੂਜ਼ਰਾਂ ਨਾਲੋਂ ਵੱਖਰਾ ਪੰਨਾ ਦੇਣ ਤੋਂ ਬਚੋ। ਸਾਰਿਆਂ ਲਈ ਇੱਕੋ HTML ਰੈਂਡਰ ਕਰਨਾ ਸੰਭਾਲਣਾ ਸੌਖਾ ਹੈ ਅਤੇ cloaking ਬਾਰੇ ਕੋਈ ਸ਼ੱਕ ਨਹੀਂ ਛੱਡਦਾ।
ਕੀ ਲੌਗਇਨ, ਸਹਿਮਤੀ ਅਤੇ ਪੇਵਾਲ ਸਕ੍ਰੀਨਾਂ ਵੀ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ?
ਹਾਂ। ਕ੍ਰੌਲਰ ਲੌਗਇਨ ਨਹੀਂ ਕਰਦਾ, ਕੂਕੀ ਬੈਨਰ 'ਤੇ ਕਲਿੱਕ ਨਹੀਂ ਕਰਦਾ ਅਤੇ ਚੈਲੰਜ ਹੱਲ ਨਹੀਂ ਕਰਦਾ। Anthropic ਦੱਸਦਾ ਹੈ ਕਿ ਉਸਦੇ ਬੋਟ CAPTCHA ਪਾਰ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਨਹੀਂ ਕਰਨਗੇ। ਜੇ ਸਹਿਮਤੀ ਮੈਨੇਜਰ HTML ਵਿੱਚ ਪੰਨੇ ਦੀ ਥਾਂ ਪੂਰੀ ਸਕ੍ਰੀਨ ਦਾ ਓਵਰਲੇ ਰੱਖ ਦਿੰਦਾ ਹੈ, ਜਾਂ ਪਹਿਲੀ ਵਾਰ ਆਉਣ ਵਾਲਿਆਂ ਨੂੰ ਸਹਿਮਤੀ ਪੰਨੇ 'ਤੇ ਰੀਡਾਇਰੈਕਟ ਕਰਦਾ ਹੈ, ਤਾਂ ਕ੍ਰੌਲਰ ਨੂੰ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਦੀ ਥਾਂ ਉਹੀ ਮਿਲਦਾ ਹੈ।
ਪੱਕਾ ਕਰੋ ਕਿ ਜਨਤਕ ਪੰਨੇ ਸਹਿਮਤੀ ਦੀ ਸਥਿਤੀ ਜੋ ਵੀ ਹੋਵੇ ਆਪਣੀ ਸਮੱਗਰੀ HTML ਵਿੱਚ ਰੈਂਡਰ ਕਰਦੇ ਹਨ, ਅਤੇ ਬੈਨਰ ਬਦਲ ਨਹੀਂ ਸਗੋਂ ਓਵਰਲੇ ਹੋਵੇ। ਜਿਨ੍ਹਾਂ ਪੰਨਿਆਂ ਦਾ ਹਵਾਲਾ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਉਨ੍ਹਾਂ ਨੂੰ ਲੌਗਇਨ ਦੀਆਂ ਕੰਧਾਂ ਤੋਂ ਬਾਹਰ ਰੱਖੋ, ਅਤੇ ਜਾਂਚੋ ਕਿ ਕ੍ਰੌਲਰ ਸਾਈਨ-ਇਨ ਪੰਨੇ 'ਤੇ ਰੀਡਾਇਰੈਕਟ ਨਹੀਂ ਹੁੰਦਾ।
AISeeWhy ਸਿਰਫ਼ JavaScript ਵਾਲੇ ਪੰਨੇ ਕਿਵੇਂ ਫੜਦਾ ਹੈ?
AISeeWhy ਸ਼ੁਰੂਆਤੀ HTML ਨੂੰ ਉਸੇ ਤਰ੍ਹਾਂ ਪੜ੍ਹਦਾ ਹੈ ਜਿਵੇਂ ਹਰ ਕ੍ਰੌਲਰ ਨੂੰ ਮਿਲਦਾ ਹੈ, ਸਕ੍ਰਿਪਟਾਂ ਚਲਾਏ ਬਿਨਾਂ। ਜਦੋਂ ਪੰਨੇ 'ਤੇ ਦਿਖਣ ਵਾਲੀ ਲਿਖਤ ਲਗਭਗ ਨਹੀਂ ਹੁੰਦੀ ਪਰ ਫਰੇਮਵਰਕ ਦਾ root ਐਲੀਮੈਂਟ ਅਤੇ ਸਕ੍ਰਿਪਟਾਂ ਹੁੰਦੀਆਂ ਹਨ, ਤਾਂ ਇਹ P1 ਖੋਜ ਰਿਪੋਰਟ ਕਰਦਾ ਹੈ ਕਿ ਸਮੱਗਰੀ ਨੂੰ JavaScript ਚਾਹੀਦੀ ਹੈ। ਇਹ ਉਨ੍ਹਾਂ ਰੀਡਾਇਰੈਕਟਾਂ ਨੂੰ ਵੀ ਦਰਸਾਉਂਦਾ ਹੈ ਜੋ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬ੍ਰਾਊਜ਼ਰ ਵਾਲੇ ਪੰਨੇ ਦੀ ਥਾਂ ਕਿਤੇ ਹੋਰ ਭੇਜਦੇ ਹਨ।
ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ
- AI ਏਜੰਟਾਂ ਲਈ ਕੋਈ Markdown ਸੰਸਕਰਣ ਨਹੀਂ
- ਪੰਨੇ ਦੀ ਸਮੱਗਰੀ ਲਈ JavaScript ਚਾਹੀਦੀ ਹੈ
- ਕੀਮਤ ਮਾਰਕਅੱਪ ਵਿੱਚ ਹੈ ਪਰ ਪੰਨੇ ਦੇ ਟੈਕਸਟ ਵਿੱਚ ਨਹੀਂ
- ਮਾਰਕਅੱਪ ਵਿੱਚ ਰੇਟਿੰਗਾਂ ਜੋ ਪੰਨਾ ਨਹੀਂ ਦਿਖਾਉਂਦਾ
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ Googlebot JavaScript ਰੈਂਡਰ ਕਰਦਾ ਹੈ?
ਹਾਂ। Google HTML ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, ਪੰਨਿਆਂ ਨੂੰ ਰੈਂਡਰਿੰਗ ਲਈ ਕਤਾਰ ਵਿੱਚ ਲਾਉਂਦਾ ਹੈ ਅਤੇ ਜਦੋਂ ਸਰੋਤ ਇਜਾਜ਼ਤ ਦੇਣ ਤਾਂ headless Chromium ਨਾਲ ਰੈਂਡਰ ਕਰਦਾ ਹੈ। ਫਿਰ ਵੀ Google ਸਰਵਰ-ਸਾਈਡ ਰੈਂਡਰਿੰਗ ਜਾਂ ਪ੍ਰੀਰੈਂਡਰਿੰਗ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦਾ ਹੈ।
ਕੀ ChatGPT, Claude ਅਤੇ Perplexity ਦੇ ਕ੍ਰੌਲਰ JavaScript ਚਲਾਉਂਦੇ ਹਨ?
ਉਨ੍ਹਾਂ ਦੇ ਵੈਂਡਰਾਂ ਦੇ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ ਅਜਿਹਾ ਨਹੀਂ ਕਹਿੰਦੇ। ਜਦੋਂ ਤੱਕ ਕੋਈ ਵੈਂਡਰ ਕੁਝ ਹੋਰ ਨਹੀਂ ਕਹਿੰਦਾ, ਮੰਨ ਕੇ ਚੱਲੋ ਕਿ ਕ੍ਰੌਲਰ ਸ਼ੁਰੂਆਤੀ HTML ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਪੱਕਾ ਕਰੋ ਕਿ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਉਸ ਵਿੱਚ ਹੈ।
ਕੀ ਬੋਟਾਂ ਲਈ dynamic rendering ਚੰਗਾ ਵਿਚਾਰ ਹੈ?
ਇਹ ਆਰਜ਼ੀ ਹੱਲ ਵਜੋਂ ਚੱਲ ਜਾਂਦਾ ਹੈ ਪਰ ਸੰਭਾਲਣ ਲਈ ਰੈਂਡਰਿੰਗ ਦਾ ਦੂਜਾ ਰਾਹ ਜੋੜ ਦਿੰਦਾ ਹੈ। ਸਰਵਰ-ਸਾਈਡ ਰੈਂਡਰਿੰਗ ਜਾਂ ਸਟੈਟਿਕ HTML ਸਾਰਿਆਂ ਨੂੰ ਇੱਕੋ ਸਮੱਗਰੀ ਦਿੰਦਾ ਹੈ ਅਤੇ ਲੰਮੇ ਸਮੇਂ ਲਈ ਸੌਖਾ ਹੱਲ ਹੈ।
ਕੀ JavaScript ਰਾਹੀਂ ਜੋੜਿਆ JSON-LD ਗਿਣਿਆ ਜਾਂਦਾ ਹੈ?
Google ਇਸਨੂੰ ਰੈਂਡਰਿੰਗ ਤੋਂ ਬਾਅਦ ਪੜ੍ਹ ਸਕਦਾ ਹੈ, ਪਰ ਜੋ ਕ੍ਰੌਲਰ ਸਕ੍ਰਿਪਟਾਂ ਨਹੀਂ ਚਲਾਉਂਦੇ ਉਨ੍ਹਾਂ ਨੂੰ ਇਹ ਨਹੀਂ ਦਿਖੇਗਾ। JSON-LD ਨੂੰ ਸ਼ੁਰੂਆਤੀ HTML ਵਿੱਚ ਰੱਖੋ।
ਸਰੋਤ
- Google Search Central: JavaScript SEO ਦੀਆਂ ਮੁੱਢਲੀਆਂ ਗੱਲਾਂ
- Apple: Applebot ਬਾਰੇ
- OpenAI: OpenAI ਕ੍ਰੌਲਰਾਂ ਦੀ ਜਾਣਕਾਰੀ
- Anthropic: ਕੀ Anthropic ਵੈੱਬ ਤੋਂ ਡਾਟਾ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, ਅਤੇ ਸਾਈਟ ਮਾਲਕ ਕ੍ਰੌਲਰ ਨੂੰ ਕਿਵੇਂ ਬਲੌਕ ਕਰ ਸਕਦੇ ਹਨ?
- Perplexity: Perplexity ਦੇ ਕ੍ਰੌਲਰ