ਦਸ ਵਿੱਚੋਂ ਚਾਰ ਕਾਰੋਬਾਰੀ ਵੈੱਬਸਾਈਟਾਂ AI ਕ੍ਰਾਲਰਾਂ ਨੂੰ ਮੋੜ ਦਿੰਦੀਆਂ ਹਨ
US, UK ਅਤੇ ਫਰਾਂਸ ਦੀਆਂ 165 ਕਾਰੋਬਾਰੀ ਵੈੱਬਸਾਈਟਾਂ ਦੇ ਸਾਡੇ ਆਡਿਟ ਵਿੱਚ 38% ਨੇ ਸਰਵਰ ਪੱਧਰ 'ਤੇ ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਕ੍ਰਾਲਰ ਨੂੰ ਮੋੜਿਆ, ਲਗਭਗ ਹਮੇਸ਼ਾ ਕੋਈ ਟ੍ਰੇਨਿੰਗ ਜਾਂ ਸਕ੍ਰੈਪਰ ਬੋਟ। ਲਗਭਗ ਦਸ ਵਿੱਚੋਂ ਇੱਕ ਸਾਈਟ ਨੇ PerplexityBot ਜਾਂ OAI-SearchBot ਵਰਗੇ AI ਖੋਜ ਕ੍ਰਾਲਰ ਨੂੰ ਵੀ ਰੋਕਿਆ, ਯਾਨੀ ਉਹ ਕ੍ਰਾਲਰ ਜੋ ਹਵਾਲੇ ਤੱਕ ਪਹੁੰਚਾ ਸਕਦੇ ਹਨ। ਆਪਣੀ ਸਾਈਟ ਦੀ ਜਾਂਚ ਹਰ ਕ੍ਰਾਲਰ ਲਈ ਇੱਕ ਬੇਨਤੀ ਨਾਲ ਕਰੋ।
ਤੁਸੀਂ ChatGPT ਨੂੰ ਆਪਣੇ ਹੀ ਉਤਪਾਦ ਬਾਰੇ ਪੁੱਛਦੇ ਹੋ ਤਾਂ ਉਹ ਕਿਸੇ ਮੁਕਾਬਲੇਬਾਜ਼, ਇੱਕ ਸਮੀਖਿਆ ਸਾਈਟ ਅਤੇ ਇੱਕ ਫੋਰਮ ਥ੍ਰੈੱਡ ਦਾ ਨਾਂ ਲੈਂਦਾ ਹੈ। ਕਈ ਵਾਰ ਇਹ ਸਮੱਗਰੀ ਦਾ ਸਵਾਲ ਹੁੰਦਾ ਹੈ। ਅਕਸਰ ਇਹ ਫਾਇਰਵਾਲ ਹੁੰਦੀ ਹੈ ਜੋ AI ਕ੍ਰਾਲਰਾਂ ਨੂੰ ਨਾਂਹ ਕਹਿ ਰਹੀ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਤੁਹਾਡੀ ਟੀਮ ਵਿੱਚੋਂ ਕਿਸੇ ਨੇ ਇਹ ਕਦੇ ਨਹੀਂ ਦੇਖਿਆ ਕਿਉਂਕਿ ਸਾਈਟ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਠੀਕ ਚੱਲਦੀ ਹੈ।
ਇਸ ਪੰਨੇ 'ਤੇ
ਅਸੀਂ ਕੀ ਪਰਖਿਆ?
ਅਸੀਂ ਇੱਕੋ ਪਤੇ ਤੋਂ ਇੱਕ ਪੰਨੇ ਨੂੰ ਕਈ ਵਾਰ ਮੰਗਦੇ ਹਾਂ: ਇੱਕ ਵਾਰ ਆਮ ਬ੍ਰਾਊਜ਼ਰ ਵਜੋਂ, ਅਤੇ ਫਿਰ 14 AI ਅਤੇ ਖੋਜ ਕ੍ਰਾਲਰਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਵਜੋਂ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ OpenAI ਦੇ GPTBot, OAI-SearchBot ਅਤੇ ChatGPT-User, Anthropic ਦੇ ClaudeBot ਅਤੇ Claude-SearchBot, ਅਤੇ Perplexity ਦਾ PerplexityBot ਸ਼ਾਮਲ ਹਨ। ਜੇ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਪੰਨਾ ਮਿਲ ਜਾਵੇ ਅਤੇ ਕਿਸੇ ਕ੍ਰਾਲਰ ਨੂੰ 401, 403, 406, 429, 451, 503 ਜਾਂ ਚੈਲੇਂਜ ਪੰਨਾ ਮਿਲੇ, ਤਾਂ ਸਾਈਟ ਉਸ ਕ੍ਰਾਲਰ ਨੂੰ ਮੋੜ ਰਹੀ ਹੈ।
ਨਮੂਨੇ ਵਿੱਚ US, UK ਅਤੇ ਫਰਾਂਸ ਦੀਆਂ 218 ਕਾਰੋਬਾਰੀ ਵੈੱਬਸਾਈਟਾਂ ਹਨ, ਜਿਨ੍ਹਾਂ ਦਾ ਆਡਿਟ 18 ਤੋਂ 21 ਨਵੰਬਰ 2026 ਤੱਕ ਕੀਤਾ ਗਿਆ। ਪੂਰੀ ਜਾਂਚ ਅਸੀਂ 165 'ਤੇ ਕਰ ਸਕੇ। ਬਾਕੀ 53 ਨੇ ਸਾਡੀ ਸਾਧਾਰਨ ਬ੍ਰਾਊਜ਼ਰ ਬੇਨਤੀ ਵੀ ਠੁਕਰਾ ਦਿੱਤੀ ਜਾਂ ਜਵਾਬ ਹੀ ਨਹੀਂ ਦਿੱਤਾ, ਇਸ ਲਈ ਅੰਦਾਜ਼ਾ ਲਾਉਣ ਦੀ ਬਜਾਏ ਅਸੀਂ ਉਨ੍ਹਾਂ ਨੂੰ ਬਾਹਰ ਰੱਖਿਆ।
ਸਾਨੂੰ ਕੀ ਮਿਲਿਆ?
- ਜਾਂਚਯੋਗ ਸਾਈਟਾਂ ਵਿੱਚੋਂ 38% (165 ਵਿੱਚੋਂ 63) ਨੇ ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਕ੍ਰਾਲਰ ਨੂੰ ਮੋੜਿਆ।
- ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹਰ ਸਾਈਟ ਨੇ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਟ੍ਰੇਨਿੰਗ ਜਾਂ ਸਕ੍ਰੈਪਰ ਕ੍ਰਾਲਰ ਨੂੰ ਰੱਦ ਕੀਤਾ। ਸਾਰੀਆਂ ਸਾਈਟਾਂ ਵਿੱਚੋਂ 35% ਨੇ
Bytespider, 13% ਨੇClaudeBotਅਤੇ 11% ਨੇGPTBotਨੂੰ ਰੱਦ ਕੀਤਾ। - 10% ਸਾਈਟਾਂ (16) ਨੇ ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਖੋਜ ਕ੍ਰਾਲਰ ਨੂੰ ਵੀ ਰੱਦ ਕੀਤਾ, ਅਤੇ 5% (8) ਨੇ ਉਸ ਕ੍ਰਾਲਰ ਨੂੰ ਰੱਦ ਕੀਤਾ ਜੋ ਕਿਸੇ ਵਿਅਕਤੀ ਦੇ ਸਹਾਇਕ ਤੋਂ ਪੁੱਛਣ 'ਤੇ ਪੰਨਾ ਉਸੇ ਵੇਲੇ ਖੋਲ੍ਹਦਾ ਹੈ।
- ਸਭ ਤੋਂ ਅਹਿਮ ਖੋਜ ਕ੍ਰਾਲਰ
PerplexityBot(11 ਸਾਈਟਾਂ) ਅਤੇOAI-SearchBot(5 ਸਾਈਟਾਂ) ਸਨ। - ਸਾਡੇ ਪਰਖੇ ਕਿਸੇ ਵੀ ਕ੍ਰਾਲਰ ਨੂੰ ਮੋੜਨ ਵਾਲੀਆਂ 66 ਸਾਈਟਾਂ ਵਿੱਚੋਂ 32 ਪਿੱਛੇ Cloudflare ਸੀ। ਹੋਰ 30 ਲਈ ਅਸੀਂ ਨਹੀਂ ਦੱਸ ਸਕੇ ਕਿ ਕਿਹੜੀ ਫਾਇਰਵਾਲ ਨੇ ਜਵਾਬ ਦਿੱਤਾ।
ਇਹ ਕਿਉਂ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਇਹ ਕਦੋਂ ਸੋਚਿਆ-ਸਮਝਿਆ ਫ਼ੈਸਲਾ ਹੁੰਦਾ ਹੈ?
ਇਸ ਵਿੱਚੋਂ ਬਹੁਤਾ ਸ਼ਾਇਦ ਜਾਣ-ਬੁੱਝ ਕੇ ਕੀਤਾ ਹੁੰਦਾ ਹੈ। ਕਈ ਮਾਲਕ ਨਹੀਂ ਚਾਹੁੰਦੇ ਕਿ ਉਨ੍ਹਾਂ ਦੀ ਸਮੱਗਰੀ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਨ ਲਈ ਵਰਤੀ ਜਾਵੇ, ਅਤੇ ਸਕ੍ਰੈਪਰਾਂ ਨੂੰ ਰੋਕਣ ਵਾਲੀਆਂ ਬੋਟ-ਸੁਰੱਖਿਆ ਸੈਟਿੰਗਾਂ ਚਾਲੂ ਕਰਨੀਆਂ ਸੌਖੀਆਂ ਹਨ। ਇਹ ਇੱਕ ਜਾਇਜ਼ ਚੋਣ ਹੈ।
ਮੁਸ਼ਕਲ ਇਹ ਹੈ ਕਿ AI ਕੰਪਨੀਆਂ ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਖੋਜ ਲਈ ਵੱਖਰੇ ਕ੍ਰਾਲਰ ਚਲਾਉਂਦੀਆਂ ਹਨ। ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਣ ਲਈ ਖੋਜ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਣਾ ਜ਼ਰੂਰੀ ਨਹੀਂ, ਅਤੇ ਖੋਜ ਕ੍ਰਾਲਰ ਹੀ ਉਹ ਹੈ ਜਿਸ ਨਾਲ ਕਿਸੇ ਜਵਾਬ ਵਿੱਚ ਤੁਹਾਡੇ ਪੰਨੇ ਦਾ ਹਵਾਲਾ ਆ ਸਕਦਾ ਹੈ।
ਕੀ ਸਭ ਤੋਂ ਵੱਡੀਆਂ ਸਾਈਟਾਂ ਬਿਹਤਰ ਕਰਦੀਆਂ ਹਨ?
ਬਹੁਤਾ ਨਹੀਂ। 1,000 ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਡੋਮੇਨਾਂ ਦੀ ਸਾਡੀ robots.txt ਰਿਪੋਰਟ ਵਿੱਚ, robots.txt ਵਾਲੀਆਂ 29.9% ਸਾਈਟਾਂ ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਦੀਆਂ ਹਨ, ਅਤੇ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ 63.2% ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਖੋਜ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰਾਲਰ ਨੂੰ ਵੀ ਰੋਕਦੀਆਂ ਹਨ। ਸਿਰਫ਼ 11.0% ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਰੋਕਦੀਆਂ ਹਨ ਪਰ ਹਰ AI ਖੋਜ ਕ੍ਰਾਲਰ ਨੂੰ ਆਗਿਆ ਦਿੰਦੀਆਂ ਹਨ, ਜੋ ਸ਼ਾਇਦ ਉਹੀ ਸੈੱਟਅੱਪ ਹੈ ਜੋ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਬਹੁਤੇ ਚਾਹੁੰਦੇ ਸਨ।
ਮੈਂ ਦਸ ਮਿੰਟ ਵਿੱਚ ਆਪਣੀ ਸਾਈਟ ਦੀ ਜਾਂਚ ਕਿਵੇਂ ਕਰਾਂ?
yoursite.com/robots.txtਖੋਲ੍ਹੋ। ਜਿਸ ਵੀ AI ਕ੍ਰਾਲਰ ਦੀ ਤੁਹਾਨੂੰ ਪਰਵਾਹ ਹੈ, ਉਸ ਲਈ ਦੇਖੋ ਕਿ ਕੋਈ ਗਰੁੱਪ ਉਸ ਦਾ ਨਾਂ ਲੈਂਦਾ ਹੈ ਜਾਂ ਨਹੀਂ ਅਤੇ ਉਹ ਗਰੁੱਪ ਕੀ ਕਹਿੰਦਾ ਹੈ। ਜਿਹੜਾ ਗਰੁੱਪ ਕਿਸੇ ਕ੍ਰਾਲਰ ਦਾ ਨਾਂ ਲੈਂਦਾ ਹੈ, ਉਹ ਆਮ*ਗਰੁੱਪ ਦੀ ਥਾਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਲੈ ਲੈਂਦਾ ਹੈ।- ਇਹ ਪਰਖੋ ਕਿ ਸਰਵਰ ਕੀ ਕਰਦਾ ਹੈ, ਇਹ ਨਹੀਂ ਕਿ ਫਾਈਲ ਕੀ ਕਹਿੰਦੀ ਹੈ। ਆਪਣਾ ਮੁੱਖ ਪੰਨਾ ਬ੍ਰਾਊਜ਼ਰ ਵਜੋਂ ਅਤੇ ਕ੍ਰਾਲਰ ਵਜੋਂ ਮੰਗੋ। 403, 429,
Just a moment...ਸਿਰਲੇਖ ਵਾਲਾ ਪੰਨਾ, ਜਾਂ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਜਵਾਬ ਨਾਲੋਂ ਬਹੁਤ ਛੋਟਾ ਜਵਾਬ, ਫਾਇਰਵਾਲ ਦੀ ਰੋਕ ਦੀ ਨਿਸ਼ਾਨੀ ਹੈ। - ਸਹਾਇਕ ਤੋਂ ਪੁੱਛੋ। ਖੋਜ ਚਾਲੂ ਕਰ ਕੇ ChatGPT ਜਾਂ Perplexity ਤੋਂ ਉਹ ਸਵਾਲ ਪੁੱਛੋ ਜੋ ਤੁਹਾਡੇ ਗਾਹਕ ਪੁੱਛਦੇ ਹਨ ਅਤੇ ਦੇਖੋ ਕਿ ਉਹ ਕਿਹੜੀਆਂ ਸਾਈਟਾਂ ਦਾ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ। ਜੇ ਪਹੁੰਚ ਠੀਕ ਹੈ ਅਤੇ ਫਿਰ ਵੀ ਤੁਸੀਂ ਗ਼ਾਇਬ ਹੋ, ਤਾਂ ਸਮੱਸਿਆ ਪਹੁੰਚ ਦੀ ਨਹੀਂ, ਸਮੱਗਰੀ ਦੀ ਹੈ।
ਇਹ ਅੰਕੜੇ ਕਿੰਨੇ ਭਰੋਸੇਯੋਗ ਹਨ?
ਇਨ੍ਹਾਂ ਨੂੰ ਜਨਗਣਨਾ ਨਹੀਂ, ਇੱਕ ਰੁਝਾਨ ਸਮਝੋ। ਨਮੂਨਾ ਬੇਤਰਤੀਬਾ ਨਹੀਂ ਹੈ: ਇਹ ਉਹ ਕੰਪਨੀਆਂ ਹਨ ਜੋ ਸਾਨੂੰ ਵਿਗਿਆਪਨ ਲਾਇਬ੍ਰੇਰੀਆਂ, ਨੌਕਰੀ ਬੋਰਡਾਂ ਅਤੇ ਨਕਸ਼ੇ ਦੀਆਂ ਸੂਚੀਆਂ ਰਾਹੀਂ ਮਿਲੀਆਂ। ਅਸੀਂ ਇੱਕ ਪਤੇ ਤੋਂ ਯੂਜ਼ਰ ਏਜੰਟ ਰਾਹੀਂ ਪਰਖਦੇ ਹਾਂ, ਜਦਕਿ ਅਸਲੀ ਕ੍ਰਾਲਰ ਉਨ੍ਹਾਂ ਪਤਿਆਂ ਤੋਂ ਆਉਂਦੇ ਹਨ ਜੋ ਉਨ੍ਹਾਂ ਦੇ ਵੈਂਡਰ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੇ ਹਨ, ਇਸ ਲਈ ਕੁਝ ਫਾਇਰਵਾਲ ਅਸਲੀ ਕ੍ਰਾਲਰਾਂ ਨਾਲ ਵੱਖਰਾ ਵਰਤਾਓ ਕਰਨਗੀਆਂ। ਅਤੇ ਰੋਕ ਹਮੇਸ਼ਾ ਗ਼ਲਤੀ ਨਹੀਂ ਹੁੰਦੀ।
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕਿੰਨੀਆਂ ਵੈੱਬਸਾਈਟਾਂ AI ਕ੍ਰਾਲਰਾਂ ਨੂੰ ਰੋਕਦੀਆਂ ਹਨ?
165 ਜਾਂਚਯੋਗ ਕਾਰੋਬਾਰੀ ਵੈੱਬਸਾਈਟਾਂ ਦੇ ਸਾਡੇ ਆਡਿਟ ਵਿੱਚ 38% ਨੇ ਸਰਵਰ ਪੱਧਰ 'ਤੇ ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਕ੍ਰਾਲਰ ਨੂੰ ਮੋੜਿਆ, ਜ਼ਿਆਦਾਤਰ ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਸਕ੍ਰੈਪਰ ਬੋਟ। ਲਗਭਗ 10% ਨੇ AI ਖੋਜ ਕ੍ਰਾਲਰ ਨੂੰ ਵੀ ਰੱਦ ਕੀਤਾ।
ਕੀ GPTBot ਨੂੰ ਰੋਕਣ ਨਾਲ ਮੇਰੀ ਸਾਈਟ ChatGPT ਖੋਜ ਤੋਂ ਬਾਹਰ ਰਹਿੰਦੀ ਹੈ?
ਨਹੀਂ। OpenAI ਦੇ ਅਨੁਸਾਰ ਉਸ ਦੇ ਕ੍ਰਾਲਰਾਂ ਲਈ ਹਰ robots.txt ਸੈਟਿੰਗ ਸੁਤੰਤਰ ਹੈ: GPTBot ਟ੍ਰੇਨਿੰਗ ਨਾਲ ਜੁੜਿਆ ਹੈ, OAI-SearchBot ChatGPT ਖੋਜ ਨਾਲ। ਇੱਕ ਨੂੰ ਰੋਕਣ ਨਾਲ ਦੂਜਾ ਨਹੀਂ ਰੁਕਦਾ।
ਕੋਈ ਸਾਈਟ robots.txt ਤੋਂ ਬਿਨਾਂ ਕ੍ਰਾਲਰ ਨੂੰ ਕਿਵੇਂ ਰੋਕ ਸਕਦੀ ਹੈ?
ਫਾਇਰਵਾਲ, CDN ਜਾਂ ਬੋਟ-ਸੁਰੱਖਿਆ ਨਿਯਮ ਕ੍ਰਾਲਰ ਨੂੰ 403, 429 ਜਾਂ ਚੈਲੇਂਜ ਪੰਨੇ ਨਾਲ ਜਵਾਬ ਦੇ ਸਕਦਾ ਹੈ। robots.txt ਇਹ ਕਦੇ ਨਹੀਂ ਦਿਖਾਉਂਦੀ, ਇਸ ਲਈ ਪੰਨੇ ਨੂੰ ਕ੍ਰਾਲਰ ਵਜੋਂ ਮੰਗ ਕੇ ਹੀ ਇਸ ਨੂੰ ਪਰਖਿਆ ਜਾ ਸਕਦਾ ਹੈ।
ਕੀ ਕ੍ਰਾਲਰ ਨੂੰ ਮੋੜਨਾ ਹਮੇਸ਼ਾ ਗ਼ਲਤੀ ਹੁੰਦੀ ਹੈ?
ਨਹੀਂ। ਕਈ ਮਾਲਕ ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰਾਂ ਅਤੇ ਸਕ੍ਰੈਪਰਾਂ ਨੂੰ ਬਾਹਰ ਰੱਖਣਾ ਚਾਹੁੰਦੇ ਹਨ। ਗ਼ਲਤੀ ਇਹ ਹੈ ਕਿ ਖੋਜ ਕ੍ਰਾਲਰ ਅਣਜਾਣੇ ਵਿੱਚ ਰੁਕ ਜਾਣ, ਕਿਉਂਕਿ ਉਹੀ ਤੁਹਾਡੇ ਪੰਨੇ ਦਾ ਹਵਾਲਾ ਦੇ ਸਕਦੇ ਹਨ।
ਸਰੋਤ
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)