ਕਿਵੇਂ ਜਾਂਚੀਏ ਕਿ ਵੈੱਬਸਾਈਟ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦੀ ਹੈ ਜਾਂ ਨਹੀਂ
ਕੋਈ ਵੀ ਪਤਾ ਪੇਸਟ ਕਰੋ ਅਤੇ ਦੇਖੋ ਕਿ ਉਹ GPTBot, ClaudeBot, PerplexityBot ਅਤੇ ਹੋਰ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ ਜਾਂ ਨਹੀਂ: robots.txt ਵਿੱਚ, ਫਾਇਰਵਾਲ ਵਿੱਚ, ਜਾਂ ਦੋਵਾਂ ਵਿੱਚ।
ਮੁਫ਼ਤ · ਸਾਈਨ-ਅੱਪ ਨਹੀਂ · 30 ਸਕਿੰਟਾਂ ਵਿੱਚ ਨਤੀਜੇ
ਕਿਹੜੇ ਕ੍ਰੌਲਰ ਬਲੌਕ ਹਨ
ਟ੍ਰੇਨਿੰਗ, ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰ ਵੱਖ-ਵੱਖ ਦਿਖਾਏ ਜਾਂਦੇ ਹਨ, ਕਿਉਂਕਿ GPTBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ OAI-SearchBot ਬਲੌਕ ਨਹੀਂ ਹੁੰਦਾ, ਅਤੇ ClaudeBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ Claude-SearchBot ਬਲੌਕ ਨਹੀਂ ਹੁੰਦਾ।
ਫ਼ੈਸਲਾ ਕਰਨ ਵਾਲੀ ਲਾਈਨ
ਹਰ ਕ੍ਰੌਲਰ ਲਈ robots.txt ਨੂੰ RFC 9309 ਦੇ ਨਿਯਮਾਂ ਮੁਤਾਬਕ ਪੜ੍ਹਿਆ ਜਾਂਦਾ ਹੈ: ਉਹ ਗਰੁੱਪ ਜਿਸ ਵਿੱਚ ਉਸਦਾ ਨਾਮ ਹੈ, ਜਾਂ ਬਦਲ ਵਜੋਂ User-agent: *, ਅਤੇ ਉਹ ਨਿਯਮ ਜੋ ਜਿੱਤਦਾ ਹੈ।
ਫਾਇਰਵਾਲ ਦੇ ਇਨਕਾਰ
ਪੰਨਾ 14 ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਅਤੇ ਇੱਕ ਆਮ ਬ੍ਰਾਊਜ਼ਰ ਵਜੋਂ ਮੰਗਿਆ ਜਾਂਦਾ ਹੈ। ਬਲੌਕ ਅਤੇ ਚੈਲੰਜ ਪੰਨਿਆਂ ਨੂੰ ਨਿਸ਼ਾਨਦੇਹ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਜਵਾਬ ਦੇਣ ਵਾਲੀ ਫਾਇਰਵਾਲ ਦਾ ਨਾਮ ਦੱਸਿਆ ਜਾਂਦਾ ਹੈ।
ਹਰ ਨਤੀਜੇ ਲਈ ਹੱਲ
ਹਰ ਨਤੀਜੇ ਦੇ ਨਾਲ ਉਹ ਬਦਲਾਅ ਮਿਲਦਾ ਹੈ ਜੋ ਕਰਨਾ ਹੈ। ਮੁਫ਼ਤ ਜਾਂਚ ਤੁਹਾਡਾ ਸਕੋਰ ਅਤੇ ਪਹਿਲਾ ਨਤੀਜਾ ਦਿਖਾਉਂਦੀ ਹੈ; ਪੂਰੀ ਰਿਪੋਰਟ $29 ਦੀ ਹੈ, ਇੱਕ ਵਾਰ ਦੀ ਅਦਾਇਗੀ।
ਸਾਈਟ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਦੋ ਥਾਵਾਂ 'ਤੇ ਬਲੌਕ ਕਰ ਸਕਦੀ ਹੈ: robots.txt ਵਿੱਚ, ਜੋ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਦੂਰ ਰਹਿਣ ਲਈ ਕਹਿੰਦੀ ਹੈ, ਅਤੇ ਸਰਵਰ ਜਾਂ ਫਾਇਰਵਾਲ ਵਿੱਚ, ਜੋ ਉਨ੍ਹਾਂ ਨੂੰ ਅਸਲ ਵਿੱਚ ਮਨ੍ਹਾ ਕਰਦੀ ਹੈ। robots.txt ਵਿੱਚ ਹਰ ਕ੍ਰੌਲਰ ਦਾ ਟੋਕਨ ਲੱਭੋ, ਨਾ ਮਿਲੇ ਤਾਂ User-agent: * ਦੇਖੋ, ਫਿਰ ਪੰਨੇ ਨੂੰ ਕ੍ਰੌਲਰ ਵਜੋਂ ਲਿਆਓ ਅਤੇ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਮਿਲੇ ਪੰਨੇ ਨਾਲ ਮਿਲਾਓ। ਇੱਕ ਬ੍ਰਾਊਜ਼ਰ ਐਕਸਟੈਂਸ਼ਨ 16 AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt ਵਾਲਾ ਹਿੱਸਾ ਇੱਕ ਕਲਿੱਕ ਵਿੱਚ ਕਰ ਦਿੰਦੀ ਹੈ।
3 ਕਦਮਾਂ ਵਿੱਚ ਹੱਥੀਂ ਜਾਂਚੋ
- ਕ੍ਰੌਲਰ ਚੁਣੋ
ਹਰ AI ਕੰਪਨੀ ਵੱਖ-ਵੱਖ ਕ੍ਰੌਲਰ ਚਲਾਉਂਦੀ ਹੈ। ਟ੍ਰੇਨਿੰਗ:
GPTBot,ClaudeBot। ਸਰਚ:OAI-SearchBot,Claude-SearchBot,PerplexityBot। ਕਿਸੇ ਵਿਅਕਤੀ ਦੀ ਬੇਨਤੀ 'ਤੇ:ChatGPT-User,Claude-User,Perplexity-User। - ਉਸ ਲਈ robots.txt ਪੜ੍ਹੋ
https://example.com/robots.txtਖੋਲ੍ਹੋ ਅਤੇ ਉਹ ਗਰੁੱਪ ਲੱਭੋ ਜਿਸ ਵਿੱਚ ਕ੍ਰੌਲਰ ਦਾ ਨਾਮ ਹੈ। ਜੇ ਕੋਈ ਗਰੁੱਪ ਨਹੀਂ ਹੈ ਤਾਂUser-agent: *ਵਾਲਾ ਗਰੁੱਪ ਲਾਗੂ ਹੁੰਦਾ ਹੈ; ਜੇ ਦੋਵੇਂ ਨਹੀਂ ਹਨ ਤਾਂ ਸਭ ਕੁਝ ਮਨਜ਼ੂਰ ਹੈ। - ਪੰਨਾ ਕ੍ਰੌਲਰ ਵਜੋਂ ਲਿਆਓ
ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਪੰਨਾ ਮੰਗੋ ਅਤੇ ਸਟੇਟਸ ਤੇ ਆਕਾਰ ਦੀ ਬ੍ਰਾਊਜ਼ਰ ਨਾਲ ਤੁਲਨਾ ਕਰੋ। 403, ਚੈਲੰਜ ਪੰਨਾ ਜਾਂ ਬਹੁਤ ਛੋਟਾ 200 ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਫਾਇਰਵਾਲ ਉਸਨੂੰ ਮਨ੍ਹਾ ਕਰਦੀ ਹੈ।
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ robots.txt ਤੋਂ ਬਿਨਾਂ ਸਾਈਟ AI ਕ੍ਰੌਲਰਾਂ ਲਈ ਖੁੱਲ੍ਹੀ ਹੈ?
ਹਾਂ, ਜਿੱਥੋਂ ਤੱਕ robots.txt ਦੀ ਗੱਲ ਹੈ। robots.txt ਲਈ 404 ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕੋਈ ਨਿਯਮ ਨਹੀਂ, ਇਸ ਲਈ ਹਰ ਕ੍ਰੌਲਰ ਹਰ ਪੰਨਾ ਲਿਆ ਸਕਦਾ ਹੈ। ਫਿਰ ਵੀ ਫਾਇਰਵਾਲ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰ ਸਕਦੀ ਹੈ।
ਕੀ ਐਕਸਟੈਂਸ਼ਨ ਫਾਇਰਵਾਲ ਦੇ ਬਲੌਕ ਦਿਖਾਉਂਦੀ ਹੈ?
ਨਹੀਂ। ਇਹ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਤੋਂ robots.txt ਪੜ੍ਹਦੀ ਹੈ, ਜੋ ਦੱਸਦੀ ਹੈ ਕਿ ਸਾਈਟ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੀ ਕਰਨ ਲਈ ਕਹਿੰਦੀ ਹੈ। ਫਾਇਰਵਾਲ ਅਤੇ ਬੋਟ ਸੁਰੱਖਿਆ ਦੇ ਬਲੌਕ ਦੇਖਣ ਲਈ ਕ੍ਰੌਲਰ ਵਜੋਂ ਭੇਜੀ ਬੇਨਤੀ ਚਾਹੀਦੀ ਹੈ, ਅਤੇ ਇਹ ਕੰਮ aiseewhy.com 'ਤੇ ਪੂਰੀ ਜਾਂਚ ਕਰਦੀ ਹੈ।
ਕੀ ਮੈਂ ਅਜਿਹੀ ਸਾਈਟ ਜਾਂਚ ਸਕਦਾ ਹਾਂ ਜੋ ਮੇਰੀ ਨਹੀਂ?
ਹਾਂ। robots.txt ਜਨਤਕ ਹੈ, ਅਤੇ ਐਕਸਟੈਂਸ਼ਨ ਸਿਰਫ਼ ਉਹੀ robots.txt ਅਤੇ llms.txt ਫ਼ਾਈਲਾਂ ਪੜ੍ਹਦੀ ਹੈ ਜੋ ਸਾਈਟ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀ ਹੈ, ਯਾਨੀ ਉਹੀ ਫ਼ਾਈਲਾਂ ਜੋ ਹਰ ਕ੍ਰੌਲਰ ਪੜ੍ਹਦਾ ਹੈ।
ਪੂਰੀ ਗਾਈਡ ਪੜ੍ਹੋ
ਚਾਹੇ ਤੁਸੀਂ ਕਿਸੇ ਤਬਦੀਲੀ ਤੋਂ ਬਾਅਦ ਆਪਣੀ ਸਾਈਟ ਜਾਂਚ ਰਹੇ ਹੋ ਜਾਂ ਕਿਸੇ ਹੋਰ ਦੀ ਸਾਈਟ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਉਸਨੂੰ ਦੇਖ ਰਹੇ ਹੋ, “ਕੀ ਇਹ ਸਾਈਟ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦੀ ਹੈ?” ਇਸ ਸਵਾਲ ਦਾ ਸਹੀ ਜਵਾਬ ਹੁੰਦਾ ਹੈ। ਜਵਾਬ ਇਸ ਗੱਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਤੁਹਾਡਾ ਮਤਲਬ ਕਿਹੜੇ ਕ੍ਰੌਲਰ ਤੋਂ ਹੈ, ਕਿਉਂਕਿ AI ਕੰਪਨੀਆਂ ਸਿਖਲਾਈ, ਸਰਚ ਅਤੇ ਸਿੱਧੀਆਂ ਵਿਜ਼ਿਟਾਂ ਲਈ ਵੱਖਰੇ ਕ੍ਰੌਲਰ ਚਲਾਉਂਦੀਆਂ ਹਨ, ਅਤੇ ਸਾਈਟ ਹਰ ਇੱਕ ਨਾਲ ਵੱਖਰਾ ਵਰਤਾਓ ਕਰ ਸਕਦੀ ਹੈ। ਇਹ ਗਾਈਡ ਤਿੰਨ ਜਾਂਚਾਂ ਦੱਸਦੀ ਹੈ, ਸਭ ਤੋਂ ਤੇਜ਼ ਤੋਂ ਲੈ ਕੇ ਸਭ ਤੋਂ ਪੂਰੀ ਤੱਕ।
ਸਾਈਟ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕਿੱਥੇ ਬਲੌਕ ਕਰ ਸਕਦੀ ਹੈ?
ਤਿੰਨ ਪਰਤਾਂ ਹੁੰਦੀਆਂ ਹਨ, ਅਤੇ ਕਿਸੇ ਪੰਨੇ ਨੂੰ ਵਰਤਣ ਲਈ ਕ੍ਰੌਲਰ ਨੂੰ ਤਿੰਨੇ ਪਾਰ ਕਰਨੀਆਂ ਪੈਂਦੀਆਂ ਹਨ।
- robots.txt: ਨਿਯਮਾਂ ਦੀ ਇੱਕ ਜਨਤਕ ਫ਼ਾਈਲ, ਜਿਸਨੂੰ ਨਿਯਮ ਮੰਨਣ ਵਾਲੇ ਕ੍ਰੌਲਰ ਕੁਝ ਵੀ ਲਿਆਉਣ ਤੋਂ ਪਹਿਲਾਂ ਪੜ੍ਹਦੇ ਹਨ। ਇਹ ਇੱਕ ਬੇਨਤੀ ਹੈ, ਜਿੰਦਾ ਨਹੀਂ।
- ਸਰਵਰ, CDN ਜਾਂ ਫਾਇਰਵਾਲ: ਇਹੀ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ ਅਸਲ ਵਿੱਚ ਕੀ ਵਾਪਸ ਭੇਜਿਆ ਜਾਵੇ। robots.txt ਇਜਾਜ਼ਤ ਦੇਵੇ ਤਾਂ ਵੀ ਬੋਟ ਸੁਰੱਖਿਆ ਦਾ ਕੋਈ ਨਿਯਮ ਕ੍ਰੌਲਰ ਨੂੰ 403, 429 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਦੇ ਸਕਦਾ ਹੈ।
- ਪੰਨਾ ਆਪ: ਜੇ ਮੁੱਖ ਟੈਕਸਟ JavaScript ਚੱਲਣ ਤੋਂ ਬਾਅਦ ਹੀ ਦਿਖਦਾ ਹੈ, ਤਾਂ ਸ਼ੁਰੂਆਤੀ HTML ਪੜ੍ਹਨ ਵਾਲੇ ਕ੍ਰੌਲਰ ਨੂੰ ਲਗਭਗ ਖ਼ਾਲੀ ਪੰਨਾ ਮਿਲਦਾ ਹੈ, ਭਾਵੇਂ ਉਸਨੂੰ ਕਿਸੇ ਨੇ ਬਲੌਕ ਨਹੀਂ ਕੀਤਾ।
ਜ਼ਿਆਦਾਤਰ ਤੇਜ਼ ਜਾਂਚਾਂ ਸਿਰਫ਼ ਪਹਿਲੀ ਪਰਤ ਦੇਖਦੀਆਂ ਹਨ। ਸ਼ੁਰੂਆਤ ਲਈ ਇਹ ਠੀਕ ਹੈ, ਬੱਸ ਬਾਕੀ ਦੋ ਪਰਤਾਂ ਯਾਦ ਰੱਖੋ।
ਇੱਕ AI ਕ੍ਰੌਲਰ ਲਈ robots.txt ਕਿਵੇਂ ਪੜ੍ਹਾਂ?
ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ https://example.com/robots.txt ਖੋਲ੍ਹੋ ਅਤੇ ਉਹ ਗਰੁੱਪ ਲੱਭੋ ਜੋ ਉਸ ਕ੍ਰੌਲਰ 'ਤੇ ਲਾਗੂ ਹੁੰਦਾ ਹੈ। ਗਰੁੱਪ ਇੱਕ ਜਾਂ ਵੱਧ User-agent ਲਾਈਨਾਂ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ। ਕ੍ਰੌਲਰ ਉਹ ਗਰੁੱਪ ਵਰਤਦਾ ਹੈ ਜਿਸ ਵਿੱਚ ਉਸਦਾ ਟੋਕਨ ਲਿਖਿਆ ਹੋਵੇ, ਜਿਵੇਂ GPTBot; ਮਿਲਾਨ ਵਿੱਚ ਵੱਡੇ-ਛੋਟੇ ਅੱਖਰਾਂ ਦਾ ਫ਼ਰਕ ਨਹੀਂ ਪੈਂਦਾ। ਜੇ ਕਿਸੇ ਗਰੁੱਪ ਵਿੱਚ ਉਸਦਾ ਨਾਂ ਨਹੀਂ, ਤਾਂ ਉਹ User-agent: * ਗਰੁੱਪ ਵਰਤਦਾ ਹੈ। ਜੇ ਦੋਵਾਂ ਵਿੱਚੋਂ ਕੁਝ ਵੀ ਨਹੀਂ, ਤਾਂ ਸਭ ਕੁਝ ਦੀ ਇਜਾਜ਼ਤ ਹੈ।
ਗਰੁੱਪ ਦੇ ਅੰਦਰ ਸਭ ਤੋਂ ਲੰਮੇ ਮੇਲ ਖਾਂਦੇ ਪਾਥ ਵਾਲਾ ਨਿਯਮ ਲਾਗੂ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਜਦੋਂ Allow ਅਤੇ Disallow ਬਰਾਬਰ ਲੰਮੇ ਹੋਣ, ਤਾਂ Allow ਲਾਗੂ ਹੁੰਦਾ ਹੈ। ਇਸ ਲਈ ਹੇਠਲੀ ਫ਼ਾਈਲ GPTBot ਨੂੰ ਪੂਰੀ ਸਾਈਟ ਤੋਂ ਬਲੌਕ ਕਰਦੀ ਹੈ, ਪਰ ਬਾਕੀ ਹਰ ਕ੍ਰੌਲਰ ਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੀ ਹੈ:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / ਇਹ ਵੀ ਦੇਖੋ ਕਿ ਫ਼ਾਈਲ ਕਿਵੇਂ ਜਵਾਬ ਦਿੰਦੀ ਹੈ। RFC 9309 ਮੁਤਾਬਕ 404 ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕੋਈ ਨਿਯਮ ਨਹੀਂ, ਇਸ ਲਈ ਸਭ ਕੁਝ ਦੀ ਇਜਾਜ਼ਤ ਹੈ। ਸਰਵਰ ਗ਼ਲਤੀ (5xx) ਜਾਂ ਕੋਈ ਜਵਾਬ ਨਾ ਮਿਲਣ 'ਤੇ ਕ੍ਰੌਲਰ ਨੂੰ ਪੂਰੀ ਸਾਈਟ ਨੂੰ ਰੋਕੀ ਹੋਈ ਮੰਨਣਾ ਪੈਂਦਾ ਹੈ। robots.txt ਦੇ ਪਤੇ 'ਤੇ HTML ਪੰਨਾ ਵਾਪਸ ਆਉਣਾ ਇੱਕ ਆਮ ਗ਼ਲਤੀ ਹੈ: ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਉਸ ਵਿੱਚ ਕੋਈ ਜਾਇਜ਼ ਨਿਯਮ ਨਹੀਂ ਮਿਲਦਾ।
ਸਾਰੇ AI ਕ੍ਰੌਲਰ ਇੱਕੋ ਵਾਰ ਕਿਵੇਂ ਜਾਂਚਾਂ?
ਜਦੋਂ ਇੱਕ ਤੋਂ ਵੱਧ ਕ੍ਰੌਲਰਾਂ ਦੀ ਪਰਵਾਹ ਹੋਵੇ, ਤਾਂ ਫ਼ਾਈਲ ਹੱਥ ਨਾਲ ਪੜ੍ਹਨਾ ਹੌਲੀ ਹੋ ਜਾਂਦਾ ਹੈ। ਹਰ AI ਕੰਪਨੀ ਵੱਖ-ਵੱਖ ਕੰਮਾਂ ਲਈ ਕਈ ਕ੍ਰੌਲਰ ਚਲਾਉਂਦੀ ਹੈ:
- ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਮਾਡਲ ਦੀ ਸਿਖਲਾਈ ਲਈ ਸਮੱਗਰੀ ਇਕੱਠੀ ਕਰਦੇ ਹਨ:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, ਨਾਲ ਹੀGoogle-ExtendedਅਤੇApplebot-Extendedਟੋਕਨ, ਜੋ ਸਿਰਫ਼ robots.txt ਵਿੱਚ ਦਿਖਦੇ ਹਨ। - ਸਰਚ ਕ੍ਰੌਲਰ ਪੰਨਿਆਂ ਨੂੰ ਇੰਡੈਕਸ ਕਰਦੇ ਹਨ ਤਾਂ ਜੋ AI ਜਵਾਬ ਉਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ ਦੇ ਸਕਣ:
OAI-SearchBot,Claude-SearchBot,PerplexityBot। - ਯੂਜ਼ਰ ਕ੍ਰੌਲਰ ਉਦੋਂ ਪੰਨਾ ਲਿਆਉਂਦੇ ਹਨ ਜਦੋਂ ਕੋਈ ਵਿਅਕਤੀ ਅਸਿਸਟੈਂਟ ਨੂੰ ਅਜਿਹਾ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ:
ChatGPT-User,Claude-User,Perplexity-User।
Chrome ਲਈ ਮੁਫ਼ਤ AI ਕ੍ਰੌਲਰ ਜਾਂਚ ਐਕਸਟੈਂਸ਼ਨ ਇਹ ਕੰਮ ਇੱਕ ਕਲਿੱਕ ਵਿੱਚ ਕਰਦੀ ਹੈ। ਕੋਈ ਵੀ ਪੰਨਾ ਖੋਲ੍ਹੋ, ਆਈਕਨ 'ਤੇ ਕਲਿੱਕ ਕਰੋ, ਅਤੇ ਇਹ ਉਸ ਸਾਈਟ ਦੀ robots.txt ਪੜ੍ਹ ਕੇ 16 ਕ੍ਰੌਲਰਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਲਈ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਪੰਨੇ ਦੀ ਇਜਾਜ਼ਤ ਹੈ ਜਾਂ ਨਹੀਂ ਅਤੇ ਕਿਹੜੀ ਲਾਈਨ ਇਹ ਤੈਅ ਕਰਦੀ ਹੈ। ਇਹ Content-Signal ਤਰਜੀਹਾਂ, ਸਾਈਟ 'ਤੇ llms.txt ਹੈ ਜਾਂ ਨਹੀਂ, ਅਤੇ robots.txt ਵਿੱਚ ਦਿੱਤੇ ਸਾਈਟਮੈਪ ਵੀ ਦਿਖਾਉਂਦੀ ਹੈ। ਇਹ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਚੱਲਦੀ ਹੈ, ਖਾਤੇ ਦੀ ਲੋੜ ਨਹੀਂ, ਅਤੇ ਸਿਰਫ਼ ਉਹੀ ਸਾਈਟ ਪੜ੍ਹਦੀ ਹੈ ਜਿਸ 'ਤੇ ਤੁਸੀਂ ਇਸਨੂੰ ਕਲਿੱਕ ਕਰਦੇ ਹੋ।
Chrome ਤੋਂ ਬਿਨਾਂ, aiseewhy.com 'ਤੇ ਮੁਫ਼ਤ robots.txt ਜਾਂਚ ਤੁਹਾਡੇ ਪੇਸਟ ਕੀਤੇ URL ਲਈ ਇਹੀ ਜਵਾਬ ਦਿੰਦੀ ਹੈ।
ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ ਫਾਇਰਵਾਲ ਉਨ੍ਹਾਂ ਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੀ ਹੈ ਜਾਂ ਨਹੀਂ?
robots.txt ਦੱਸਦੀ ਹੈ ਕਿ ਸਾਈਟ ਕੀ ਚਾਹੁੰਦੀ ਹੈ। ਕ੍ਰੌਲਰ ਨੂੰ ਅਸਲ ਵਿੱਚ ਕੀ ਮਿਲਦਾ ਹੈ, ਇਹ ਦੇਖਣ ਲਈ ਪੰਨਾ ਦੋ ਵਾਰ ਮੰਗੋ, ਇੱਕ ਵਾਰ ਬ੍ਰਾਊਜ਼ਰ ਵਜੋਂ ਅਤੇ ਇੱਕ ਵਾਰ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ, ਅਤੇ ਸਟੇਟਸ ਕੋਡ ਤੇ ਜਵਾਬ ਦੇ ਆਕਾਰ ਦੀ ਤੁਲਨਾ ਕਰੋ:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page ਜੇ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ 200 ਮਿਲਦਾ ਹੈ ਅਤੇ ਕ੍ਰੌਲਰ ਨੂੰ 403, 429 ਜਾਂ 503, ਜਾਂ ਕਾਫ਼ੀ ਛੋਟਾ ਪੰਨਾ, ਤਾਂ ਫਾਇਰਵਾਲ ਜਾਂ ਬੋਟ ਸੁਰੱਖਿਆ ਕ੍ਰੌਲਰ ਨਾਲ ਵੱਖਰਾ ਵਰਤਾਓ ਕਰ ਰਹੀ ਹੈ। ਹਰ ਬਾਹਰੀ ਟੈਸਟ ਦੀ ਇੱਕ ਹੱਦ ਹੈ: ਬੇਨਤੀ ਤੁਹਾਡੇ ਨੈੱਟਵਰਕ ਤੋਂ ਜਾਂਦੀ ਹੈ, AI ਕੰਪਨੀ ਦੇ ਨੈੱਟਵਰਕ ਤੋਂ ਨਹੀਂ। ਜੋ ਫਾਇਰਵਾਲ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਦੇ ਪ੍ਰਕਾਸ਼ਿਤ IP ਪਤਿਆਂ ਤੋਂ ਪਛਾਣ ਕੇ ਭਰੋਸਾ ਕਰਦੀ ਹੈ, ਉਹ ਅਸਲੀ ਕ੍ਰੌਲਰ ਨਾਲ ਵੱਖਰਾ ਵਰਤਾਓ ਕਰ ਸਕਦੀ ਹੈ, ਇਸ ਲਈ ਆਖ਼ਰੀ ਫ਼ੈਸਲਾ ਤੁਹਾਡੇ ਸਰਵਰ ਲੌਗ ਦਾ ਹੁੰਦਾ ਹੈ।
aiseewhy.com 'ਤੇ ਪੂਰੀ ਜਾਂਚ ਪੰਨੇ ਨੂੰ ਅਸਲੀ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਨਾਲ-ਨਾਲ ਸਾਰੇ 16 ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਲਿਆਉਂਦੀ ਹੈ, ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਨ ਵਾਲੀ ਫਾਇਰਵਾਲ ਜਾਂ ਨਿਯਮ ਦਾ ਨਾਂ ਦੱਸਦੀ ਹੈ, ਅਤੇ ਹਰ ਇੱਕ ਨੂੰ ਮਿਲੇ ਟੈਕਸਟ ਦੀ ਤੁਲਨਾ ਕਰਦੀ ਹੈ।
ਮੈਨੂੰ ਕਿਹੜੇ ਨਤੀਜੇ ਦਾ ਟੀਚਾ ਰੱਖਣਾ ਚਾਹੀਦਾ ਹੈ?
ਇਹ ਇਸ ਗੱਲ 'ਤੇ ਨਿਰਭਰ ਹੈ ਕਿ ਤੁਸੀਂ ਕੀ ਚਾਹੁੰਦੇ ਹੋ। ਜੇ ਤੁਸੀਂ ChatGPT ਸਰਚ, Claude ਅਤੇ Perplexity ਵਿੱਚ ਹਵਾਲਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰਾਂ ਨੂੰ robots.txt ਵਿੱਚ ਇਜਾਜ਼ਤ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ ਅਤੇ ਸਰਵਰ ਤੋਂ ਉਨ੍ਹਾਂ ਨੂੰ ਅਸਲੀ ਪੰਨਾ ਮਿਲਣਾ ਚਾਹੀਦਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਨਹੀਂ ਚਾਹੁੰਦੇ ਕਿ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾਵੇ, ਤਾਂ ਸਿਰਫ਼ ਸਿਖਲਾਈ ਟੋਕਨ ਬਲੌਕ ਕਰੋ। ਇਹ ਵੱਖਰੇ ਫ਼ੈਸਲੇ ਹਨ: GPTBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ OAI-SearchBot ਬਲੌਕ ਨਹੀਂ ਹੁੰਦਾ, ਅਤੇ ClaudeBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ Claude-SearchBot ਬਲੌਕ ਨਹੀਂ ਹੁੰਦਾ।
ਕਈ ਸਾਈਟਾਂ ਇਨ੍ਹਾਂ ਨੂੰ ਰਲਗੱਡ ਕਰ ਦਿੰਦੀਆਂ ਹਨ। 1,000 ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ ਡੋਮੇਨਾਂ ਬਾਰੇ ਸਾਡੀ ਨਵੰਬਰ 2026 ਦੀ ਰਿਪੋਰਟ ਵਿੱਚ, ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਨ ਵਾਲੀਆਂ 63% ਸਾਈਟਾਂ ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਸਰਚ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰ ਨੂੰ ਵੀ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ, ਜਿਸ ਨਾਲ ਉਨ੍ਹਾਂ ਦੇ ਪੰਨੇ ਉਨ੍ਹਾਂ AI ਜਵਾਬਾਂ ਤੋਂ ਬਾਹਰ ਰਹਿ ਜਾਂਦੇ ਹਨ।
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- llms.txt checker ਅਤੇ ਪ੍ਰਮਾਣਕ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਸਰੋਤ
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI ਕ੍ਰੌਲਰਾਂ ਦੀ ਜਾਣਕਾਰੀ
- Anthropic: ਕੀ Anthropic ਵੈੱਬ ਤੋਂ ਡਾਟਾ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, ਅਤੇ ਸਾਈਟ ਮਾਲਕ ਕ੍ਰੌਲਰ ਨੂੰ ਕਿਵੇਂ ਬਲੌਕ ਕਰ ਸਕਦੇ ਹਨ?
- Perplexity: Perplexity ਕ੍ਰੌਲਰ
- Google: ਆਮ ਕ੍ਰੌਲਰ, Google-Extended ਸਮੇਤ
- AISeeWhy: AI ਕ੍ਰੌਲਰ ਪਹੁੰਚ ਰਿਪੋਰਟ, 2026-11