ਗਾਈਡ
AI ਕ੍ਰੌਲਰ IP ਜਾਂਚ ਕਿਵੇਂ ਵਰਤਣੀ ਹੈ
ਇਹ ਟੈਕਸਟ ਅੰਗਰੇਜ਼ੀ ਤੋਂ ਮਸ਼ੀਨ ਰਾਹੀਂ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ।
ਇਹ IP ਜਾਂਚ ਕੀ ਕਰਦੀ ਹੈ
ਆਪਣੇ ਸਰਵਰ ਜਾਂ ਫਾਇਰਵਾਲ ਲੌਗਾਂ ਵਿੱਚੋਂ ਇੱਕ IPv4 ਜਾਂ IPv6 ਪਤਾ ਪੇਸਟ ਕਰੋ। ਜਾਂਚ ਉਸਨੂੰ ਉਨ੍ਹਾਂ IP ਰੇਂਜਾਂ ਵਿੱਚ ਲੱਭਦੀ ਹੈ ਜੋ ਕ੍ਰੌਲਰ ਚਲਾਉਣ ਵਾਲੀਆਂ ਕੰਪਨੀਆਂ ਆਪ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀਆਂ ਹਨ: GPTBot, OAI-SearchBot ਅਤੇ ChatGPT-User ਲਈ OpenAI, PerplexityBot ਅਤੇ Perplexity-User ਲਈ Perplexity, Googlebot ਲਈ Google, Bingbot ਲਈ Microsoft ਅਤੇ Applebot ਲਈ Apple। ਅਸੀਂ ਉਹ ਪ੍ਰਕਾਸ਼ਿਤ ਸੂਚੀਆਂ ਰੋਜ਼ਾਨਾ ਪੜ੍ਹਦੇ ਹਾਂ। ਜਵਾਬ ਵਿੱਚ ਹਰ ਉਸ ਕ੍ਰੌਲਰ ਦਾ ਨਾਮ ਹੁੰਦਾ ਹੈ ਜਿਸਦੀਆਂ ਰੇਂਜਾਂ ਵਿੱਚ ਇਹ ਪਤਾ ਹੈ, ਜਾਂ ਦੱਸਿਆ ਜਾਂਦਾ ਹੈ ਕਿ ਕਿਸੇ ਵਿੱਚ ਨਹੀਂ।
ਨਤੀਜਾ ਕਿਵੇਂ ਪੜ੍ਹਨਾ ਹੈ
- ਕਿਸੇ ਕ੍ਰੌਲਰ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ ਰੇਂਜਾਂ ਵਿੱਚ: ਬੇਨਤੀ ਉਸ ਕੰਪਨੀ ਦੇ ਨੈੱਟਵਰਕ ਤੋਂ ਆਈ। ਮੇਲ ਖਾਂਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਦੇ ਨਾਲ, ਇਹ ਪੱਕਾ ਸਬੂਤ ਹੈ ਕਿ ਇਹ ਅਸਲੀ ਕ੍ਰੌਲਰ ਸੀ।
- ਕਿਸੇ ਪ੍ਰਕਾਸ਼ਿਤ ਰੇਂਜ ਵਿੱਚ ਨਹੀਂ: ਜੇ ਬੇਨਤੀ ਨੇ ਸੂਚੀ ਦੇ ਕਿਸੇ ਕ੍ਰੌਲਰ ਹੋਣ ਦਾ ਦਾਅਵਾ ਕੀਤਾ, ਤਾਂ ਉਹ ਨਹੀਂ ਸੀ। ਕਿਸੇ ਹੋਰ ਨੇ ਨਾਮ ਵਰਤਿਆ, ਅਤੇ ਤੁਸੀਂ AI ਜਵਾਬਾਂ ਵਿੱਚ ਦਿੱਖ ਗੁਆਏ ਬਿਨਾਂ ਉਹ ਪਤਾ ਬਲੌਕ ਕਰ ਸਕਦੇ ਹੋ।
- ਇਨ੍ਹਾਂ ਨਾਲ ਮਿਲਾਇਆ: ਉਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਦੀ ਸੂਚੀ ਜਿਨ੍ਹਾਂ ਦੀਆਂ ਰੇਂਜਾਂ ਦੀ ਤੁਲਨਾ ਕੀਤੀ ਗਈ। ਜੋ ਕ੍ਰੌਲਰ ਇਸ ਸੂਚੀ ਵਿੱਚ ਨਹੀਂ, ਉਸਦੀ ਇੱਥੇ ਨਾ ਪੁਸ਼ਟੀ ਹੋ ਸਕਦੀ ਹੈ ਨਾ ਖੰਡਨ।
ਕੋਈ ਵੀ GPTBot ਹੋਣ ਦਾ ਦਾਅਵਾ ਕਿਉਂ ਕਰ ਸਕਦਾ ਹੈ
ਯੂਜ਼ਰ ਏਜੰਟ ਟੈਕਸਟ ਦੀ ਇੱਕ ਲਾਈਨ ਹੈ ਜੋ ਕਲਾਇੰਟ ਭੇਜਦਾ ਹੈ, ਅਤੇ ਕੋਈ ਵੀ ਉਸ ਵਿੱਚ GPTBot ਜਾਂ Googlebot ਲਿਖ ਸਕਦਾ ਹੈ। ਸਕ੍ਰੈਪਰ ਸਾਦੇ ਫਿਲਟਰਾਂ ਤੋਂ ਲੰਘਣ ਲਈ ਇਹ ਕਰਦੇ ਹਨ। ਇਸੇ ਕਰਕੇ ਸਿਰਫ਼ ਯੂਜ਼ਰ ਏਜੰਟ ਦੇਖਣ ਵਾਲੀਆਂ ਫਾਇਰਵਾਲਾਂ ਦੋਵੇਂ ਪਾਸਿਓਂ ਧੋਖਾ ਖਾ ਸਕਦੀਆਂ ਹਨ: ਉਹ ਨਕਲੀ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੀਆਂ ਹਨ, ਜਾਂ ਨਕਲੀ ਕ੍ਰੌਲਰ ਵਿਰੁੱਧ ਲਿਖਿਆ ਨਿਯਮ ਅਸਲੀ ਨੂੰ ਵੀ ਬਲੌਕ ਕਰ ਦਿੰਦਾ ਹੈ। IP ਪਤੇ ਨੂੰ ਕੰਪਨੀ ਦੀ ਪ੍ਰਕਾਸ਼ਿਤ ਸੂਚੀ ਨਾਲ ਮਿਲਾਉਣਾ ਹੀ ਉਨ੍ਹਾਂ ਨੂੰ ਵੱਖ ਕਰਨ ਦਾ ਤਰੀਕਾ ਹੈ।
203.0.113.9 - - [18/Nov/2026:10:12:01 +0000] "GET /pricing/ HTTP/1.1" 200 5123 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"
ਸੂਚੀ ਵਿੱਚ ਨਾ ਹੋਣ ਵਾਲੇ ਕ੍ਰੌਲਰਾਂ ਦੀ ਪੁਸ਼ਟੀ
ਜਿਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਦੀਆਂ ਕੰਪਨੀਆਂ ਸਾਡੇ ਵੱਲੋਂ ਪੜ੍ਹੀ ਜਾਣ ਵਾਲੀ ਰੇਂਜ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਕਰਦੀਆਂ, ਉਨ੍ਹਾਂ ਲਈ ਕੰਪਨੀ ਦੇ ਆਪਣੇ ਦਸਤਾਵੇਜ਼ ਵਰਤੋ। Google, Microsoft ਅਤੇ Apple DNS ਜਾਂਚ ਦਾ ਵੀ ਸਮਰਥਨ ਕਰਦੇ ਹਨ: ਪਤੇ ਦਾ ਹੋਸਟ ਨਾਮ ਲੱਭੋ, ਜਾਂਚੋ ਕਿ ਉਹ ਕੰਪਨੀ ਦੇ ਡੋਮੇਨ 'ਤੇ ਖ਼ਤਮ ਹੁੰਦਾ ਹੈ, ਜਿਵੇਂ googlebot.com, google.com, search.msn.com ਜਾਂ applebot.apple.com, ਫਿਰ ਉਹ ਹੋਸਟ ਨਾਮ ਦੁਬਾਰਾ ਲੱਭੋ ਅਤੇ ਪੁਸ਼ਟੀ ਕਰੋ ਕਿ ਉਹ ਉਹੀ ਪਤਾ ਦਿੰਦਾ ਹੈ।
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
ਆਮ ਗਲਤੀਆਂ
- ਨਕਲੀ ਕ੍ਰੌਲਰ ਦੀ ਦੁਰਵਰਤੋਂ ਦੇਖ ਕੇ ਕ੍ਰੌਲਰ ਨੂੰ ਨਾਮ ਨਾਲ ਬਲੌਕ ਕਰਨਾ। ਇਸਦੀ ਥਾਂ ਦੁਰਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਪਤੇ ਬਲੌਕ ਕਰੋ, ਨਹੀਂ ਤਾਂ ਤੁਸੀਂ ਅਸਲੀ ਕ੍ਰੌਲਰ ਵੀ ਗੁਆ ਦਿਓਗੇ।
- ਹਰ ਉਸ ਬੇਨਤੀ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣਾ ਜਿਸਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਵਿੱਚ
GPTBot ਲਿਖਿਆ ਹੋਵੇ। ਆਪਣੇ ਫਾਇਰਵਾਲ ਨਿਯਮ ਵਿੱਚ ਯੂਜ਼ਰ ਏਜੰਟ ਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ ਰੇਂਜਾਂ ਨਾਲ ਜੋੜੋ। - ਪ੍ਰੌਕਸੀ ਦਾ ਪਤਾ ਜਾਂਚਣਾ। CDN ਜਾਂ ਲੋਡ ਬੈਲੈਂਸਰ ਦੇ ਪਿੱਛੇ, ਤੁਹਾਡਾ ਸਰਵਰ ਵਿਜ਼ਿਟਰ ਦੀ ਥਾਂ ਪ੍ਰੌਕਸੀ ਨੂੰ ਲੌਗ ਕਰ ਸਕਦਾ ਹੈ; ਉਹ ਹੈਡਰ ਵਰਤੋ ਜਿਸ ਵਿੱਚ ਕਲਾਇੰਟ ਦਾ ਪਤਾ ਹੁੰਦਾ ਹੈ।
- ਰੇਂਜਾਂ ਦੀ ਪੁਰਾਣੀ ਕਾਪੀ ਰੱਖਣਾ। ਕੰਪਨੀਆਂ ਇਨ੍ਹਾਂ ਨੂੰ ਬਦਲਦੀਆਂ ਹਨ; ਮਹੀਨਿਆਂ ਪੁਰਾਣੀ ਸੂਚੀ ਤੋਂ ਬਣੇ ਨਿਯਮ ਅਸਲੀ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰ ਸਕਦੇ ਹਨ।
ਇੱਕ ਪਤੇ ਤੋਂ ਪੂਰੇ ਲੌਗ ਤੱਕ
ਇਹ ਜਾਂਚ ਇੱਕ ਸਮੇਂ ਇੱਕ ਪਤੇ ਦਾ ਜਵਾਬ ਦਿੰਦੀ ਹੈ। ਤੁਹਾਡੇ AISeeWhy ਖਾਤੇ ਵਿੱਚ, ਭੁਗਤਾਨ ਵਾਲੇ ਪਲਾਨਾਂ 'ਤੇ ਸਰਵਰ-ਲੌਗ ਜਾਂਚ ਪੂਰਾ ਐਕਸੈਸ ਲੌਗ ਪੜ੍ਹਦੀ ਹੈ, ਹਰ AI ਕ੍ਰੌਲਰ ਦੀਆਂ ਫੇਰੀਆਂ ਗਿਣਦੀ ਹੈ, ਇਨ੍ਹਾਂ ਪ੍ਰਕਾਸ਼ਿਤ ਰੇਂਜਾਂ ਨਾਲ ਅਸਲੀ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਨਕਲੀਆਂ ਤੋਂ ਵੱਖ ਕਰਦੀ ਹੈ ਅਤੇ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਤੁਹਾਡੇ ਸਰਵਰ ਨੇ ਉਨ੍ਹਾਂ ਨੂੰ ਕੀ ਜਵਾਬ ਦਿੱਤਾ।
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ ਇਸ ਜਾਂਚ ਵਿੱਚ ClaudeBot ਆਉਂਦਾ ਹੈ?
ਫ਼ਿਲਹਾਲ ਨਹੀਂ: ਜਾਂਚ ਉਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕਵਰ ਕਰਦੀ ਹੈ ਜਿਨ੍ਹਾਂ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ ਰੇਂਜ ਫਾਈਲਾਂ ਅਸੀਂ ਪੜ੍ਹਦੇ ਹਾਂ, ਜੋ ਨਤੀਜੇ ਦੇ ਹੇਠਾਂ ਦਿੱਤੇ ਹਨ। ਹੋਰ ਕ੍ਰੌਲਰਾਂ ਲਈ ਕੰਪਨੀ ਦੇ ਦਸਤਾਵੇਜ਼ ਦੇਖੋ।
ਪਤਾ Googlebot ਦੀ ਰੇਂਜ ਵਿੱਚ ਹੈ ਪਰ ਯੂਜ਼ਰ ਏਜੰਟ ਕੁਝ ਹੋਰ ਕਹਿੰਦਾ ਹੈ। ਇਸਦਾ ਕੀ ਮਤਲਬ ਹੈ?
ਬੇਨਤੀ Google ਦੇ ਨੈੱਟਵਰਕ ਤੋਂ ਆਈ। Google ਕਈ ਕ੍ਰੌਲਰ ਅਤੇ fetchers ਚਲਾਉਂਦਾ ਹੈ; ਯੂਜ਼ਰ ਏਜੰਟ ਦੱਸਦਾ ਹੈ ਕਿ ਕਿਹੜਾ। ਇਹ Google ਹੋਣ ਦਾ ਢੌਂਗ ਕਰਨ ਵਾਲੀ ਕੋਈ ਤੀਜੀ ਧਿਰ ਨਹੀਂ ਸੀ।
ਕੀ ਮੈਂ ਇੱਕੋ ਵਾਰ ਕਈ ਪਤੇ ਜਾਂਚ ਸਕਦਾ ਹਾਂ?
ਇਸ ਮੁਫ਼ਤ ਟੂਲ ਨਾਲ ਨਹੀਂ। ਉਸ ਵਿਚਲੀ ਹਰ ਫੇਰੀ ਜਾਂਚਣ ਲਈ ਲੌਗ ਆਪਣੇ ਖਾਤੇ ਵਿੱਚ ਅੱਪਲੋਡ ਕਰੋ।
ਕੀ ਮੇਰਾ ਦਰਜ ਕੀਤਾ ਪਤਾ ਸਟੋਰ ਹੁੰਦਾ ਹੈ?
ਇਹ ਜਾਂਚ ਦਾ ਜਵਾਬ ਦੇਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਤੁਹਾਡੀ ਬੇਨਤੀ ਨਾਲ ਸੇਵ ਨਹੀਂ ਹੁੰਦਾ।
ਸੰਬੰਧਿਤ ਟੂਲ ਅਤੇ ਗਾਈਡਾਂ