AI ਕ੍ਰੌਲਰਾਂ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਅਤੇ IP ਰੇਂਜਾਂ: GPTBot, ClaudeBot, PerplexityBot ਅਤੇ ਹੋਰ
GPTBot ਆਪਣੀ ਪਛਾਣ ਅਜਿਹੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਕਰਦਾ ਹੈ ਜਿਸ ਵਿੱਚ GPTBot/1.4; +https://openai.com/gptbot ਹੁੰਦਾ ਹੈ, ਅਤੇ OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple ਅਤੇ Common Crawl ਹਰ ਇੱਕ ਆਪਣੇ ਕ੍ਰੌਲਰਾਂ ਦੀਆਂ IP ਰੇਂਜਾਂ ਦੀ JSON ਸੂਚੀ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ। ਬੇਨਤੀ ਤਾਂ ਹੀ ਅਸਲੀ ਹੈ ਜੇ ਦੋਵੇਂ ਮੇਲ ਖਾਣ: ਯੂਜ਼ਰ ਏਜੰਟ ਕ੍ਰੌਲਰ ਦਾ ਨਾਮ ਲਵੇ ਅਤੇ ਸਰੋਤ IP ਉਸ ਕੰਪਨੀ ਦੀ ਸੂਚੀ ਵਿੱਚ ਹੋਵੇ, ਜਾਂ Googlebot, bingbot, Applebot ਅਤੇ CCBot ਲਈ reverse ਅਤੇ forward DNS ਜਾਂਚ ਪਾਸ ਕਰੇ। ਇਕੱਲਾ ਯੂਜ਼ਰ ਏਜੰਟ ਕੁਝ ਸਾਬਤ ਨਹੀਂ ਕਰਦਾ, ਕਿਉਂਕਿ ਕੋਈ ਵੀ ਉਸਨੂੰ ਭੇਜ ਸਕਦਾ ਹੈ।
ਜਦੋਂ ਤੁਸੀਂ ਆਪਣੇ ਲੌਗਾਂ ਵਿੱਚ GPTBot ਜਾਂ ClaudeBot ਦੇਖਦੇ ਹੋ, ਜਾਂ ਅਜਿਹਾ ਫਾਇਰਵਾਲ ਨਿਯਮ ਚਾਹੁੰਦੇ ਹੋ ਜੋ AI ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਲੰਘਣ ਦੇਵੇ, ਤਾਂ ਤੁਹਾਨੂੰ ਦੋ ਚੀਜ਼ਾਂ ਚਾਹੀਦੀਆਂ ਹਨ: ਹਰ ਕ੍ਰੌਲਰ ਦੀ ਭੇਜੀ ਹੂਬਹੂ string, ਅਤੇ ਇਹ ਸਾਬਤ ਕਰਨ ਦਾ ਤਰੀਕਾ ਕਿ ਬੇਨਤੀ ਉਸੇ ਕੰਪਨੀ ਤੋਂ ਆਈ ਜਿਸਦਾ ਉਹ ਨਾਮ ਲੈਂਦੀ ਹੈ। ਹੇਠਾਂ ਉਹ strings ਹਨ ਜਿਵੇਂ ਹਰ ਕੰਪਨੀ ਅੱਜ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀ ਹੈ, ਹਰ ਇੱਕ ਦੀ ਅਧਿਕਾਰਤ IP ਸੂਚੀ ਜਾਂ DNS ਤਰੀਕਾ, ਅਤੇ ਕਿਸੇ ਪਤੇ ਦੀ ਜਾਂਚ ਲਈ ਦੋ ਸਕ੍ਰਿਪਟਾਂ।
ਇਸ ਪੰਨੇ 'ਤੇ
- GPTBot, ClaudeBot, PerplexityBot ਅਤੇ ਹੋਰ AI ਕ੍ਰੌਲਰਾਂ ਦੀਆਂ ਯੂਜ਼ਰ ਏਜੰਟ strings ਕੀ ਹਨ?
- ਕਿਹੜਾ ਕ੍ਰੌਲਰ ਕੀ ਕਰਦਾ ਹੈ, ਅਤੇ ਕਿਹੜੇ ਨਾਮ ਸਿਰਫ਼ robots.txt ਟੋਕਨ ਹਨ?
- AI ਕ੍ਰੌਲਰ ਕੰਪਨੀਆਂ ਆਪਣੀਆਂ IP ਰੇਂਜਾਂ ਕਿੱਥੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀਆਂ ਹਨ?
- ਕਿਸੇ IP ਪਤੇ ਨੂੰ ਅਧਿਕਾਰਤ ਕ੍ਰੌਲਰ ਸੂਚੀਆਂ ਨਾਲ ਕਿਵੇਂ ਜਾਂਚੀਏ?
- Googlebot, bingbot ਜਾਂ Applebot ਦੀ reverse DNS ਨਾਲ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ?
- GPTBot ਪਛਾਣਨ ਲਈ ਯੂਜ਼ਰ ਏਜੰਟ ਦੀ ਜਾਂਚ ਕਾਫ਼ੀ ਕਿਉਂ ਨਹੀਂ?
- AISeeWhy AI ਕ੍ਰੌਲਰ ਟ੍ਰੈਫਿਕ ਦੀ ਪੁਸ਼ਟੀ ਵਿੱਚ ਕਿਵੇਂ ਮਦਦ ਕਰਦਾ ਹੈ?
GPTBot, ClaudeBot, PerplexityBot ਅਤੇ ਹੋਰ AI ਕ੍ਰੌਲਰਾਂ ਦੀਆਂ ਯੂਜ਼ਰ ਏਜੰਟ strings ਕੀ ਹਨ?
ਇਹ ਕੰਪਨੀਆਂ ਦੇ ਆਪਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਤੋਂ ਨਕਲ ਕੀਤੀਆਂ ਹਨ। OpenAI ਅਤੇ Perplexity ਦੱਸਦੇ ਹਨ ਕਿ ਸੰਸਕਰਣ ਨੰਬਰ ਬਦਲ ਸਕਦੇ ਹਨ, Google ਅਤੇ Microsoft W.X.Y.Z ਦੀ ਥਾਂ ਮੌਜੂਦਾ ਬ੍ਰਾਊਜ਼ਰ ਸੰਸਕਰਣ ਪਾਉਂਦੇ ਹਨ, ਅਤੇ Apple ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਹ ਬ੍ਰਾਊਜ਼ਰ ਵਾਲਾ ਹਿੱਸਾ ਕਦੇ-ਕਦੇ ਅੱਪਡੇਟ ਕਰਦਾ ਹੈ। ਪੂਰੀ string ਨਹੀਂ, GPTBot ਜਾਂ bingbot ਵਰਗੇ ਕ੍ਰੌਲਰ ਟੋਕਨ 'ਤੇ ਮੇਲ ਕਰੋ।
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropic ਦਾ ਮਦਦ ਲੇਖ ClaudeBot, Claude-SearchBot ਅਤੇ Claude-User ਦੇ ਨਾਮ ਦਿੰਦਾ ਹੈ ਪਰ ਪੂਰੀਆਂ ਯੂਜ਼ਰ ਏਜੰਟ strings ਨਹੀਂ ਛਾਪਦਾ, ਇਸ ਲਈ ਇਨ੍ਹਾਂ ਟੋਕਨਾਂ 'ਤੇ ਮੇਲ ਕਰੋ। Meta ਦਾ ਕ੍ਰੌਲਰ ਪੰਨਾ ਅਜਿਹੀਆਂ strings ਦਿੰਦਾ ਹੈ ਜੋ ਦਿਖਾਏ ਟੋਕਨਾਂ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦੀਆਂ ਹਨ ਅਤੇ ਉਸਦੇ ਦਸਤਾਵੇਜ਼ਾਂ ਦੇ ਲਿੰਕ ਨਾਲ ਅੱਗੇ ਵਧਦੀਆਂ ਹਨ, ਅਤੇ ਕਹਿੰਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਲੌਗਾਂ ਵਿਚਲੀਆਂ strings ਥੋੜ੍ਹੀਆਂ ਵੱਖਰੀਆਂ ਹੋ ਸਕਦੀਆਂ ਹਨ।
ਕਿਹੜਾ ਕ੍ਰੌਲਰ ਕੀ ਕਰਦਾ ਹੈ, ਅਤੇ ਕਿਹੜੇ ਨਾਮ ਸਿਰਫ਼ robots.txt ਟੋਕਨ ਹਨ?
GPTBotਅਜਿਹੀ ਸਮੱਗਰੀ ਇਕੱਠੀ ਕਰਦਾ ਹੈ ਜੋ OpenAI ਦੇ ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ।OAI-SearchBotChatGPT ਸਰਚ ਵਿੱਚ ਸਾਈਟਾਂ ਦਿਖਾਉਂਦਾ ਹੈ।ChatGPT-Userਯੂਜ਼ਰ ਵੱਲੋਂ ਸ਼ੁਰੂ ਕੀਤੇ ਕੰਮਾਂ ਲਈ ਪੰਨੇ ਲਿਆਉਂਦਾ ਹੈ, ਅਤੇ OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸ 'ਤੇ robots.txt ਨਿਯਮ ਸ਼ਾਇਦ ਲਾਗੂ ਨਾ ਹੋਣ।OAI-AdsBotChatGPT ਇਸ਼ਤਿਹਾਰਾਂ ਵਜੋਂ ਭੇਜੇ ਪੰਨੇ ਜਾਂਚਦਾ ਹੈ।ClaudeBotAnthropic ਦੇ ਮਾਡਲਾਂ ਲਈ ਡਾਟਾ ਇਕੱਠਾ ਕਰਦਾ ਹੈ,Claude-SearchBotਸਰਚ ਨਤੀਜੇ ਬਿਹਤਰ ਬਣਾਉਂਦਾ ਹੈ, ਅਤੇClaude-Userਉਦੋਂ ਪੰਨੇ ਲਿਆਉਂਦਾ ਹੈ ਜਦੋਂ ਕੋਈ Claude ਤੋਂ ਸਵਾਲ ਪੁੱਛਦਾ ਹੈ।PerplexityBotPerplexity ਸਰਚ ਵਿੱਚ ਸਾਈਟਾਂ ਦਿਖਾਉਂਦਾ ਅਤੇ ਲਿੰਕ ਕਰਦਾ ਹੈ ਅਤੇ ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ।Perplexity-Userਉਦੋਂ ਪੰਨੇ ਲਿਆਉਂਦਾ ਹੈ ਜਦੋਂ ਯੂਜ਼ਰ ਸਵਾਲ ਪੁੱਛਦਾ ਹੈ।meta-externalagentAI ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਜਾਂ ਸਮੱਗਰੀ ਇੰਡੈਕਸ ਕਰਨ ਲਈ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ,meta-webindexerMeta AI ਸਰਚ ਲਈ ਸਮੱਗਰੀ ਇੰਡੈਕਸ ਕਰਦਾ ਹੈ, ਅਤੇmeta-externalfetcherਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਲਿੰਕ ਲਿਆਉਂਦਾ ਹੈ।CCBotਜਨਤਕ ਵੈੱਬ ਆਰਕਾਈਵ Common Crawl ਦਾ ਕ੍ਰੌਲਰ ਹੈ।
ਦੋ ਨਾਮ ਤੁਹਾਡੇ ਲੌਗਾਂ ਵਿੱਚ ਕਦੇ ਨਹੀਂ ਆਉਂਦੇ। Google-Extended ਇੱਕ robots.txt ਟੋਕਨ ਹੈ ਜੋ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ ਕਿ Google ਦੀ ਕ੍ਰੌਲ ਕੀਤੀ ਸਮੱਗਰੀ Gemini ਮਾਡਲਾਂ ਅਤੇ grounding ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜਾਂ ਨਹੀਂ; Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ Google Search ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪਾਉਂਦਾ। Applebot-Extended, Apple ਦੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਇੱਕ ਸਹਾਇਕ ਯੂਜ਼ਰ ਏਜੰਟ ਹੈ ਜੋ ਵੈੱਬ ਪੰਨੇ ਕ੍ਰੌਲ ਨਹੀਂ ਕਰਦਾ; ਇਹ ਸਿਰਫ਼ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ Apple Applebot ਦਾ ਇਕੱਠਾ ਕੀਤਾ ਡਾਟਾ ਕਿਵੇਂ ਵਰਤ ਸਕਦਾ ਹੈ। ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕੋਈ ਹੋਣ ਦਾ ਦਾਅਵਾ ਕਰਨ ਵਾਲੀ ਬੇਨਤੀ ਅਸਲੀ ਨਹੀਂ।
AI ਕ੍ਰੌਲਰ ਕੰਪਨੀਆਂ ਆਪਣੀਆਂ IP ਰੇਂਜਾਂ ਕਿੱਥੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀਆਂ ਹਨ?
ਜ਼ਿਆਦਾਤਰ ਕੰਪਨੀਆਂ ਇੱਕੋ ਰੂਪ ਦੀ JSON ਫਾਈਲ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀਆਂ ਹਨ: ipv4Prefix ਜਾਂ ipv6Prefix ਵਾਲੇ objects ਦਾ prefixes array, ਨਾਲ creationTime ਜੋ ਦੱਸਦਾ ਹੈ ਕਿ ਫਾਈਲ ਕਿੰਨੀ ਤਾਜ਼ਾ ਹੈ।
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonਅਤੇhttps://openai.com/adsbot.json, ਹਰ ਏਜੰਟ ਲਈ ਇੱਕ। - Anthropic:
https://claude.com/crawling/bots.json, ਇਸਦੇ ਕ੍ਰੌਲਰਾਂ ਲਈ ਇੱਕ ਸੂਚੀ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਸ ਸੂਚੀ ਵਿਚਲਾ ਪਤਾ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰ Anthropic ਤੋਂ ਹੈ, ਅਤੇ ਇਹ ਵੀ ਕਿ IP ਬਲੌਕ ਕਰਨਾ opt-out ਦੀ ਭਰੋਸੇਯੋਗ ਗਰੰਟੀ ਨਹੀਂ ਹੋ ਸਕਦਾ। - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonਅਤੇhttps://www.perplexity.ai/perplexity-user.json। - Google: Googlebot ਲਈ
https://developers.google.com/static/crawling/ipranges/common-crawlers.json, ਖ਼ਾਸ ਮਾਮਲਿਆਂ ਵਾਲੇ ਕ੍ਰੌਲਰਾਂ ਅਤੇ ਯੂਜ਼ਰ ਵੱਲੋਂ ਸ਼ੁਰੂ ਕੀਤੇ fetchers ਲਈ ਵੱਖਰੀਆਂ ਫਾਈਲਾਂ ਨਾਲ। Reverse DNS ਵੀ ਕੰਮ ਕਰਦਾ ਹੈ। - Apple:
https://search.developer.apple.com/applebot.json, ਜਾਂapplebot.apple.comਵਿੱਚ reverse DNS। - Common Crawl:
https://index.commoncrawl.org/ccbot.json। IPv4 ਲਈ ਇਹcrawl.commoncrawl.orgਹੇਠ forward-confirmed reverse DNS ਦੀ ਸਿਫ਼ਾਰਸ਼ ਵੀ ਕਰਦਾ ਹੈ; IPv6 ਪਤਿਆਂ ਦਾ reverse DNS ਨਹੀਂ ਹੁੰਦਾ। - Microsoft:
https://www.bing.com/toolbox/bingbot.json, ਜਿਸਨੂੰ Bing ਰੋਜ਼ਾਨਾ ਤਾਜ਼ਾ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਕਦੇ ਵੀ ਬਦਲ ਸਕਦੀ ਹੈ, ਜਾਂsearch.msn.com'ਤੇ ਖ਼ਤਮ ਹੋਣ ਵਾਲਾ reverse DNS। Bing ਇੱਕ ਜਨਤਕ Verify Bingbot ਟੂਲ ਵੀ ਦਿੰਦਾ ਹੈ। - Meta: ਇਸਦਾ ਕ੍ਰੌਲਰ ਪੰਨਾ IP ਸੂਚੀ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਕਰਦਾ।
ਕਿਸੇ IP ਪਤੇ ਨੂੰ ਅਧਿਕਾਰਤ ਕ੍ਰੌਲਰ ਸੂਚੀਆਂ ਨਾਲ ਕਿਵੇਂ ਜਾਂਚੀਏ?
ਇਹ ਸਕ੍ਰਿਪਟ ਹਰ ਸੂਚੀ ਲੋਡ ਕਰਦੀ ਹੈ ਅਤੇ ਦੱਸਦੀ ਹੈ ਕਿ ਪਤਾ ਕਿਸ ਵਿੱਚ ਹੈ। ਇਸਨੂੰ ਸਿਰਫ਼ Python 3 ਚਾਹੀਦਾ ਹੈ, ਅਤੇ ਇਹ IPv4 ਅਤੇ IPv6 ਦੋਵੇਂ ਸੰਭਾਲਦੀ ਹੈ।
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF ਸੂਚੀਆਂ ਬਦਲਦੀਆਂ ਹਨ। ਹਰ ਫਾਈਲ ਦਾ ਆਪਣਾ creationTime ਹੈ, Perplexity ਤੁਹਾਡੇ ਫਾਇਰਵਾਲ ਨਿਯਮਾਂ ਦੇ ਅੱਪਡੇਟ ਆਪਣੇ ਆਪ ਕਰਨ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦਾ ਹੈ, ਅਤੇ Bing ਆਪਣੀ ਸੂਚੀ ਰੋਜ਼ਾਨਾ ਤਾਜ਼ਾ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਸੂਚੀਆਂ ਫਾਇਰਵਾਲ ਵਿੱਚ ਵਰਤਦੇ ਹੋ, ਤਾਂ ਇੱਕ ਵਾਰ ਨਕਲ ਕਰਨ ਦੀ ਥਾਂ ਉਨ੍ਹਾਂ ਨੂੰ ਤੈਅ ਸਮੇਂ 'ਤੇ ਲਿਆਓ।
Googlebot, bingbot ਜਾਂ Applebot ਦੀ reverse DNS ਨਾਲ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ?
Google, Microsoft, Apple ਅਤੇ Common Crawl ਇੱਕੋ ਦੋ-ਕਦਮੀ ਜਾਂਚ ਦੱਸਦੇ ਹਨ: IP ਪਤੇ ਦਾ ਨਾਮ ਲੱਭੋ, ਪੱਕਾ ਕਰੋ ਕਿ ਉਹ ਕੰਪਨੀ ਦੇ ਡੋਮੇਨ 'ਤੇ ਖ਼ਤਮ ਹੁੰਦਾ ਹੈ, ਫਿਰ ਉਹ ਨਾਮ ਲੱਭੋ ਅਤੇ ਪੱਕਾ ਕਰੋ ਕਿ ਉਹ ਉਹੀ IP ਦਿੰਦਾ ਹੈ। ਦੋਵੇਂ ਕਦਮ ਅਹਿਮ ਹਨ, ਕਿਉਂਕਿ IP ਰੇਂਜ ਦਾ ਮਾਲਕ ਕੋਈ ਵੀ reverse DNS ਨਾਮ ਸੈੱਟ ਕਰ ਸਕਦਾ ਹੈ, ਪਰ ਕੰਪਨੀ ਦੇ ਡੋਮੇਨ ਨੂੰ ਆਪਣੇ ਵੱਲ ਨਹੀਂ ਮੋੜ ਸਕਦਾ।
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google ਆਪਣੀਆਂ ਕ੍ਰੌਲਰ ਕਿਸਮਾਂ ਵਿੱਚ googlebot.com, google.com ਅਤੇ googleusercontent.com ਮੰਨਦਾ ਹੈ; ਉੱਪਰਲਾ function ਸਿਰਫ਼ googlebot.com ਮੰਨਦਾ ਹੈ, ਜੋ Google ਦੀਆਂ ਮਿਸਾਲਾਂ ਵਿੱਚ Googlebot ਖ਼ੁਦ ਵਰਤਦਾ ਹੈ। Google ਦੇ ਹੋਰ ਕ੍ਰੌਲਰਾਂ ਅਤੇ fetchers ਲਈ ਉਸਦੀਆਂ JSON ਸੂਚੀਆਂ ਵਰਤੋ। DNS ਲੁੱਕਅੱਪ ਸਮਾਂ ਲੈਂਦੇ ਹਨ, ਇਸ ਲਈ ਇਨ੍ਹਾਂ ਨੂੰ ਹਰ ਲਾਈਵ ਬੇਨਤੀ 'ਤੇ ਨਹੀਂ, ਲੌਗਾਂ ਦੀ ਸਮੀਖਿਆ ਵੇਲੇ ਚਲਾਓ ਜਾਂ ਨਤੀਜਾ ਕੈਸ਼ ਕਰੋ।
GPTBot ਪਛਾਣਨ ਲਈ ਯੂਜ਼ਰ ਏਜੰਟ ਦੀ ਜਾਂਚ ਕਾਫ਼ੀ ਕਿਉਂ ਨਹੀਂ?
ਯੂਜ਼ਰ ਏਜੰਟ ਇੱਕ ਹੈਡਰ ਹੈ ਜੋ ਕਲਾਇੰਟ ਖ਼ੁਦ ਚੁਣਦਾ ਹੈ, ਇਸ ਲਈ ਕੋਈ ਵੀ GPTBot ਜਾਂ Googlebot ਭੇਜ ਸਕਦਾ ਹੈ। Common Crawl ਚੇਤਾਵਨੀ ਦਿੰਦਾ ਹੈ ਕਿ ਕੁਝ ਕ੍ਰੌਲਰ ਝੂਠਾ CCBot ਹੋਣ ਦਾ ਦਾਅਵਾ ਕਰਦੇ ਹਨ, ਅਤੇ Bing ਇੱਕ ਗਾਈਡ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਕਿ bingbot ਹੋਣ ਦਾ ਦਾਅਵਾ ਕਰਨ ਵਾਲਾ ਟ੍ਰੈਫਿਕ ਸੱਚਮੁੱਚ Bing ਤੋਂ ਹੈ ਜਾਂ ਨਹੀਂ ਇਹ ਕਿਵੇਂ ਜਾਂਚੀਏ। GPTBot ਨੂੰ ਭਰੋਸੇ ਨਾਲ ਪਛਾਣਨ ਦਾ ਮਤਲਬ ਹੈ ਦੋਵੇਂ ਜਾਂਚਣਾ: ਯੂਜ਼ਰ ਏਜੰਟ ਵਿਚਲਾ ਟੋਕਨ ਅਤੇ gptbot.json ਵਿਚਲਾ ਸਰੋਤ IP। ਸੂਚੀ ਵਿੱਚ ਨਾ ਹੋਣ ਵਾਲੇ ਪਤੇ ਤੋਂ ਟੋਕਨ ਵਾਲੀ ਬੇਨਤੀ ਨਕਲਚੀ ਹੈ, ਅਤੇ ਉਸਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ OpenAI 'ਤੇ ਕੋਈ ਅਸਰ ਨਹੀਂ ਪੈਂਦਾ।
ਉਲਟਾ ਵੀ ਹੁੰਦਾ ਹੈ। ਜੇ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਸਿਰਫ਼ ਯੂਜ਼ਰ ਏਜੰਟ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ, ਤਾਂ ਨਕਲਚੀ ਅੰਦਰ ਆ ਜਾਂਦੇ ਹਨ; ਜੇ ਸਿਰਫ਼ IP ਰੇਂਜ ਨੂੰ, ਤਾਂ ਉਸ ਕੰਪਨੀ ਦੇ ਨੈੱਟਵਰਕ ਤੋਂ ਹਰ ਏਜੰਟ ਨਾਲ ਇੱਕੋ ਜਿਹਾ ਵਿਹਾਰ ਹੁੰਦਾ ਹੈ, ਉਸ ਨਾਲ ਵੀ ਜਿਸਨੂੰ ਤੁਸੀਂ ਬਲੌਕ ਕਰਨਾ ਚਾਹੁੰਦੇ ਸੀ। ਦੋਵਾਂ ਦਾ ਮੇਲ ਹੀ ਭਰੋਸੇਯੋਗ ਨਿਯਮ ਹੈ।
AISeeWhy AI ਕ੍ਰੌਲਰ ਟ੍ਰੈਫਿਕ ਦੀ ਪੁਸ਼ਟੀ ਵਿੱਚ ਕਿਵੇਂ ਮਦਦ ਕਰਦਾ ਹੈ?
ਮੁਫ਼ਤ AISeeWhy AI ਕ੍ਰੌਲਰ IP ਜਾਂਚ, ਬਿਨਾਂ ਖਾਤੇ ਦੇ, ਦੱਸਦੀ ਹੈ ਕਿ ਕੋਈ IP ਪਤਾ GPTBot ਜਾਂ ਕਿਸੇ ਹੋਰ AI ਕ੍ਰੌਲਰ ਦਾ ਹੈ ਜਾਂ ਨਹੀਂ। ਫਿਰ ਮੁਫ਼ਤ ਸਾਈਟ ਜਾਂਚ ਤੁਹਾਡਾ ਪੰਨਾ ਅਸਲ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਨਾਲ 16 AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਮੰਗਦੀ ਹੈ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਦੇਖ ਸਕੋ ਕਿ ਅਸਲੀ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੀ ਮਿਲੇਗਾ।
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- AI ਕ੍ਰੌਲਰ IP ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
GPTBot ਦਾ ਯੂਜ਼ਰ ਏਜੰਟ ਕੀ ਹੈ?
OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਅਤੇ ਦੱਸਦਾ ਹੈ ਕਿ ਸੰਸਕਰਣ ਬਦਲ ਸਕਦਾ ਹੈ। GPTBot 'ਤੇ ਮੇਲ ਕਰੋ ਅਤੇ IP ਨੂੰ https://openai.com/gptbot.json ਨਾਲ ਪੱਕਾ ਕਰੋ।
OAI-SearchBot ਦਾ ਯੂਜ਼ਰ ਏਜੰਟ ਕੀ ਹੈ?
Chrome ਵਰਗੀ string ਜੋ compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot 'ਤੇ ਖ਼ਤਮ ਹੁੰਦੀ ਹੈ। ਇਸਦੇ ਪਤੇ https://openai.com/searchbot.json ਵਿੱਚ ਹਨ। OpenAI ਇਸਨੂੰ ChatGPT ਸਰਚ ਵਿੱਚ ਸਾਈਟਾਂ ਦਿਖਾਉਣ ਲਈ ਵਰਤਦਾ ਹੈ, ਜੋ GPTBot ਤੋਂ ਵੱਖਰਾ ਕੰਮ ਹੈ।
ਕੀ Anthropic ClaudeBot ਦੇ IP ਪਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ?
ਹਾਂ। Anthropic https://claude.com/crawling/bots.json ਦਾ ਲਿੰਕ ਦਿੰਦਾ ਹੈ ਅਤੇ ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸ ਸੂਚੀ ਵਿਚਲਾ ਸਰੋਤ IP ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰ Anthropic ਤੋਂ ਹੈ। ਇਸਦਾ ਮਦਦ ਲੇਖ ਬੋਟ ਟੋਕਨਾਂ ਦੇ ਨਾਮ ਦਿੰਦਾ ਹੈ ਪਰ ਪੂਰੀਆਂ ਯੂਜ਼ਰ ਏਜੰਟ strings ਨਹੀਂ।
ਕੀ ਮੈਂ ਆਪਣੇ ਲੌਗਾਂ ਵਿੱਚ Google-Extended ਜਾਂ Applebot-Extended ਦੇਖ ਸਕਦਾ ਹਾਂ?
ਨਹੀਂ। ਦੋਵੇਂ robots.txt ਟੋਕਨ ਹਨ, ਕ੍ਰੌਲਰ ਨਹੀਂ। Google ਅਤੇ Apple ਪੰਨੇ Googlebot ਅਤੇ Applebot ਨਾਲ ਲਿਆਉਂਦੇ ਹਨ ਅਤੇ ਇਹ ਟੋਕਨ ਸਿਰਫ਼ ਇਹ ਤੈਅ ਕਰਨ ਲਈ ਵਰਤਦੇ ਹਨ ਕਿ ਸਮੱਗਰੀ AI ਲਈ ਕਿਵੇਂ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ।
bingbot ਦੇ IP ਪਤਿਆਂ ਦੀ ਸੂਚੀ ਕਿੱਥੇ ਹੈ?
Bing ਇਸਨੂੰ https://www.bing.com/toolbox/bingbot.json 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਅਤੇ ਰੋਜ਼ਾਨਾ ਤਾਜ਼ਾ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ। ਇਸਦੀ ਆਪਣੀ ਗਾਈਡ reverse ਅਤੇ forward DNS ਜਾਂਚ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦੀ ਹੈ, ਜਿੱਥੇ ਨਾਮ search.msn.com 'ਤੇ ਖ਼ਤਮ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।
ਸਰੋਤ
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot