AI ಕ್ರಾಲರ್ user agent ಗಳು ಮತ್ತು IP ಶ್ರೇಣಿಗಳು: GPTBot, ClaudeBot, PerplexityBot ಮತ್ತು ಇತರವು
GPTBot ತನ್ನನ್ನು GPTBot/1.4; +https://openai.com/gptbot ಇರುವ user agent ನಿಂದ ಗುರುತಿಸಿಕೊಳ್ಳುತ್ತದೆ, ಮತ್ತು OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple ಹಾಗೂ Common Crawl ತಮ್ಮ ಕ್ರಾಲರ್ಗಳು ಬಳಸುವ IP ಶ್ರೇಣಿಗಳ JSON ಪಟ್ಟಿಯನ್ನು ಪ್ರಕಟಿಸುತ್ತವೆ. ಎರಡೂ ಹೊಂದಿದಾಗ ಮಾತ್ರ ವಿನಂತಿ ನಿಜ: user agent ಕ್ರಾಲರ್ ಅನ್ನು ಹೆಸರಿಸುತ್ತದೆ ಮತ್ತು ಮೂಲ IP ಆ ಮಾರಾಟಗಾರರ ಪಟ್ಟಿಯಲ್ಲಿದೆ, ಅಥವಾ Googlebot, bingbot, Applebot ಮತ್ತು CCBot ಗೆ reverse ಮತ್ತು forward DNS ಪರಿಶೀಲನೆಯಲ್ಲಿ ಪಾಸ್ ಆಗುತ್ತದೆ. user agent ಒಂದೇ ಏನನ್ನೂ ಸಾಬೀತುಪಡಿಸುವುದಿಲ್ಲ, ಏಕೆಂದರೆ ಯಾರು ಬೇಕಾದರೂ ಅದನ್ನು ಕಳುಹಿಸಬಹುದು.
ನಿಮ್ಮ ಲಾಗ್ಗಳಲ್ಲಿ GPTBot ಅಥವಾ ClaudeBot ಕಂಡಾಗ, ಅಥವಾ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳನ್ನು ಒಳಬಿಡುವ ಫೈರ್ವಾಲ್ ನಿಯಮ ಬೇಕಾದಾಗ, ನಿಮಗೆ ಎರಡು ವಿಷಯಗಳು ಬೇಕು: ಪ್ರತಿ ಕ್ರಾಲರ್ ಕಳುಹಿಸುವ ನಿಖರ ಸ್ಟ್ರಿಂಗ್, ಮತ್ತು ವಿನಂತಿ ಅದು ಹೆಸರಿಸುವ ಕಂಪನಿಯಿಂದಲೇ ಬಂದಿದೆ ಎಂದು ಸಾಬೀತುಪಡಿಸುವ ವಿಧಾನ. ಪ್ರತಿ ಮಾರಾಟಗಾರ ಇಂದು ಪ್ರಕಟಿಸುವ ಸ್ಟ್ರಿಂಗ್ಗಳು, ಪ್ರತಿಯೊಂದಕ್ಕೂ ಅಧಿಕೃತ IP ಪಟ್ಟಿ ಅಥವಾ DNS ವಿಧಾನ, ಮತ್ತು ವಿಳಾಸವನ್ನು ಪರಿಶೀಲಿಸಲು ನೀವು ಚಲಾಯಿಸಬಹುದಾದ ಎರಡು ಸ್ಕ್ರಿಪ್ಟ್ಗಳು ಕೆಳಗಿವೆ.
ಈ ಪುಟದಲ್ಲಿ
- GPTBot, ClaudeBot, PerplexityBot ಮತ್ತು ಇತರ AI ಕ್ರಾಲರ್ಗಳ user agent ಸ್ಟ್ರಿಂಗ್ಗಳು ಯಾವುವು?
- ಯಾವ ಕ್ರಾಲರ್ ಏನು ಮಾಡುತ್ತದೆ, ಮತ್ತು ಯಾವ ಹೆಸರುಗಳು ಕೇವಲ robots.txt ಟೋಕನ್ಗಳು?
- AI ಕ್ರಾಲರ್ ಮಾರಾಟಗಾರರು ತಮ್ಮ IP ಶ್ರೇಣಿಗಳನ್ನು ಎಲ್ಲಿ ಪ್ರಕಟಿಸುತ್ತಾರೆ?
- ಅಧಿಕೃತ ಕ್ರಾಲರ್ ಪಟ್ಟಿಗಳ ವಿರುದ್ಧ IP ವಿಳಾಸವನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
- Googlebot, bingbot ಅಥವಾ Applebot ಅನ್ನು reverse DNS ನಿಂದ ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
- GPTBot ಪತ್ತೆಗೆ user agent ಪರಿಶೀಲನೆ ಏಕೆ ಸಾಕಾಗುವುದಿಲ್ಲ?
- AI ಕ್ರಾಲರ್ ಟ್ರಾಫಿಕ್ ಪರಿಶೀಲಿಸಲು AISeeWhy ಹೇಗೆ ನೆರವಾಗುತ್ತದೆ?
GPTBot, ClaudeBot, PerplexityBot ಮತ್ತು ಇತರ AI ಕ್ರಾಲರ್ಗಳ user agent ಸ್ಟ್ರಿಂಗ್ಗಳು ಯಾವುವು?
ಇವನ್ನು ಮಾರಾಟಗಾರರ ಸ್ವಂತ ದಾಖಲೆಗಳಿಂದ ನಕಲಿಸಲಾಗಿದೆ. ಆವೃತ್ತಿ ಸಂಖ್ಯೆಗಳು ಬದಲಾಗಬಹುದು ಎಂದು OpenAI ಮತ್ತು Perplexity ಹೇಳುತ್ತವೆ, Google ಮತ್ತು Microsoft W.X.Y.Z ಇರುವಲ್ಲಿ ಪ್ರಸ್ತುತ ಬ್ರೌಸರ್ ಆವೃತ್ತಿಯನ್ನು ಇಡುತ್ತವೆ, ಮತ್ತು ಬ್ರೌಸರ್ ಭಾಗವನ್ನು ಆಗಾಗ ನವೀಕರಿಸುವುದಾಗಿ Apple ಹೇಳುತ್ತದೆ. ಸಂಪೂರ್ಣ ಸ್ಟ್ರಿಂಗ್ ಅಲ್ಲ, GPTBot ಅಥವಾ bingbot ನಂತಹ ಕ್ರಾಲರ್ ಟೋಕನ್ ಮೇಲೆ ಹೊಂದಿಸಿ.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropic ನ ಸಹಾಯ ಲೇಖನ ClaudeBot, Claude-SearchBot ಮತ್ತು Claude-User ಅನ್ನು ಹೆಸರಿಸುತ್ತದೆ, ಆದರೆ ಸಂಪೂರ್ಣ user agent ಸ್ಟ್ರಿಂಗ್ಗಳನ್ನು ನೀಡುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಆ ಟೋಕನ್ಗಳ ಮೇಲೆ ಹೊಂದಿಸಿ. Meta ನ ಕ್ರಾಲರ್ ಪುಟ ತೋರಿಸಿದ ಟೋಕನ್ಗಳಿಂದ ಆರಂಭವಾಗಿ ಅದರ ದಾಖಲೆಯ ಲಿಂಕ್ನೊಂದಿಗೆ ಮುಂದುವರಿಯುವ ಸ್ಟ್ರಿಂಗ್ಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ, ಮತ್ತು ನಿಮ್ಮ ಲಾಗ್ಗಳಲ್ಲಿ ಕಾಣುವ ಸ್ಟ್ರಿಂಗ್ಗಳು ಸ್ವಲ್ಪ ಬೇರೆಯಾಗಿರಬಹುದು ಎಂದು ಹೇಳುತ್ತದೆ.
ಯಾವ ಕ್ರಾಲರ್ ಏನು ಮಾಡುತ್ತದೆ, ಮತ್ತು ಯಾವ ಹೆಸರುಗಳು ಕೇವಲ robots.txt ಟೋಕನ್ಗಳು?
GPTBotOpenAI ನ ಮೂಲ ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸಬಹುದಾದ ವಿಷಯ ಸಂಗ್ರಹಿಸುತ್ತದೆ.OAI-SearchBotChatGPT ಹುಡುಕಾಟದಲ್ಲಿ ಸೈಟ್ಗಳನ್ನು ತೋರಿಸುತ್ತದೆ.ChatGPT-Userಬಳಕೆದಾರ ಆರಂಭಿಸುವ ಕ್ರಿಯೆಗಳಿಗೆ ಪುಟಗಳನ್ನು ಪಡೆಯುತ್ತದೆ, ಮತ್ತು robots.txt ನಿಯಮಗಳು ಅದಕ್ಕೆ ಅನ್ವಯಿಸದಿರಬಹುದು ಎಂದು OpenAI ಹೇಳುತ್ತದೆ.OAI-AdsBotChatGPT ಜಾಹೀರಾತುಗಳಾಗಿ ಸಲ್ಲಿಸಿದ ಪುಟಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ.ClaudeBotAnthropic ನ ಮಾದರಿಗಳಿಗೆ ಡೇಟಾ ಸಂಗ್ರಹಿಸುತ್ತದೆ,Claude-SearchBotಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳನ್ನು ಸುಧಾರಿಸುತ್ತದೆ, ಮತ್ತು ವ್ಯಕ್ತಿಯೊಬ್ಬರು Claude ಗೆ ಪ್ರಶ್ನೆ ಕೇಳಿದಾಗClaude-Userಪುಟಗಳನ್ನು ಪಡೆಯುತ್ತದೆ.PerplexityBotPerplexity ಹುಡುಕಾಟದಲ್ಲಿ ಸೈಟ್ಗಳನ್ನು ತೋರಿಸಿ ಲಿಂಕ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಮೂಲ ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸಲ್ಪಡುವುದಿಲ್ಲ. ಬಳಕೆದಾರ ಪ್ರಶ್ನೆ ಕೇಳಿದಾಗPerplexity-Userಪುಟಗಳನ್ನು ಪಡೆಯುತ್ತದೆ.meta-externalagentAI ಮಾದರಿಗಳ ತರಬೇತಿ ಅಥವಾ ವಿಷಯ ಇಂಡೆಕ್ಸಿಂಗ್ಗಾಗಿ ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ,meta-webindexerMeta AI ಹುಡುಕಾಟಕ್ಕಾಗಿ ವಿಷಯ ಇಂಡೆಕ್ಸ್ ಮಾಡುತ್ತದೆ, ಮತ್ತುmeta-externalfetcherಬಳಕೆದಾರರ ಕೋರಿಕೆಯ ಮೇರೆಗೆ ಲಿಂಕ್ಗಳನ್ನು ಪಡೆಯುತ್ತದೆ.CCBotಸಾರ್ವಜನಿಕ ವೆಬ್ ಆರ್ಕೈವ್ ಆದ Common Crawl ನ ಕ್ರಾಲರ್.
ಎರಡು ಹೆಸರುಗಳು ನಿಮ್ಮ ಲಾಗ್ಗಳಲ್ಲಿ ಎಂದಿಗೂ ಕಾಣುವುದಿಲ್ಲ. Google-Extended ಒಂದು robots.txt ಟೋಕನ್, Google ಕ್ರಾಲ್ ಮಾಡುವ ವಿಷಯವನ್ನು Gemini ಮಾದರಿಗಳು ಮತ್ತು grounding ಗೆ ಬಳಸಬಹುದೇ ಎಂದು ಅದು ನಿಯಂತ್ರಿಸುತ್ತದೆ; ಅದು Google Search ನಲ್ಲಿ ಸೇರ್ಪಡೆಯ ಮೇಲೆ ಪ್ರಭಾವ ಬೀರುವುದಿಲ್ಲ ಎಂದು Google ಹೇಳುತ್ತದೆ. Applebot-Extended, Apple ನ ಮಾತಿನಲ್ಲಿ, ವೆಬ್ ಪುಟಗಳನ್ನು ಕ್ರಾಲ್ ಮಾಡದ ದ್ವಿತೀಯ user agent; Applebot ಸಂಗ್ರಹಿಸಿದ ಡೇಟಾವನ್ನು Apple ಹೇಗೆ ಬಳಸಬಹುದು ಎಂದು ಮಾತ್ರ ಅದು ನಿರ್ಧರಿಸುತ್ತದೆ. ಇವುಗಳಲ್ಲಿ ಯಾವುದೆಂದು ಹೇಳಿಕೊಳ್ಳುವ ವಿನಂತಿ ನಿಜವಲ್ಲ.
AI ಕ್ರಾಲರ್ ಮಾರಾಟಗಾರರು ತಮ್ಮ IP ಶ್ರೇಣಿಗಳನ್ನು ಎಲ್ಲಿ ಪ್ರಕಟಿಸುತ್ತಾರೆ?
ಹೆಚ್ಚಿನ ಮಾರಾಟಗಾರರು ಒಂದೇ ಆಕಾರದ JSON ಫೈಲ್ ಪ್ರಕಟಿಸುತ್ತಾರೆ: ipv4Prefix ಅಥವಾ ipv6Prefix ಇರುವ ವಸ್ತುಗಳ prefixes ಅರೇ, ಜೊತೆಗೆ ಅದು ಎಷ್ಟು ತಾಜಾ ಎಂದು ಹೇಳುವ creationTime.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonಮತ್ತುhttps://openai.com/adsbot.json, ಪ್ರತಿ ಏಜೆಂಟ್ಗೆ ಒಂದು. - Anthropic:
https://claude.com/crawling/bots.json, ಅದರ ಕ್ರಾಲರ್ಗಳಿಗೆ ಒಂದೇ ಪಟ್ಟಿ. ಈ ಪಟ್ಟಿಯಲ್ಲಿರುವ ವಿಳಾಸ ಕ್ರಾಲರ್ Anthropic ನಿಂದ ಬಂದಿದೆ ಎಂದು ತೋರಿಸುತ್ತದೆ ಎಂದೂ, IP ತಡೆ ಹೊರಗುಳಿಯುವಿಕೆಯನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಖಾತರಿಪಡಿಸದಿರಬಹುದು ಎಂದೂ Anthropic ಹೇಳುತ್ತದೆ. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonಮತ್ತುhttps://www.perplexity.ai/perplexity-user.json. - Google: Googlebot ಗೆ
https://developers.google.com/static/crawling/ipranges/common-crawlers.json, ವಿಶೇಷ ಸಂದರ್ಭದ ಕ್ರಾಲರ್ಗಳು ಮತ್ತು ಬಳಕೆದಾರ ಪ್ರಚೋದಿತ fetcher ಗಳಿಗೆ ಪ್ರತ್ಯೇಕ ಫೈಲ್ಗಳೊಂದಿಗೆ. Reverse DNS ಕೂಡ ಕೆಲಸ ಮಾಡುತ್ತದೆ. - Apple:
https://search.developer.apple.com/applebot.json, ಅಥವಾapplebot.apple.comನಲ್ಲಿ reverse DNS. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. IPv4 ಗೆ ಅದುcrawl.commoncrawl.orgಅಡಿಯಲ್ಲಿ forward ದೃಢೀಕರಿಸಿದ reverse DNS ಅನ್ನೂ ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ; IPv6 ವಿಳಾಸಗಳಿಗೆ reverse DNS ಇಲ್ಲ. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, ಅದು ಯಾವಾಗ ಬೇಕಾದರೂ ಬದಲಾಗಬಹುದಾದ್ದರಿಂದ ಪ್ರತಿದಿನ ರಿಫ್ರೆಶ್ ಮಾಡಲು Bing ಕೇಳುತ್ತದೆ, ಅಥವಾsearch.msn.comನಲ್ಲಿ ಕೊನೆಗೊಳ್ಳುವ reverse DNS. Bing ಸಾರ್ವಜನಿಕ Verify Bingbot ಉಪಕರಣವನ್ನೂ ನೀಡುತ್ತದೆ. - Meta: ಅದರ ಕ್ರಾಲರ್ ಪುಟ IP ಪಟ್ಟಿಯನ್ನು ಪ್ರಕಟಿಸುವುದಿಲ್ಲ.
ಅಧಿಕೃತ ಕ್ರಾಲರ್ ಪಟ್ಟಿಗಳ ವಿರುದ್ಧ IP ವಿಳಾಸವನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
ಈ ಸ್ಕ್ರಿಪ್ಟ್ ಪ್ರತಿ ಪಟ್ಟಿಯನ್ನು ಲೋಡ್ ಮಾಡಿ ವಿಳಾಸ ಯಾವುದರಲ್ಲಿದೆ ಎಂದು ವರದಿ ಮಾಡುತ್ತದೆ. ಅದಕ್ಕೆ Python 3 ಮಾತ್ರ ಸಾಕು, ಮತ್ತು ಅದು IPv4 ಹಾಗೂ IPv6 ಎರಡನ್ನೂ ನಿರ್ವಹಿಸುತ್ತದೆ.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF ಪಟ್ಟಿಗಳು ಬದಲಾಗುತ್ತವೆ. ಪ್ರತಿ ಫೈಲ್ಗೆ ತನ್ನದೇ creationTime ಇದೆ, ಫೈರ್ವಾಲ್ ನಿಯಮಗಳ ನವೀಕರಣವನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಲು Perplexity ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ, ಮತ್ತು ತನ್ನ ಪಟ್ಟಿಯನ್ನು ಪ್ರತಿದಿನ ರಿಫ್ರೆಶ್ ಮಾಡಲು Bing ಕೇಳುತ್ತದೆ. ಪಟ್ಟಿಗಳನ್ನು ಫೈರ್ವಾಲ್ನಲ್ಲಿ ಬಳಸಿದರೆ, ಒಮ್ಮೆ ನಕಲಿಸುವ ಬದಲು ನಿಗದಿತ ಅಂತರದಲ್ಲಿ ಪಡೆಯಿರಿ.
Googlebot, bingbot ಅಥವಾ Applebot ಅನ್ನು reverse DNS ನಿಂದ ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
Google, Microsoft, Apple ಮತ್ತು Common Crawl ಒಂದೇ ಎರಡು ಹಂತದ ಪರಿಶೀಲನೆಯನ್ನು ದಾಖಲಿಸುತ್ತವೆ: IP ವಿಳಾಸದ ಹೆಸರನ್ನು ಹುಡುಕಿ, ಅದು ಮಾರಾಟಗಾರರ ಡೊಮೇನ್ನಲ್ಲಿ ಕೊನೆಗೊಳ್ಳುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿ, ನಂತರ ಆ ಹೆಸರನ್ನು ಹುಡುಕಿ ಅದು ಅದೇ IP ನೀಡುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿ. ಎರಡೂ ಹಂತಗಳು ಮುಖ್ಯ, ಏಕೆಂದರೆ IP ಶ್ರೇಣಿಯನ್ನು ನಿಯಂತ್ರಿಸುವ ಯಾರಾದರೂ ಬೇಕಾದ reverse DNS ಹೆಸರು ಹೊಂದಿಸಬಹುದು, ಆದರೆ ಮಾರಾಟಗಾರರ ಡೊಮೇನ್ ಅದರತ್ತ ಮರಳಿ ತೋರುವಂತೆ ಮಾಡಲಾಗದು.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google ತನ್ನ ಕ್ರಾಲರ್ ಪ್ರಕಾರಗಳಾದ್ಯಂತ googlebot.com, google.com ಮತ್ತು googleusercontent.com ಅನ್ನು ಸ್ವೀಕರಿಸುತ್ತದೆ; ಮೇಲಿನ ಫಂಕ್ಷನ್ googlebot.com ಅನ್ನು ಮಾತ್ರ ಸ್ವೀಕರಿಸುತ್ತದೆ, Google ನ ಉದಾಹರಣೆಗಳಲ್ಲಿ Googlebot ಸ್ವತಃ ಬಳಸುವುದು ಅದನ್ನೇ. Google ನ ಇತರ ಕ್ರಾಲರ್ಗಳು ಮತ್ತು fetcher ಗಳಿಗೆ ಅದರ JSON ಪಟ್ಟಿಗಳನ್ನು ಬಳಸಿ. DNS ಲುಕಪ್ಗಳಿಗೆ ಸಮಯ ಹಿಡಿಯುತ್ತದೆ, ಆದ್ದರಿಂದ ಪ್ರತಿ ಲೈವ್ ವಿನಂತಿಯಲ್ಲಿ ಅಲ್ಲ, ಲಾಗ್ ಪರಿಶೀಲಿಸುವಾಗ ಚಲಾಯಿಸಿ ಅಥವಾ ಫಲಿತಾಂಶವನ್ನು ಕ್ಯಾಶ್ ಮಾಡಿ.
GPTBot ಪತ್ತೆಗೆ user agent ಪರಿಶೀಲನೆ ಏಕೆ ಸಾಕಾಗುವುದಿಲ್ಲ?
user agent ಎಂಬುದು ಕ್ಲೈಂಟ್ ಆರಿಸುವ ಹೆಡರ್, ಆದ್ದರಿಂದ ಯಾರು ಬೇಕಾದರೂ GPTBot ಅಥವಾ Googlebot ಕಳುಹಿಸಬಹುದು. ಕೆಲವು ಕ್ರಾಲರ್ಗಳು ತಪ್ಪಾಗಿ CCBot ಎಂದು ಹೇಳಿಕೊಳ್ಳುತ್ತವೆ ಎಂದು Common Crawl ಎಚ್ಚರಿಸುತ್ತದೆ, ಮತ್ತು bingbot ಎಂದು ಹೇಳಿಕೊಳ್ಳುವ ಟ್ರಾಫಿಕ್ ನಿಜವಾಗಿ Bing ನಿಂದ ಬರುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸುವ ಮಾರ್ಗದರ್ಶಿಯನ್ನು Bing ಪ್ರಕಟಿಸುತ್ತದೆ. GPTBot ಅನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಪತ್ತೆ ಮಾಡುವುದು ಎಂದರೆ ಎರಡನ್ನೂ ಪರಿಶೀಲಿಸುವುದು: user agent ನಲ್ಲಿನ ಟೋಕನ್ ಮತ್ತು gptbot.json ನಲ್ಲಿನ ಮೂಲ IP. ಪಟ್ಟಿಯಲ್ಲಿಲ್ಲದ ವಿಳಾಸದಿಂದ ಟೋಕನ್ ಇರುವ ವಿನಂತಿ ನಕಲಿ, ಮತ್ತು ಅದನ್ನು ತಡೆದರೆ OpenAI ಮೇಲೆ ಪರಿಣಾಮವಿಲ್ಲ.
ಇದರ ವಿರುದ್ಧವೂ ಆಗುತ್ತದೆ. ನಿಮ್ಮ ಫೈರ್ವಾಲ್ user agent ಅನ್ನು ಮಾತ್ರ ಅನುಮತಿಸಿದರೆ ನಕಲಿಗಳು ಒಳಬರುತ್ತವೆ; IP ಶ್ರೇಣಿಯನ್ನು ಮಾತ್ರ ಅನುಮತಿಸಿದರೆ, ಆ ಮಾರಾಟಗಾರರ ನೆಟ್ವರ್ಕ್ನ ಯಾವುದೇ ಏಜೆಂಟ್ಗೆ, ನೀವು ತಡೆಯಲು ಬಯಸಿದ್ದಕ್ಕೂ, ಅದೇ ವರ್ತನೆ ಸಿಗುತ್ತದೆ. ಎರಡನ್ನೂ ಹೊಂದಿಸುವುದೇ ವಿಶ್ವಾಸಾರ್ಹ ನಿಯಮ.
AI ಕ್ರಾಲರ್ ಟ್ರಾಫಿಕ್ ಪರಿಶೀಲಿಸಲು AISeeWhy ಹೇಗೆ ನೆರವಾಗುತ್ತದೆ?
ಉಚಿತ AISeeWhy AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆ, ಖಾತೆ ಇಲ್ಲದೆ, IP ವಿಳಾಸ GPTBot ಅಥವಾ ಇನ್ನೊಂದು AI ಕ್ರಾಲರ್ಗೆ ಸೇರಿದೆಯೇ ಎಂದು ತಿಳಿಸುತ್ತದೆ. ನಂತರ ಉಚಿತ ಸೈಟ್ ಪರಿಶೀಲನೆ ನಿಜವಾದ ಬ್ರೌಸರ್ನ ಜೊತೆಗೆ 16 AI ಮತ್ತು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳಾಗಿ ನಿಮ್ಮ ಪುಟವನ್ನು ವಿನಂತಿಸುತ್ತದೆ, ಇದರಿಂದ ನಿಜವಾದ ಕ್ರಾಲರ್ಗಳಿಗೆ ಏನು ಸಿಗುತ್ತದೆ ಎಂದು ನೋಡಬಹುದು.
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆ
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
GPTBot user agent ಯಾವುದು?
OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot ಅನ್ನು ಪ್ರಕಟಿಸುತ್ತದೆ ಮತ್ತು ಆವೃತ್ತಿ ಬದಲಾಗಬಹುದು ಎಂದು ಹೇಳುತ್ತದೆ. GPTBot ಮೇಲೆ ಹೊಂದಿಸಿ ಮತ್ತು IP ಅನ್ನು https://openai.com/gptbot.json ವಿರುದ್ಧ ಖಚಿತಪಡಿಸಿ.
OAI-SearchBot user agent ಯಾವುದು?
compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot ನಲ್ಲಿ ಕೊನೆಗೊಳ್ಳುವ Chrome ಶೈಲಿಯ ಸ್ಟ್ರಿಂಗ್. ಅದರ ವಿಳಾಸಗಳು https://openai.com/searchbot.json ನಲ್ಲಿ ಪಟ್ಟಿಯಾಗಿವೆ. OpenAI ಅದನ್ನು ChatGPT ಹುಡುಕಾಟದಲ್ಲಿ ಸೈಟ್ಗಳನ್ನು ತೋರಿಸಲು ಬಳಸುತ್ತದೆ, ಇದು GPTBot ಗಿಂತ ಬೇರೆ ಕೆಲಸ.
Anthropic ClaudeBot IP ವಿಳಾಸಗಳನ್ನು ಪ್ರಕಟಿಸುತ್ತದೆಯೇ?
ಹೌದು. Anthropic https://claude.com/crawling/bots.json ಗೆ ಲಿಂಕ್ ನೀಡುತ್ತದೆ ಮತ್ತು ಆ ಪಟ್ಟಿಯಲ್ಲಿರುವ ಮೂಲ IP ಕ್ರಾಲರ್ Anthropic ನದು ಎಂದು ತೋರಿಸುತ್ತದೆ ಎಂದು ಹೇಳುತ್ತದೆ. ಅದರ ಸಹಾಯ ಲೇಖನ ಬಾಟ್ ಟೋಕನ್ಗಳನ್ನು ಹೆಸರಿಸುತ್ತದೆ, ಆದರೆ ಸಂಪೂರ್ಣ user agent ಸ್ಟ್ರಿಂಗ್ಗಳನ್ನು ಅಲ್ಲ.
ನನ್ನ ಲಾಗ್ಗಳಲ್ಲಿ Google-Extended ಅಥವಾ Applebot-Extended ಕಾಣಬಹುದೇ?
ಇಲ್ಲ. ಎರಡೂ robots.txt ಟೋಕನ್ಗಳು, ಕ್ರಾಲರ್ಗಳಲ್ಲ. Google ಮತ್ತು Apple ಪುಟಗಳನ್ನು Googlebot ಮತ್ತು Applebot ನಿಂದ ಪಡೆಯುತ್ತವೆ ಮತ್ತು ವಿಷಯವನ್ನು AI ಗೆ ಹೇಗೆ ಬಳಸಬಹುದು ಎಂದು ನಿರ್ಧರಿಸಲು ಮಾತ್ರ ಈ ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತವೆ.
bingbot IP ವಿಳಾಸ ಪಟ್ಟಿ ಎಲ್ಲಿದೆ?
Bing ಅದನ್ನು https://www.bing.com/toolbox/bingbot.json ನಲ್ಲಿ ಪ್ರಕಟಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರತಿದಿನ ರಿಫ್ರೆಶ್ ಮಾಡಲು ಕೇಳುತ್ತದೆ. ಅದರ ಸ್ವಂತ ಮಾರ್ಗದರ್ಶಿ reverse ಮತ್ತು forward DNS ಪರಿಶೀಲನೆಯನ್ನು ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ, ಅಲ್ಲಿ ಹೆಸರು search.msn.com ನಲ್ಲಿ ಕೊನೆಗೊಳ್ಳಬೇಕು.
ಮೂಲಗಳು
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot