AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆ

ನಿಮ್ಮ ಸರ್ವರ್ ಲಾಗ್‌ಗಳಿಂದ IP ವಿಳಾಸವನ್ನು ಅಂಟಿಸಿ, ಅದು ಒಂದು ಕ್ರಾಲರ್‌ನ ಅಧಿಕೃತವಾಗಿ ಪ್ರಕಟಿಸಿದ IP ಶ್ರೇಣಿಗಳಲ್ಲಿದೆಯೇ ಎಂದು ನೋಡಿ. ತನ್ನನ್ನು GPTBot ಅಥವಾ PerplexityBot ಎಂದು ಕರೆದುಕೊಂಡು ಬೇರೆ ವಿಳಾಸದಿಂದ ಬರುವ ವಿನಂತಿ ಆ ಕ್ರಾಲರ್ ಅಲ್ಲ, ಮತ್ತು AI ಉತ್ತರಗಳಲ್ಲಿನ ಗೋಚರತೆಯನ್ನು ಕಳೆದುಕೊಳ್ಳದೆ ನೀವು ಅದನ್ನು ತಡೆಯಬಹುದು.

ಯಾವ ಕ್ರಾಲರ್‌ಗಳು ತಮ್ಮ IP ವಿಳಾಸಗಳನ್ನು ಪ್ರಕಟಿಸುತ್ತವೆ?

OpenAI, Perplexity, Google, Microsoft ಮತ್ತು Apple ತಮ್ಮ ಕ್ರಾಲರ್‌ಗಳ IP ಶ್ರೇಣಿಗಳನ್ನು JSON ಫೈಲ್‌ಗಳಾಗಿ ಪ್ರಕಟಿಸುತ್ತವೆ, ಅವನ್ನು ನಾವು ಪ್ರತಿದಿನ ಓದುತ್ತೇವೆ. ಇನ್ನು ಕೆಲವು AI ಕಂಪನಿಗಳು ಶ್ರೇಣಿಗಳನ್ನು ಪ್ರಕಟಿಸುವುದಿಲ್ಲ; ಅವುಗಳಿಗೆ reverse DNS ಅಥವಾ ಕಂಪನಿಯ ದಸ್ತಾವೇಜು ಮಾತ್ರ ಪರಿಶೀಲನೆಯ ದಾರಿ. ಲಾಗ್‌ನಲ್ಲಿನ ಪ್ರತಿ AI ಕ್ರಾಲರ್ ಭೇಟಿಯನ್ನು ಒಮ್ಮೆಗೇ ನೋಡಲು, ನಿಮ್ಮ AISeeWhy ಖಾತೆಯಲ್ಲಿ ಲಾಗ್ ಅಪ್‌ಲೋಡ್ ಮಾಡಿ.

ಪೂರ್ಣ ಪರಿಶೀಲನೆ ನಡೆಸಿ →

ಮಾರ್ಗದರ್ಶಿ

AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆಯನ್ನು ಹೇಗೆ ಬಳಸುವುದು

ಈ ಪಠ್ಯವನ್ನು ಇಂಗ್ಲಿಷ್‌ನಿಂದ ಯಂತ್ರದ ಮೂಲಕ ಅನುವಾದಿಸಲಾಗಿದೆ.

ಈ IP ಪರಿಶೀಲನೆ ಏನು ಮಾಡುತ್ತದೆ

ನಿಮ್ಮ ಸರ್ವರ್ ಅಥವಾ ಫೈರ್‌ವಾಲ್ ಲಾಗ್‌ಗಳಿಂದ ಒಂದು IPv4 ಅಥವಾ IPv6 ವಿಳಾಸವನ್ನು ಅಂಟಿಸಿ. ಕ್ರಾಲರ್ ನಿರ್ವಾಹಕರು ಸ್ವತಃ ಪ್ರಕಟಿಸುವ IP ಶ್ರೇಣಿಗಳಲ್ಲಿ ಪರಿಶೀಲನೆ ಅದನ್ನು ಹುಡುಕುತ್ತದೆ: GPTBot, OAI-SearchBot ಮತ್ತು ChatGPT-User ಗೆ OpenAI, PerplexityBot ಮತ್ತು Perplexity-User ಗೆ Perplexity, Googlebot ಗೆ Google, Bingbot ಗೆ Microsoft ಮತ್ತು Applebot ಗೆ Apple. ಪ್ರಕಟಿತ ಆ ಪಟ್ಟಿಗಳನ್ನು ನಾವು ಪ್ರತಿದಿನ ಓದುತ್ತೇವೆ. ಉತ್ತರವು ಆ ವಿಳಾಸ ಯಾವ ಕ್ರಾಲರ್‌ಗಳ ಶ್ರೇಣಿಗಳಲ್ಲಿದೆಯೋ ಅವೆಲ್ಲವನ್ನೂ ಹೆಸರಿಸುತ್ತದೆ, ಅಥವಾ ಯಾವುದರಲ್ಲೂ ಇಲ್ಲ ಎಂದು ಹೇಳುತ್ತದೆ.

ಫಲಿತಾಂಶವನ್ನು ಹೇಗೆ ಓದುವುದು

ಯಾರಾದರೂ GPTBot ಎಂದು ಏಕೆ ಹೇಳಿಕೊಳ್ಳಬಹುದು

ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಎಂಬುದು ಕ್ಲೈಂಟ್ ಕಳುಹಿಸುವ ಒಂದು ಪಠ್ಯ ಸಾಲು, ಮತ್ತು ಯಾರಾದರೂ ಅದರಲ್ಲಿ GPTBot ಅಥವಾ Googlebot ಎಂದು ಬರೆಯಬಹುದು. ಸರಳ ಫಿಲ್ಟರ್‌ಗಳನ್ನು ದಾಟಲು ಸ್ಕ್ರೇಪರ್‌ಗಳು ಹೀಗೆ ಮಾಡುತ್ತವೆ. ಅದಕ್ಕಾಗಿಯೇ ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಅನ್ನು ಮಾತ್ರ ನೋಡುವ ಫೈರ್‌ವಾಲ್‌ಗಳು ಎರಡೂ ದಿಕ್ಕಿನಲ್ಲಿ ಮೋಸಹೋಗಬಹುದು: ಅವು ನಕಲಿ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಒಳಗೆ ಬಿಡುತ್ತವೆ, ಅಥವಾ ನಕಲಿ ಕ್ರಾಲರ್ ವಿರುದ್ಧ ಬರೆದ ನಿಯಮ ನಿಜವಾದದ್ದನ್ನೂ ತಡೆಯುತ್ತದೆ. IP ವಿಳಾಸವನ್ನು ನಿರ್ವಾಹಕರ ಪ್ರಕಟಿತ ಪಟ್ಟಿಯೊಂದಿಗೆ ಹೋಲಿಸುವುದೇ ಅವುಗಳನ್ನು ಬೇರ್ಪಡಿಸುವ ಮಾರ್ಗ.

203.0.113.9 - - [18/Nov/2026:10:12:01 +0000] "GET /pricing/ HTTP/1.1" 200 5123 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"

ಪಟ್ಟಿಯಲ್ಲಿಲ್ಲದ ಕ್ರಾಲರ್‌ಗಳನ್ನು ದೃಢೀಕರಿಸುವುದು

ನಾವು ಓದುವ ಶ್ರೇಣಿಯನ್ನು ನಿರ್ವಾಹಕರು ಪ್ರಕಟಿಸದ ಕ್ರಾಲರ್‌ಗಳಿಗೆ, ನಿರ್ವಾಹಕರ ಸ್ವಂತ ದಸ್ತಾವೇಜನ್ನು ಬಳಸಿ. Google, Microsoft ಮತ್ತು Apple DNS ಪರಿಶೀಲನೆಯನ್ನೂ ಬೆಂಬಲಿಸುತ್ತವೆ: ವಿಳಾಸದ ಹೋಸ್ಟ್ ಹೆಸರನ್ನು ಹುಡುಕಿ, ಅದು googlebot.com, google.com, search.msn.com ಅಥವಾ applebot.apple.com ನಂತಹ ನಿರ್ವಾಹಕರ ಡೊಮೈನ್‌ನಲ್ಲಿ ಕೊನೆಗೊಳ್ಳುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ, ನಂತರ ಆ ಹೋಸ್ಟ್ ಹೆಸರನ್ನು ಮತ್ತೆ ಹುಡುಕಿ ಅದು ಅದೇ ವಿಳಾಸವನ್ನು ನೀಡುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿ.

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು

ಒಂದು ವಿಳಾಸದಿಂದ ಇಡೀ ಲಾಗ್‌ವರೆಗೆ

ಈ ಪರಿಶೀಲನೆ ಒಮ್ಮೆಗೆ ಒಂದು ವಿಳಾಸಕ್ಕೆ ಉತ್ತರಿಸುತ್ತದೆ. ನಿಮ್ಮ AISeeWhy ಖಾತೆಯಲ್ಲಿ, ಪಾವತಿಸುವ ಪ್ಲಾನ್‌ಗಳ ಸರ್ವರ್ ಲಾಗ್ ಪರಿಶೀಲನೆ ಇಡೀ ಆಕ್ಸೆಸ್ ಲಾಗ್ ಅನ್ನು ಓದಿ, ಪ್ರತಿ AI ಕ್ರಾಲರ್‌ನ ಭೇಟಿಗಳನ್ನು ಎಣಿಸಿ, ಈ ಪ್ರಕಟಿತ ಶ್ರೇಣಿಗಳ ಮೂಲಕ ನಿಜವಾದ ಕ್ರಾಲರ್‌ಗಳನ್ನು ನಕಲಿಗಳಿಂದ ಬೇರ್ಪಡಿಸಿ, ನಿಮ್ಮ ಸರ್ವರ್ ಅವುಗಳಿಗೆ ಹೇಗೆ ಉತ್ತರಿಸಿತು ಎಂದು ತೋರಿಸುತ್ತದೆ.

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

ಈ ಪರಿಶೀಲನೆಯಲ್ಲಿ ClaudeBot ಕಾಣಿಸುತ್ತದೆಯೇ?

ಸದ್ಯಕ್ಕೆ ಇಲ್ಲ: ನಾವು ಓದುವ ಪ್ರಕಟಿತ ಶ್ರೇಣಿ ಫೈಲ್‌ಗಳಿರುವ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಪರಿಶೀಲನೆ ಒಳಗೊಳ್ಳುತ್ತದೆ, ಅವುಗಳನ್ನು ಫಲಿತಾಂಶದ ಕೆಳಗೆ ಪಟ್ಟಿ ಮಾಡಲಾಗಿದೆ. ಇತರ ಕ್ರಾಲರ್‌ಗಳಿಗೆ, ನಿರ್ವಾಹಕರ ದಸ್ತಾವೇಜನ್ನು ಅನುಸರಿಸಿ.

ಒಂದು ವಿಳಾಸ Googlebot ಶ್ರೇಣಿಯಲ್ಲಿದೆ ಆದರೆ ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಬೇರೆ ಹೇಳುತ್ತದೆ. ಇದರ ಅರ್ಥವೇನು?

ವಿನಂತಿ Google ನ ನೆಟ್‌ವರ್ಕ್‌ನಿಂದ ಬಂದಿದೆ. Google ಹಲವು ಕ್ರಾಲರ್‌ಗಳು ಮತ್ತು ಫೆಚರ್‌ಗಳನ್ನು ನಡೆಸುತ್ತದೆ; ಯಾವುದು ಎಂದು ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಹೇಳುತ್ತದೆ. ಇದು Google ಎಂದು ನಟಿಸಿದ ಮೂರನೇ ವ್ಯಕ್ತಿಯಲ್ಲ.

ಒಮ್ಮೆಗೇ ಹಲವು ವಿಳಾಸಗಳನ್ನು ಪರಿಶೀಲಿಸಬಹುದೇ?

ಈ ಉಚಿತ ಉಪಕರಣದಿಂದ ಅಲ್ಲ. ಅದರಲ್ಲಿನ ಪ್ರತಿ ಭೇಟಿಯನ್ನು ಪರಿಶೀಲಿಸಲು ಲಾಗ್ ಅನ್ನು ನಿಮ್ಮ ಖಾತೆಯಲ್ಲಿ ಅಪ್‌ಲೋಡ್ ಮಾಡಿ.

ನಾನು ನಮೂದಿಸುವ ವಿಳಾಸವನ್ನು ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆಯೇ?

ಪರಿಶೀಲನೆಗೆ ಉತ್ತರಿಸಲು ಅದನ್ನು ಬಳಸಲಾಗುತ್ತದೆ ಮತ್ತು ನಿಮ್ಮ ವಿನಂತಿಯೊಂದಿಗೆ ಉಳಿಸಲಾಗುವುದಿಲ್ಲ.

ಸಂಬಂಧಿತ ಉಪಕರಣಗಳು ಮತ್ತು ಮಾರ್ಗದರ್ಶಿಗಳು