ನಿಮ್ಮ ಸರ್ವರ್ ಲಾಗ್ಗಳಿಂದ IP ವಿಳಾಸವನ್ನು ಅಂಟಿಸಿ, ಅದು ಒಂದು ಕ್ರಾಲರ್ನ ಅಧಿಕೃತವಾಗಿ ಪ್ರಕಟಿಸಿದ IP ಶ್ರೇಣಿಗಳಲ್ಲಿದೆಯೇ ಎಂದು ನೋಡಿ. ತನ್ನನ್ನು GPTBot ಅಥವಾ PerplexityBot ಎಂದು ಕರೆದುಕೊಂಡು ಬೇರೆ ವಿಳಾಸದಿಂದ ಬರುವ ವಿನಂತಿ ಆ ಕ್ರಾಲರ್ ಅಲ್ಲ, ಮತ್ತು AI ಉತ್ತರಗಳಲ್ಲಿನ ಗೋಚರತೆಯನ್ನು ಕಳೆದುಕೊಳ್ಳದೆ ನೀವು ಅದನ್ನು ತಡೆಯಬಹುದು.
ಯಾವ ಕ್ರಾಲರ್ಗಳು ತಮ್ಮ IP ವಿಳಾಸಗಳನ್ನು ಪ್ರಕಟಿಸುತ್ತವೆ?
OpenAI, Perplexity, Google, Microsoft ಮತ್ತು Apple ತಮ್ಮ ಕ್ರಾಲರ್ಗಳ IP ಶ್ರೇಣಿಗಳನ್ನು JSON ಫೈಲ್ಗಳಾಗಿ ಪ್ರಕಟಿಸುತ್ತವೆ, ಅವನ್ನು ನಾವು ಪ್ರತಿದಿನ ಓದುತ್ತೇವೆ. ಇನ್ನು ಕೆಲವು AI ಕಂಪನಿಗಳು ಶ್ರೇಣಿಗಳನ್ನು ಪ್ರಕಟಿಸುವುದಿಲ್ಲ; ಅವುಗಳಿಗೆ reverse DNS ಅಥವಾ ಕಂಪನಿಯ ದಸ್ತಾವೇಜು ಮಾತ್ರ ಪರಿಶೀಲನೆಯ ದಾರಿ. ಲಾಗ್ನಲ್ಲಿನ ಪ್ರತಿ AI ಕ್ರಾಲರ್ ಭೇಟಿಯನ್ನು ಒಮ್ಮೆಗೇ ನೋಡಲು, ನಿಮ್ಮ AISeeWhy ಖಾತೆಯಲ್ಲಿ ಲಾಗ್ ಅಪ್ಲೋಡ್ ಮಾಡಿ.
ಈ ಪಠ್ಯವನ್ನು ಇಂಗ್ಲಿಷ್ನಿಂದ ಯಂತ್ರದ ಮೂಲಕ ಅನುವಾದಿಸಲಾಗಿದೆ.
ಈ IP ಪರಿಶೀಲನೆ ಏನು ಮಾಡುತ್ತದೆ
ನಿಮ್ಮ ಸರ್ವರ್ ಅಥವಾ ಫೈರ್ವಾಲ್ ಲಾಗ್ಗಳಿಂದ ಒಂದು IPv4 ಅಥವಾ IPv6 ವಿಳಾಸವನ್ನು ಅಂಟಿಸಿ. ಕ್ರಾಲರ್ ನಿರ್ವಾಹಕರು ಸ್ವತಃ ಪ್ರಕಟಿಸುವ IP ಶ್ರೇಣಿಗಳಲ್ಲಿ ಪರಿಶೀಲನೆ ಅದನ್ನು ಹುಡುಕುತ್ತದೆ: GPTBot, OAI-SearchBot ಮತ್ತು ChatGPT-User ಗೆ OpenAI, PerplexityBot ಮತ್ತು Perplexity-User ಗೆ Perplexity, Googlebot ಗೆ Google, Bingbot ಗೆ Microsoft ಮತ್ತು Applebot ಗೆ Apple. ಪ್ರಕಟಿತ ಆ ಪಟ್ಟಿಗಳನ್ನು ನಾವು ಪ್ರತಿದಿನ ಓದುತ್ತೇವೆ. ಉತ್ತರವು ಆ ವಿಳಾಸ ಯಾವ ಕ್ರಾಲರ್ಗಳ ಶ್ರೇಣಿಗಳಲ್ಲಿದೆಯೋ ಅವೆಲ್ಲವನ್ನೂ ಹೆಸರಿಸುತ್ತದೆ, ಅಥವಾ ಯಾವುದರಲ್ಲೂ ಇಲ್ಲ ಎಂದು ಹೇಳುತ್ತದೆ.
ಫಲಿತಾಂಶವನ್ನು ಹೇಗೆ ಓದುವುದು
ಒಂದು ಕ್ರಾಲರ್ನ ಪ್ರಕಟಿತ ಶ್ರೇಣಿಗಳಲ್ಲಿದೆ: ವಿನಂತಿ ಆ ನಿರ್ವಾಹಕರ ನೆಟ್ವರ್ಕ್ನಿಂದ ಬಂದಿದೆ. ಹೊಂದುವ ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಜೊತೆಗೆ, ಅದು ನಿಜವಾದ ಕ್ರಾಲರ್ ಎಂಬುದಕ್ಕೆ ಬಲವಾದ ಪುರಾವೆ.
ಯಾವ ಪ್ರಕಟಿತ ಶ್ರೇಣಿಯಲ್ಲೂ ಇಲ್ಲ: ವಿನಂತಿಯು ಪಟ್ಟಿಯಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳಲ್ಲಿ ಒಂದು ಎಂದು ಹೇಳಿಕೊಂಡಿದ್ದರೆ, ಅದು ಅಲ್ಲ. ಬೇರೊಬ್ಬರು ಆ ಹೆಸರನ್ನು ಬಳಸಿದ್ದಾರೆ, ಮತ್ತು AI ಉತ್ತರಗಳಲ್ಲಿನ ಗೋಚರತೆಯನ್ನು ಕಳೆದುಕೊಳ್ಳದೆ ನೀವು ಆ ವಿಳಾಸವನ್ನು ತಡೆಯಬಹುದು.
ಹೋಲಿಸಲಾಗಿದೆ: ಶ್ರೇಣಿಗಳನ್ನು ಹೋಲಿಸಲಾದ ಕ್ರಾಲರ್ಗಳ ಪಟ್ಟಿ. ಈ ಪಟ್ಟಿಯಲ್ಲಿಲ್ಲದ ಕ್ರಾಲರ್ ಅನ್ನು ಇಲ್ಲಿ ದೃಢೀಕರಿಸಲು ಅಥವಾ ತಳ್ಳಿಹಾಕಲು ಸಾಧ್ಯವಿಲ್ಲ.
ಯಾರಾದರೂ GPTBot ಎಂದು ಏಕೆ ಹೇಳಿಕೊಳ್ಳಬಹುದು
ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಎಂಬುದು ಕ್ಲೈಂಟ್ ಕಳುಹಿಸುವ ಒಂದು ಪಠ್ಯ ಸಾಲು, ಮತ್ತು ಯಾರಾದರೂ ಅದರಲ್ಲಿ GPTBot ಅಥವಾ Googlebot ಎಂದು ಬರೆಯಬಹುದು. ಸರಳ ಫಿಲ್ಟರ್ಗಳನ್ನು ದಾಟಲು ಸ್ಕ್ರೇಪರ್ಗಳು ಹೀಗೆ ಮಾಡುತ್ತವೆ. ಅದಕ್ಕಾಗಿಯೇ ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಅನ್ನು ಮಾತ್ರ ನೋಡುವ ಫೈರ್ವಾಲ್ಗಳು ಎರಡೂ ದಿಕ್ಕಿನಲ್ಲಿ ಮೋಸಹೋಗಬಹುದು: ಅವು ನಕಲಿ ಕ್ರಾಲರ್ಗಳನ್ನು ಒಳಗೆ ಬಿಡುತ್ತವೆ, ಅಥವಾ ನಕಲಿ ಕ್ರಾಲರ್ ವಿರುದ್ಧ ಬರೆದ ನಿಯಮ ನಿಜವಾದದ್ದನ್ನೂ ತಡೆಯುತ್ತದೆ. IP ವಿಳಾಸವನ್ನು ನಿರ್ವಾಹಕರ ಪ್ರಕಟಿತ ಪಟ್ಟಿಯೊಂದಿಗೆ ಹೋಲಿಸುವುದೇ ಅವುಗಳನ್ನು ಬೇರ್ಪಡಿಸುವ ಮಾರ್ಗ.
ನಾವು ಓದುವ ಶ್ರೇಣಿಯನ್ನು ನಿರ್ವಾಹಕರು ಪ್ರಕಟಿಸದ ಕ್ರಾಲರ್ಗಳಿಗೆ, ನಿರ್ವಾಹಕರ ಸ್ವಂತ ದಸ್ತಾವೇಜನ್ನು ಬಳಸಿ. Google, Microsoft ಮತ್ತು Apple DNS ಪರಿಶೀಲನೆಯನ್ನೂ ಬೆಂಬಲಿಸುತ್ತವೆ: ವಿಳಾಸದ ಹೋಸ್ಟ್ ಹೆಸರನ್ನು ಹುಡುಕಿ, ಅದು googlebot.com, google.com, search.msn.com ಅಥವಾ applebot.apple.com ನಂತಹ ನಿರ್ವಾಹಕರ ಡೊಮೈನ್ನಲ್ಲಿ ಕೊನೆಗೊಳ್ಳುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ, ನಂತರ ಆ ಹೋಸ್ಟ್ ಹೆಸರನ್ನು ಮತ್ತೆ ಹುಡುಕಿ ಅದು ಅದೇ ವಿಳಾಸವನ್ನು ನೀಡುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿ.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು
ನಕಲಿ ಕ್ರಾಲರ್ನ ದುರುಪಯೋಗ ನೋಡಿದ ನಂತರ ಕ್ರಾಲರ್ ಅನ್ನು ಹೆಸರಿನಿಂದ ತಡೆಯುವುದು. ಬದಲಿಗೆ ದುರುಪಯೋಗ ಮಾಡುವ ವಿಳಾಸಗಳನ್ನು ತಡೆಯಿರಿ, ಇಲ್ಲದಿದ್ದರೆ ನಿಜವಾದ ಕ್ರಾಲರ್ ಅನ್ನೂ ಕಳೆದುಕೊಳ್ಳುತ್ತೀರಿ.
ಬಳಕೆದಾರ ಏಜೆಂಟ್ GPTBot ಎಂದು ಹೇಳುವ ಪ್ರತಿ ವಿನಂತಿಯನ್ನು ಅನುಮತಿಸುವುದು. ನಿಮ್ಮ ಫೈರ್ವಾಲ್ ನಿಯಮದಲ್ಲಿ ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಅನ್ನು ಪ್ರಕಟಿತ ಶ್ರೇಣಿಗಳೊಂದಿಗೆ ಸಂಯೋಜಿಸಿ.
ಪ್ರಾಕ್ಸಿಯ ವಿಳಾಸವನ್ನು ಪರಿಶೀಲಿಸುವುದು. CDN ಅಥವಾ ಲೋಡ್ ಬ್ಯಾಲೆನ್ಸರ್ ಹಿಂದೆ, ನಿಮ್ಮ ಸರ್ವರ್ ಸಂದರ್ಶಕರ ಬದಲು ಪ್ರಾಕ್ಸಿಯನ್ನು ಲಾಗ್ ಮಾಡಬಹುದು; ಕ್ಲೈಂಟ್ ವಿಳಾಸವನ್ನು ಒಯ್ಯುವ ಹೆಡರ್ ಬಳಸಿ.
ಶ್ರೇಣಿಗಳ ಹಳೆಯ ಪ್ರತಿಯನ್ನು ಇಟ್ಟುಕೊಳ್ಳುವುದು. ನಿರ್ವಾಹಕರು ಅವುಗಳನ್ನು ಬದಲಿಸುತ್ತಾರೆ; ತಿಂಗಳುಗಳಷ್ಟು ಹಳೆಯ ಪಟ್ಟಿಯಿಂದ ನಿರ್ಮಿಸಿದ ನಿಯಮಗಳು ನಿಜವಾದ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯಬಹುದು.
ಒಂದು ವಿಳಾಸದಿಂದ ಇಡೀ ಲಾಗ್ವರೆಗೆ
ಈ ಪರಿಶೀಲನೆ ಒಮ್ಮೆಗೆ ಒಂದು ವಿಳಾಸಕ್ಕೆ ಉತ್ತರಿಸುತ್ತದೆ. ನಿಮ್ಮ AISeeWhy ಖಾತೆಯಲ್ಲಿ, ಪಾವತಿಸುವ ಪ್ಲಾನ್ಗಳ ಸರ್ವರ್ ಲಾಗ್ ಪರಿಶೀಲನೆ ಇಡೀ ಆಕ್ಸೆಸ್ ಲಾಗ್ ಅನ್ನು ಓದಿ, ಪ್ರತಿ AI ಕ್ರಾಲರ್ನ ಭೇಟಿಗಳನ್ನು ಎಣಿಸಿ, ಈ ಪ್ರಕಟಿತ ಶ್ರೇಣಿಗಳ ಮೂಲಕ ನಿಜವಾದ ಕ್ರಾಲರ್ಗಳನ್ನು ನಕಲಿಗಳಿಂದ ಬೇರ್ಪಡಿಸಿ, ನಿಮ್ಮ ಸರ್ವರ್ ಅವುಗಳಿಗೆ ಹೇಗೆ ಉತ್ತರಿಸಿತು ಎಂದು ತೋರಿಸುತ್ತದೆ.
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
ಈ ಪರಿಶೀಲನೆಯಲ್ಲಿ ClaudeBot ಕಾಣಿಸುತ್ತದೆಯೇ?
ಸದ್ಯಕ್ಕೆ ಇಲ್ಲ: ನಾವು ಓದುವ ಪ್ರಕಟಿತ ಶ್ರೇಣಿ ಫೈಲ್ಗಳಿರುವ ಕ್ರಾಲರ್ಗಳನ್ನು ಪರಿಶೀಲನೆ ಒಳಗೊಳ್ಳುತ್ತದೆ, ಅವುಗಳನ್ನು ಫಲಿತಾಂಶದ ಕೆಳಗೆ ಪಟ್ಟಿ ಮಾಡಲಾಗಿದೆ. ಇತರ ಕ್ರಾಲರ್ಗಳಿಗೆ, ನಿರ್ವಾಹಕರ ದಸ್ತಾವೇಜನ್ನು ಅನುಸರಿಸಿ.
ಒಂದು ವಿಳಾಸ Googlebot ಶ್ರೇಣಿಯಲ್ಲಿದೆ ಆದರೆ ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಬೇರೆ ಹೇಳುತ್ತದೆ. ಇದರ ಅರ್ಥವೇನು?
ವಿನಂತಿ Google ನ ನೆಟ್ವರ್ಕ್ನಿಂದ ಬಂದಿದೆ. Google ಹಲವು ಕ್ರಾಲರ್ಗಳು ಮತ್ತು ಫೆಚರ್ಗಳನ್ನು ನಡೆಸುತ್ತದೆ; ಯಾವುದು ಎಂದು ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಹೇಳುತ್ತದೆ. ಇದು Google ಎಂದು ನಟಿಸಿದ ಮೂರನೇ ವ್ಯಕ್ತಿಯಲ್ಲ.
ಒಮ್ಮೆಗೇ ಹಲವು ವಿಳಾಸಗಳನ್ನು ಪರಿಶೀಲಿಸಬಹುದೇ?
ಈ ಉಚಿತ ಉಪಕರಣದಿಂದ ಅಲ್ಲ. ಅದರಲ್ಲಿನ ಪ್ರತಿ ಭೇಟಿಯನ್ನು ಪರಿಶೀಲಿಸಲು ಲಾಗ್ ಅನ್ನು ನಿಮ್ಮ ಖಾತೆಯಲ್ಲಿ ಅಪ್ಲೋಡ್ ಮಾಡಿ.
ನಾನು ನಮೂದಿಸುವ ವಿಳಾಸವನ್ನು ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆಯೇ?
ಪರಿಶೀಲನೆಗೆ ಉತ್ತರಿಸಲು ಅದನ್ನು ಬಳಸಲಾಗುತ್ತದೆ ಮತ್ತು ನಿಮ್ಮ ವಿನಂತಿಯೊಂದಿಗೆ ಉಳಿಸಲಾಗುವುದಿಲ್ಲ.