OpenAI ಕ್ರಾಲರ್ಗಳ ವಿವರಣೆ: GPTBot, OAI-SearchBot ಮತ್ತು ChatGPT-User
OpenAI ತನ್ನ ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸಬಹುದಾದ ವಿಷಯ ಸಂಗ್ರಹಿಸಲು GPTBot, ChatGPT ಹುಡುಕಾಟಕ್ಕಾಗಿ ಪುಟಗಳನ್ನು ಇಂಡೆಕ್ಸ್ ಮಾಡಲು OAI-SearchBot, ಮತ್ತು ವ್ಯಕ್ತಿಯೊಬ್ಬರು ಕೇಳುವ ಭೇಟಿಗಳಿಗೆ ChatGPT-User ಬಳಸುತ್ತದೆ. GPTBot ತಡೆದರೆ ನೀವು ತರಬೇತಿಯಿಂದ ಮಾತ್ರ ಹೊರಗುಳಿಯುತ್ತೀರಿ. OAI-SearchBot ತಡೆದರೆ ನೀವು ChatGPT ಹುಡುಕಾಟ ಉತ್ತರಗಳಿಂದ ಹೊರಹೋಗುತ್ತೀರಿ. ChatGPT-User ಗೆ robots.txt ಅನ್ವಯಿಸದಿರಬಹುದು.
ಒಂದೇ ಕಂಪನಿಯ ಮೂರು ಬೇರೆ ಬೇರೆ user agent ಗಳು, ಪ್ರತಿಯೊಂದಕ್ಕೂ ತನ್ನದೇ robots.txt ಟೋಕನ್, ಸಾಕಷ್ಟು ಗೊಂದಲ ಉಂಟುಮಾಡುತ್ತವೆ. GPTBot ಕಾಣಿಸಿಕೊಂಡಾಗ ಅನೇಕ ಸೈಟ್ಗಳು ಅದನ್ನು ತಡೆದವು, ಮತ್ತು ChatGPT ತಮ್ಮನ್ನು ಉಲ್ಲೇಖಿಸಬಹುದೇ ಎಂದು ನಿರ್ಧರಿಸುವ ಕ್ರಾಲರ್ ಅನ್ನೂ ತಡೆದಿರುವುದು ಕೆಲವಕ್ಕೆ ನಂತರ ತಿಳಿಯಿತು, ಹೆಚ್ಚಾಗಿ ವಿಶಾಲವಾದ ಫೈರ್ವಾಲ್ ನಿಯಮದ ಮೂಲಕ. ಈ ಲೇಖನ OpenAI ನ ಸ್ವಂತ ದಾಖಲೆಗಳನ್ನು ಬಳಸಿ ಪ್ರತಿ ಏಜೆಂಟ್ ಅನ್ನು ವಿವರಿಸುತ್ತದೆ.
ಈ ಪುಟದಲ್ಲಿ
GPTBot ಏನು ಮಾಡುತ್ತದೆ?
GPTBot OpenAI ನ ಉತ್ಪಾದಕ AI ಮೂಲ ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸಬಹುದಾದ ವಿಷಯವನ್ನು ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ. GPTBot ಅನ್ನು ನಿಷೇಧಿಸುವುದು ಸೈಟ್ನ ವಿಷಯವನ್ನು ಆ ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸಬಾರದು ಎಂದು ಸೂಚಿಸುತ್ತದೆ ಎಂದು OpenAI ದಾಖಲೆಗಳು ಹೇಳುತ್ತವೆ.
ಅದರ user agent ನಲ್ಲಿ GPTBot ಟೋಕನ್ ಇರುತ್ತದೆ, ಉದಾಹರಣೆಗೆ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. ಆವೃತ್ತಿ ಸಂಖ್ಯೆ ಬದಲಾಗಬಹುದು ಎಂದು OpenAI ಗಮನಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಪೂರ್ಣ ಸ್ಟ್ರಿಂಗ್ ಅಲ್ಲ, ಟೋಕನ್ ಅನ್ನು ಹೊಂದಿಸಿ. OpenAI ತನ್ನ IP ಶ್ರೇಣಿಗಳನ್ನು openai.com/gptbot.json ನಲ್ಲಿ ಪ್ರಕಟಿಸುತ್ತದೆ.
ಇದನ್ನು ಅನುಮತಿಸಬೇಕೇ ಎಂಬುದು ನೀತಿಯ ನಿರ್ಧಾರ. ಕೆಲವು ಪ್ರಕಾಶಕರು ತಮ್ಮ ವಿಷಯ ತರಬೇತಿ ಡೇಟಾದಲ್ಲಿರಬೇಕೆಂದು ಬಯಸುತ್ತಾರೆ, ಇತರರು ಬಯಸುವುದಿಲ್ಲ. ಇದನ್ನು ತಡೆಯುವುದು ChatGPT ಹುಡುಕಾಟದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ, ಏಕೆಂದರೆ ಅದು ಬೇರೆ ಕ್ರಾಲರ್. ನಂತರ ನಿಮ್ಮ ಮನಸ್ಸು ಬದಲಾದರೆ, Disallow ಸಾಲು ತೆಗೆದರೆ ಸಾಕು; ನೋಂದಾಯಿಸಲು ಅಥವಾ ವಿನಂತಿಸಲು ಏನೂ ಇಲ್ಲ.
OAI-SearchBot ಏನು ಮಾಡುತ್ತದೆ?
OAI-SearchBot OpenAI ನ ಹುಡುಕಾಟ ಕ್ರಾಲರ್. ಇದು ChatGPT ನ ಹುಡುಕಾಟ ವೈಶಿಷ್ಟ್ಯಗಳಲ್ಲಿ ವೆಬ್ಸೈಟ್ಗಳನ್ನು ತೋರಿಸುತ್ತದೆ. OAI-SearchBot ನಿಷೇಧಿಸಿದ ಸೈಟ್ಗಳು ChatGPT ಹುಡುಕಾಟ ಉತ್ತರಗಳಲ್ಲಿ ತೋರಿಸಲ್ಪಡುವುದಿಲ್ಲ ಎಂದು OpenAI ಸ್ಪಷ್ಟವಾಗಿ ಹೇಳುತ್ತದೆ.
ChatGPT ನಿಮ್ಮ ಪುಟಗಳನ್ನು ಉಲ್ಲೇಖಿಸಬೇಕಿದ್ದರೆ, robots.txt ನಲ್ಲೂ ಫೈರ್ವಾಲ್ನಲ್ಲೂ ಅನುಮತಿಸಬೇಕಾದ ಕ್ರಾಲರ್ ಇದೇ. ಇದರ IP ಶ್ರೇಣಿಗಳನ್ನು openai.com/searchbot.json ನಲ್ಲಿ ಪ್ರಕಟಿಸಲಾಗಿದೆ, ಇದರಿಂದ ವಿನಂತಿ ನಿಜವಾಗಿಯೂ OpenAI ನಿಂದ ಬರುತ್ತಿದೆ ಎಂದು ಫೈರ್ವಾಲ್ ಪರಿಶೀಲಿಸಬಹುದು.
ChatGPT-User ಏನು ಮಾಡುತ್ತದೆ?
ChatGPT-User ಸಾಮಾನ್ಯ ಅರ್ಥದಲ್ಲಿ ಕ್ರಾಲರ್ ಅಲ್ಲ. ChatGPT ಬಳಕೆದಾರ ಅಥವಾ Custom GPT ಕೇಳಿದಾಗ ಅದು ಪುಟವನ್ನು ಪಡೆಯುತ್ತದೆ, ಉದಾಹರಣೆಗೆ ಯಾರಾದರೂ ನಿಮ್ಮ URL ಅನ್ನು ಚಾಟ್ಗೆ ಅಂಟಿಸಿ ಸಾರಾಂಶ ಕೇಳಿದಾಗ. ಇದನ್ನು ವೆಬ್ನ ಸ್ವಯಂಚಾಲಿತ ಕ್ರಾಲಿಂಗ್ಗೆ ಬಳಸುವುದಿಲ್ಲ ಎಂದು OpenAI ಹೇಳುತ್ತದೆ.
OpenAI ದಾಖಲೆಗಳ ಎರಡು ವಿವರಗಳು ಇಲ್ಲಿ ಮುಖ್ಯ. ಮೊದಲನೆಯದು, ಈ ಕ್ರಿಯೆಗಳನ್ನು ಬಳಕೆದಾರರು ಆರಂಭಿಸುವುದರಿಂದ robots.txt ನಿಯಮಗಳು ಅನ್ವಯಿಸದಿರಬಹುದು. ಎರಡನೆಯದು, ವಿಷಯ ಹುಡುಕಾಟದಲ್ಲಿ ಕಾಣಿಸಬಹುದೇ ಎಂದು ನಿರ್ಧರಿಸಲು ChatGPT-User ಅನ್ನು ಬಳಸುವುದಿಲ್ಲ. ಹುಡುಕಾಟಕ್ಕೆ ಮುಖ್ಯವಾದ ಸೆಟ್ಟಿಂಗ್ OAI-SearchBot.
ಪ್ರತಿಯೊಂದನ್ನು ತಡೆದಾಗ ಏನಾಗುತ್ತದೆ?
GPTBotತಡೆಯಿರಿ: ನಿಮ್ಮ ವಿಷಯವನ್ನು ತರಬೇತಿಗೆ ಬಳಸಬಾರದು ಎಂದು ಗುರುತಿಸಲಾಗುತ್ತದೆ.OAI-SearchBotಅನುಮತಿಸಿದ್ದರೆ ChatGPT ಹುಡುಕಾಟ ಇನ್ನೂ ನಿಮ್ಮನ್ನು ತೋರಿಸಿ ಉಲ್ಲೇಖಿಸಬಹುದು.OAI-SearchBotತಡೆಯಿರಿ: ನಿಮ್ಮ ಪುಟಗಳು ChatGPT ಹುಡುಕಾಟ ಉತ್ತರಗಳಲ್ಲಿ ತೋರಿಸಲ್ಪಡುವುದಿಲ್ಲ. ತರಬೇತಿಯನ್ನುGPTBotಪ್ರತ್ಯೇಕವಾಗಿ ನಿಯಂತ್ರಿಸುತ್ತದೆ.- robots.txt ನಲ್ಲಿ
ChatGPT-Userತಡೆಯಿರಿ: ಈ ಭೇಟಿಗಳಿಗೆ robots.txt ಅನ್ವಯಿಸದಿರಬಹುದು ಎಂದು OpenAI ಹೇಳುತ್ತದೆ, ಆದ್ದರಿಂದ ಪರಿಣಾಮ ಖಾತರಿಯಿಲ್ಲ. ಫೈರ್ವಾಲ್ನಲ್ಲಿ ತಡೆದರೆ ಪಡೆಯುವಿಕೆ ನಿಲ್ಲುತ್ತದೆ, ಮತ್ತು ನಿಮ್ಮ ಲಿಂಕ್ ಅಂಟಿಸುವ ಬಳಕೆದಾರರಿಗೆ ನಿಮ್ಮ ವಿಷಯದ ಬದಲು ದೋಷ ಸಿಗುತ್ತದೆ. - ಮೂರನ್ನೂ ಫೈರ್ವಾಲ್ನಲ್ಲಿ ತಡೆಯಿರಿ: ChatGPT ನಿಮ್ಮ ಪುಟಗಳನ್ನು ಇಂಡೆಕ್ಸ್ ಮಾಡಲೂ ಪಡೆಯಲೂ ಸಾಧ್ಯವಿಲ್ಲ, ಆದ್ದರಿಂದ ಉಲ್ಲೇಖಿಸಲು ಅದರ ಬಳಿ ನಿಮ್ಮದೇನೂ ಇರುವುದಿಲ್ಲ.
- ಮೂರನ್ನೂ ಅನುಮತಿಸಿ: ನಿಮ್ಮ ಪುಟಗಳನ್ನು ಹುಡುಕಾಟಕ್ಕಾಗಿ ಇಂಡೆಕ್ಸ್ ಮಾಡಬಹುದು, ವಿನಂತಿಯ ಮೇರೆಗೆ ಪಡೆಯಬಹುದು, ಮತ್ತು
GPTBotಮೂಲಕ ತರಬೇತಿಗೆ ಬಳಸಬಹುದು.
GPTBot ಮತ್ತು OAI-SearchBot ಎರಡನ್ನೂ ಅನುಮತಿಸಿದಾಗ, ಎರಡು ಬಾರಿ ಕ್ರಾಲ್ ಮಾಡುವುದನ್ನು ತಪ್ಪಿಸಲು ಒಂದು ಕ್ರಾಲ್ನ ಫಲಿತಾಂಶಗಳನ್ನು ಎರಡೂ ಉದ್ದೇಶಗಳಿಗೆ ಬಳಸಬಹುದು ಎಂದೂ OpenAI ಗಮನಿಸುತ್ತದೆ.
OpenAI ಕ್ರಾಲರ್ಗಳಿಗೆ ಯಾವ robots.txt ಬಳಸಬೇಕು?
ChatGPT ಉತ್ತರಗಳಲ್ಲಿ ಕಾಣಿಸಬೇಕೆಂದಿರುವ ಹೆಚ್ಚಿನ ಸೈಟ್ಗಳಿಗೆ, ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಅನ್ನು ಅನುಮತಿಸಿ ಮತ್ತು ತರಬೇತಿ ಬಗ್ಗೆ ಪ್ರತ್ಯೇಕವಾಗಿ ನಿರ್ಧರಿಸಿ. ಈ ಫೈಲ್ ಹುಡುಕಾಟವನ್ನು ಅನುಮತಿಸಿ ತರಬೇತಿಯಿಂದ ಹೊರಗುಳಿಯುತ್ತದೆ:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ RFC 9309 ನ ಒಂದು ವಿವರ ಗಮನಿಸಿ: ಕ್ರಾಲರ್ ತನ್ನ ಹೆಸರಿರುವ ಗುಂಪನ್ನು ಅನುಸರಿಸುತ್ತದೆ ಮತ್ತು * ಗುಂಪನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆ. ಮೇಲಿನ ಉದಾಹರಣೆಯಲ್ಲಿ, OAI-SearchBot ಗೆ /admin/ ಗೆ ಪ್ರವೇಶ ಸಿಗುತ್ತದೆ, ಏಕೆಂದರೆ ಅದರ ಸ್ವಂತ ಗುಂಪಿನಲ್ಲಿ Disallow: /admin/ ಸಾಲು ಇಲ್ಲ. ಖಾಸಗಿಯಾಗಿರಬೇಕಾದ ಪಥಗಳನ್ನು ಪ್ರತಿ ಹೆಸರಿಸಿದ ಗುಂಪಿನಲ್ಲಿ ಪುನರಾವರ್ತಿಸಿ. ಹುಡುಕಾಟದ ಬದಲಾವಣೆಗಳು ಅನ್ವಯವಾಗಲು ಸುಮಾರು 24 ಗಂಟೆ ಬೇಕಾಗಬಹುದು ಎಂದು OpenAI ಹೇಳುತ್ತದೆ.
ಫೈರ್ವಾಲ್ ಅವುಗಳನ್ನು ಒಳಗೆ ಬಿಡುತ್ತದೆ ಎಂದು ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು?
robots.txt ನಿಮ್ಮ ನೀತಿಯನ್ನು ಮಾತ್ರ ಹೇಳುತ್ತದೆ. ಪ್ರತಿ ವಿನಂತಿಗೆ ನಿಜವಾಗಿ ಏನು ಸಿಗುತ್ತದೆ ಎಂಬುದನ್ನು ಫೈರ್ವಾಲ್ ಅಥವಾ CDN ನಿರ್ಧರಿಸುತ್ತದೆ. ಪ್ರತಿ ಕ್ರಾಲರ್ನ user agent ನೊಂದಿಗೆ ಪುಟವನ್ನು ವಿನಂತಿಸಿ ಮತ್ತು ಸ್ಥಿತಿ ಕೋಡ್ ಹಾಗೂ body ಗಾತ್ರವನ್ನು ಬ್ರೌಸರ್ ವಿನಂತಿಯೊಂದಿಗೆ ಹೋಲಿಸಿ. ಕ್ರಾಲರ್ಗೆ 403, 429 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ, ಬ್ರೌಸರ್ಗೆ ಸಾಮಾನ್ಯ ಪುಟ ಸಿಕ್ಕರೆ, ಫೈರ್ವಾಲ್ ನಿಮ್ಮ robots.txt ಅನ್ನು ಅತಿಕ್ರಮಿಸುತ್ತಿದೆ ಎಂದರ್ಥ.
AISeeWhy ಈ ಹೋಲಿಕೆಯನ್ನು ಮೂರೂ OpenAI ಏಜೆಂಟ್ಗಳಿಗೆ ಒಮ್ಮೆಲೇ ನಡೆಸುತ್ತದೆ, OAI-SearchBot ಮತ್ತು ChatGPT-User ತಡೆಗಳನ್ನು ಉಲ್ಲೇಖಗಳನ್ನು ಕಳೆದುಕೊಳ್ಳುವುದರಿಂದ P1 ಎಂದು ಗುರುತಿಸುತ್ತದೆ, ಮತ್ತು ತಡೆಯಲಾದ GPTBot ಅನ್ನು ದೋಷವಲ್ಲ, P3 ನೀತಿಯ ಆಯ್ಕೆಯಾಗಿ ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ.
ಈ ಸಮಸ್ಯೆಗೆ ಪರಿಹಾರಗಳು
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆ
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
OpenAI ಕ್ರಾಲರ್ಗಳ user agent ಸ್ಟ್ರಿಂಗ್ಗಳು ಯಾವುವು?
OpenAI ನ ದಾಖಲೆ GPTBot ಗೆ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot ಗೆ compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot ನಲ್ಲಿ ಕೊನೆಗೊಳ್ಳುವ Chrome ಶೈಲಿಯ ಸ್ಟ್ರಿಂಗ್, ಮತ್ತು ChatGPT-User ಗೆ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot ನೀಡುತ್ತದೆ. ಆವೃತ್ತಿ ಸಂಖ್ಯೆಗಳು ಬದಲಾಗಬಹುದು, ಆದ್ದರಿಂದ ಟೋಕನ್ ಮೇಲೆ ಹೊಂದಿಸಿ. IP ಶ್ರೇಣಿಗಳು openai.com/gptbot.json, openai.com/searchbot.json ಮತ್ತು openai.com/chatgpt-user.json ನಲ್ಲಿ ಪ್ರಕಟವಾಗಿವೆ; ನಿಜವಾದ ಕ್ರಾಲರ್ ಅನ್ನು ನಕಲಿಯಿಂದ ಪ್ರತ್ಯೇಕಿಸಲು ಮೂಲ IP ಅನ್ನು ಅವುಗಳ ವಿರುದ್ಧ ಪರಿಶೀಲಿಸಿ.
GPTBot ಮತ್ತು ChatGPT ಒಂದೇ ಏನು?
ಇಲ್ಲ. GPTBot ತರಬೇತಿ ಡೇಟಾಗಾಗಿ ಕ್ರಾಲರ್. ChatGPT ಹುಡುಕಾಟ OAI-SearchBot ಬಳಸುತ್ತದೆ, ಮತ್ತು ಬಳಕೆದಾರರು ವಿನಂತಿಸುವ ನೇರ ಭೇಟಿಗಳು ChatGPT-User ನಿಂದ ಬರುತ್ತವೆ.
ChatGPT ಹುಡುಕಾಟವನ್ನು ಅನುಮತಿಸಿ ತರಬೇತಿಯನ್ನು ತಡೆಯಬಹುದೇ?
ಹೌದು. robots.txt ನಲ್ಲಿ OAI-SearchBot ಅನ್ನು ಅನುಮತಿಸಿ ಮತ್ತು GPTBot ಅನ್ನು ನಿಷೇಧಿಸಿ. OpenAI ಈ ಎರಡು ಸೆಟ್ಟಿಂಗ್ಗಳನ್ನು ಸ್ವತಂತ್ರ ಎಂದು ದಾಖಲಿಸಿದೆ.
ನಾನು OpenAI ಅನ್ನು IP ವಿಳಾಸದಿಂದ ತಡೆಯಬೇಕೇ?
IP ಮೂಲಕ ತಡೆದರೆ ಕ್ರಾಲರ್ ನಿಮ್ಮ robots.txt ಓದುವುದೂ ನಿಲ್ಲುತ್ತದೆ ಮತ್ತು ನಿಮ್ಮ ನೀತಿಯನ್ನು ಬದಲಿಸುವುದು ಕಷ್ಟವಾಗುತ್ತದೆ. ಸಾಮಾನ್ಯವಾಗಿ ನೀತಿಯನ್ನು robots.txt ನಲ್ಲಿ ಹೇಳಿ, ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳನ್ನು OpenAI ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯಲು ಅಲ್ಲ, ಪರಿಶೀಲಿಸಲು ಬಳಸುವುದು ಉತ್ತಮ.
ಪೂರ್ಣ user agent ಅಲ್ಲ, ಟೋಕನ್ ಅನ್ನು ಏಕೆ ಹೊಂದಿಸಬೇಕು?
ತನ್ನ user agent ಗಳಲ್ಲಿನ ಆವೃತ್ತಿ ಸಂಖ್ಯೆ ಬದಲಾಗಬಹುದು ಎಂದು OpenAI ಹೇಳುತ್ತದೆ, ಮತ್ತು ಅದು ಪ್ರಕಟಿಸುವ ಉದಾಹರಣೆ ಸ್ಟ್ರಿಂಗ್ಗಳು ಕ್ರಾಲರ್ಗಳ ನಡುವೆ ಭಿನ್ನವಾಗಿವೆ. GPTBot ಅಥವಾ OAI-SearchBot ಹೊಂದಿಸುವ ನಿಯಮಗಳು ನವೀಕರಣದ ನಂತರವೂ ಕೆಲಸ ಮಾಡುತ್ತವೆ; ನಿಖರ ಸ್ಟ್ರಿಂಗ್ ಹೊಂದಿಸುವ ನಿಯಮಗಳು ಸದ್ದಿಲ್ಲದೆ ಹೊಂದಿಕೆಯಾಗುವುದನ್ನು ನಿಲ್ಲಿಸಬಹುದು.