ChatGPT ನನ್ನ ವೆಬ್ಸೈಟ್ ನೋಡಬಲ್ಲದೇ? ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು
ನಿಮ್ಮ ಪುಟವನ್ನು ಅಂಟಿಸಿ, ChatGPT ಯ ಕ್ರಾಲರ್ಗಳು ಅದನ್ನು ತಲುಪಬಹುದೇ, ಓದಬಹುದೇ ಮತ್ತು ಉಲ್ಲೇಖಿಸಬಹುದೇ ಎಂದು ಸುಮಾರು 30 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ನೋಡಿ, ಸಾಧ್ಯವಿಲ್ಲದಿದ್ದರೆ ಏನು ಬದಲಾಯಿಸಬೇಕೆಂದು ತಿಳಿಯಿರಿ.
ಉಚಿತ · ಸೈನ್-ಅಪ್ ಬೇಕಿಲ್ಲ · 30 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಫಲಿತಾಂಶ
ಕ್ರಾಲರ್ ಪ್ರಕಾರ robots.txt
OAI-SearchBot, ChatGPT-User ಮತ್ತು GPTBot ಅನ್ನು RFC 9309 ನಿಯಮಗಳಂತೆ ಬೇರೆಬೇರೆಯಾಗಿ ಓದಲಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ ಯಾವುದಕ್ಕೆ ಅನುಮತಿ ಇದೆ ಮತ್ತು ಯಾವ ಸಾಲು ನಿರ್ಧರಿಸುತ್ತದೆ ಎಂದು ನೀವು ನೋಡುತ್ತೀರಿ.
ಫೈರ್ವಾಲ್ ಮತ್ತು CDN ತಡೆಗಳು
ನಿಮ್ಮ ಪುಟವನ್ನು 14 ಕ್ರಾಲರ್ಗಳಾಗಿ ಮತ್ತು ಸಾಮಾನ್ಯ ಬ್ರೌಸರ್ ಆಗಿ ವಿನಂತಿಸಲಾಗುತ್ತದೆ. ಕ್ರಾಲರ್ಗಳಿಗೆ ಮಾತ್ರ ಸಿಗುವ 403, 429 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟವನ್ನು ಗುರುತಿಸಲಾಗುತ್ತದೆ, ಮತ್ತು ಅದರ ಹಿಂದಿನ ಫೈರ್ವಾಲ್ನ ಹೆಸರನ್ನು ತಿಳಿಸಲಾಗುತ್ತದೆ.
ಕ್ರಾಲರ್ಗೆ ನಿಜವಾಗಿ ಏನು ಸಿಗುತ್ತದೆ
ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ಸಿಗುವ ಸ್ಥಿತಿ, ಗಾತ್ರ ಮತ್ತು ರೀಡೈರೆಕ್ಟ್ಗಳನ್ನು ಬ್ರೌಸರ್ಗೆ ಸಿಗುವುದರೊಂದಿಗೆ ಹೋಲಿಸಲಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ ಜನರಿಗೆ ನೀಡುವುದಕ್ಕಿಂತ ಕಡಿಮೆಯನ್ನು ಕ್ರಾಲರ್ಗಳಿಗೆ ನೀಡುವ ಪುಟ ಎದ್ದು ಕಾಣುತ್ತದೆ.
ಪ್ರತಿ ಕಂಡುಹಿಡಿತಕ್ಕೂ ಪರಿಹಾರ
ಪ್ರತಿ ಕಂಡುಹಿಡಿತದ ಜೊತೆಗೆ ಮಾಡಬೇಕಾದ ಬದಲಾವಣೆ ಇರುತ್ತದೆ. ಉಚಿತ ಪರಿಶೀಲನೆ ನಿಮ್ಮ ಸ್ಕೋರ್ ಮತ್ತು ಮೊದಲ ಕಂಡುಹಿಡಿತವನ್ನು ತೋರಿಸುತ್ತದೆ; ಪೂರ್ಣ ವರದಿ $29, ಒಮ್ಮೆ ಮಾತ್ರ.
OpenAI ನ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ OAI-SearchBot ನಿಮ್ಮ ಪುಟವನ್ನು ಪಡೆಯಲು ಅನುಮತಿ ಇದ್ದು, ಅದಕ್ಕೆ ಬ್ರೌಸರ್ಗೆ ಸಿಗುವ ಅದೇ HTML ಸಿಕ್ಕರೆ ಮಾತ್ರ ChatGPT ನಿಮ್ಮ ಪುಟವನ್ನು ಉಲ್ಲೇಖಿಸಬಲ್ಲದು. ಮೂರು ವಿಷಯಗಳನ್ನು ಪರಿಶೀಲಿಸಿ: ನಿಮ್ಮ robots.txt OAI-SearchBot ಅನ್ನು ನಿಷೇಧಿಸುವುದಿಲ್ಲ, ನಿಮ್ಮ ಫೈರ್ವಾಲ್ ಅಥವಾ CDN ಅದಕ್ಕೆ 403 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ನೀಡುವುದಿಲ್ಲ, ಮತ್ತು ಮುಖ್ಯ ಪಠ್ಯ ಆರಂಭಿಕ HTML ನಲ್ಲೇ ಇದೆ. ಓದಬಲ್ಲದ್ದಾಗಿರುವುದು ಶಿಫಾರಸುಗೊಳ್ಳುವುದಕ್ಕೆ ಸಮವಲ್ಲ: ChatGPT ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ಹೆಸರಿಸುತ್ತದೆಯೇ ಎಂದು ನೋಡಲು, ನಿಮ್ಮ ಖರೀದಿದಾರರು ಕೇಳುವ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳಿ ಅದು ಯಾವ ಸೈಟ್ಗಳನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತದೆ ಎಂದು ಗಮನಿಸಿ.
3 ಹಂತಗಳಲ್ಲಿ ನೀವೇ ಪರಿಶೀಲಿಸಿ
- ನಿಮ್ಮ robots.txt ಓದಿ
https://your-site.com/robots.txtತೆರೆಯಿರಿ.OAI-SearchBot,ChatGPT-UserಅಥವಾUser-agent: *ಗಾಗಿ ಯಾವುದೇ ಗುಂಪು ಆ ಪುಟವನ್ನು ನಿಷೇಧಿಸಬಾರದು.GPTBotತರಬೇತಿಗೆ ಮಾತ್ರ ಮುಖ್ಯ. - ಕ್ರಾಲರ್ಗೆ ಏನು ಸಿಗುತ್ತದೆ ಎಂದು ಪರೀಕ್ಷಿಸಿ
ಪುಟವನ್ನು
OAI-SearchBotಆಗಿ ವಿನಂತಿಸಿ, ಅಥವಾ ಉಚಿತ ಪರಿಶೀಲನೆಯನ್ನು ಚಲಾಯಿಸಿ. ಅದು 403 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟವಲ್ಲ, ಬ್ರೌಸರ್ಗೆ ಸಿಗುವ ಅದೇ ಪಠ್ಯದೊಂದಿಗೆ 200 ನೀಡಬೇಕು. - ChatGPT ಯನ್ನು ಕೇಳಿ
ಹುಡುಕಾಟ ಆನ್ ಇರುವಾಗ, ನಿಮ್ಮ URL ಅನ್ನು ಸಾರಾಂಶ ಮಾಡಲು ಮತ್ತು ನಿಮ್ಮ ಖರೀದಿದಾರರು ಕೇಳುವ ಒಂದು ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸಲು ಹೇಳಿ, ನಂತರ ಅದು ಪಟ್ಟಿಮಾಡುವ ಮೂಲಗಳನ್ನು ನೋಡಿ. ಪ್ರವೇಶ ಸರಿಯಾಗಿದ್ದು ಇನ್ನೂ ನೀವು ಇಲ್ಲದಿದ್ದರೆ, ಕಾರಣ ವಿಷಯದಲ್ಲಿದೆ.
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
ChatGPT ನನ್ನ ಸೈಟ್ ನೋಡಬಲ್ಲದೇ ಎಂದು ಉಚಿತವಾಗಿ ಪರಿಶೀಲಿಸಬಹುದೇ?
ಹೌದು. ನಿಮ್ಮ robots.txt ಓದುವುದು, OAI-SearchBot ಬಳಕೆದಾರ ಏಜೆಂಟ್ನೊಂದಿಗೆ curl ವಿನಂತಿ ಮತ್ತು ChatGPT ನಲ್ಲಿ ಒಂದು ಪ್ರಶ್ನೆಗೆ ಯಾವುದೇ ವೆಚ್ಚವಿಲ್ಲ. AISeeWhy ನ ಉಚಿತ ಪರಿಶೀಲನೆ ದಿನಕ್ಕೆ ಒಂದು ಪುಟಕ್ಕೆ ಖಾತೆ ಇಲ್ಲದೆ ಕ್ರಾಲರ್ ಪರೀಕ್ಷೆಗಳನ್ನು ನಡೆಸುತ್ತದೆ.
ChatGPT ನನ್ನ ಸೈಟ್ ಅನ್ನು ಶಿಫಾರಸು ಮಾಡುತ್ತದೆಯೇ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
ಹುಡುಕಾಟ ಆನ್ ಮಾಡಿ ನಿಮ್ಮ ಖರೀದಿದಾರರು ಕೇಳುವ ಪ್ರಶ್ನೆಗಳನ್ನು ChatGPT ಗೆ ಕೇಳಿ, ಅದು ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ಹೆಸರಿಸುತ್ತದೆಯೇ ಅಥವಾ ಲಿಂಕ್ ನೀಡುತ್ತದೆಯೇ ಮತ್ತು ಬದಲಿಗೆ ಯಾವ ಪ್ರತಿಸ್ಪರ್ಧಿಗಳನ್ನು ಹೆಸರಿಸುತ್ತದೆ ಎಂದು ಗಮನಿಸಿ. ಉತ್ತರಗಳು ಪ್ರತಿ ಬಾರಿ ಬದಲಾಗುತ್ತವೆ, ಆದ್ದರಿಂದ ಪ್ರತಿ ಪ್ರಶ್ನೆಯನ್ನು ಪುನರಾವರ್ತಿಸಿ ಹಲವು ವಾರಗಳ ಕಾಲ ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ. AISeeWhy ನ AI ಗೋಚರತೆ ಪರಿಶೀಲನೆ ನಿಮ್ಮ ಪ್ರಶ್ನೆಗಳನ್ನು ನಿಮ್ಮ ಸ್ವಂತ API ಕೀಗಳೊಂದಿಗೆ ChatGPT, Claude, Perplexity ಮತ್ತು Gemini ಮೂಲಕ ಕೇಳಿ, ನಾಲ್ಕು ಪ್ರತಿಸ್ಪರ್ಧಿಗಳವರೆಗಿನ ಜೊತೆ ಹೆಸರಿಸುವಿಕೆಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡುತ್ತದೆ. API ಮೂಲಕ ಬರುವ ಉತ್ತರಗಳು ChatGPT ಆ್ಯಪ್ ತೋರಿಸುವುದಕ್ಕಿಂತ ಭಿನ್ನವಾಗಿರಬಹುದು.
ChatGPT ಗೆ ನನ್ನ ಸೈಟ್ ಏಕೆ ಸಿಗುವುದಿಲ್ಲ?
ಹೆಚ್ಚಾಗಿ robots.txt ನಲ್ಲಿ OAI-SearchBot ನಿಷೇಧಿತವಾಗಿರುತ್ತದೆ, ಫೈರ್ವಾಲ್ ಅದಕ್ಕೆ 403 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ನೀಡುತ್ತದೆ, ಅಥವಾ JavaScript ಚಲಿಸಿದ ನಂತರವೇ ಪಠ್ಯ ಕಾಣುತ್ತದೆ. ಮೂರೂ ಸರಿಯಾಗಿದ್ದರೆ, ChatGPT ಉಲ್ಲೇಖಿಸುವ ಪುಟಗಳಿಗಿಂತ ನಿಮ್ಮ ಪುಟ ಪ್ರಶ್ನೆಗೆ ಕಡಿಮೆ ನೇರವಾಗಿ ಉತ್ತರಿಸುತ್ತಿರಬಹುದು.
GPTBot ತಡೆದರೆ ನನ್ನ ಸೈಟ್ ChatGPT ಹುಡುಕಾಟದಿಂದ ಹೊರಹೋಗುತ್ತದೆಯೇ?
ಇಲ್ಲ. OpenAI ಪ್ರತಿ ಕ್ರಾಲರ್ ಸೆಟ್ಟಿಂಗ್ ಅನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಪರಿಗಣಿಸುತ್ತದೆ. GPTBot ತರಬೇತಿಗೆ ಸಂಬಂಧಿಸಿದ್ದು, ಆದರೆ ChatGPT ಹುಡುಕಾಟ ಉತ್ತರಗಳಲ್ಲಿ ಪುಟಗಳನ್ನು ತೋರಿಸಬಹುದೇ ಎಂದು OAI-SearchBot ನಿರ್ಧರಿಸುತ್ತದೆ. ನೀವು ಒಂದನ್ನು ನಿಷೇಧಿಸಿ ಇನ್ನೊಂದನ್ನು ಅನುಮತಿಸಬಹುದು.
ChatGPT-User robots.txt ಅನುಸರಿಸುತ್ತದೆಯೇ?
ಈ ಭೇಟಿಗಳನ್ನು ಬಳಕೆದಾರರು ಆರಂಭಿಸುವುದರಿಂದ robots.txt ನಿಯಮಗಳು ಅನ್ವಯಿಸದಿರಬಹುದು ಎಂದು OpenAI ಹೇಳುತ್ತದೆ. ಆ ಭೇಟಿಗಳನ್ನು ನಿಲ್ಲಿಸಬೇಕಿದ್ದರೆ, robots.txt ನಿಯಮ ವಿಶ್ವಾಸಾರ್ಹ ನಿಯಂತ್ರಣವಲ್ಲ.
robots.txt ಬದಲಾವಣೆ ChatGPT ತಲುಪಲು ಎಷ್ಟು ಸಮಯ ಬೇಕು?
robots.txt ನವೀಕರಣದ ನಂತರ ತನ್ನ ವ್ಯವಸ್ಥೆಗಳು ಹುಡುಕಾಟಕ್ಕೆ ಹೊಂದಿಕೊಳ್ಳಲು ಸುಮಾರು 24 ಗಂಟೆ ಬೇಕಾಗಬಹುದು ಎಂದು OpenAI ಹೇಳುತ್ತದೆ.
ತಲುಪಬಲ್ಲದಾಗಿರುವುದು ಉಲ್ಲೇಖಗೊಳ್ಳಲು ಸಾಕೇ?
ಇಲ್ಲ. ಪ್ರವೇಶ ಉಲ್ಲೇಖವನ್ನು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ; ಖಾತರಿಪಡಿಸುವುದಿಲ್ಲ. ಪುಟ ಏನು ಹೇಳುತ್ತದೆ ಮತ್ತು ಎಷ್ಟು ಸ್ಪಷ್ಟವಾಗಿ ಹೇಳುತ್ತದೆ ಎಂಬುದೇ ಅದನ್ನು ಉತ್ತರದಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆಯೇ ಎಂದು ನಿರ್ಧರಿಸುತ್ತದೆ.
ಪೂರ್ಣ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಓದಿ
ಅನೇಕ ಸೈಟ್ ಮಾಲೀಕರು ತಮ್ಮ ಉತ್ಪನ್ನದ ಬಗ್ಗೆ ChatGPT ಗೆ ಕೇಳುತ್ತಾರೆ, ಬದಲಿಗೆ ಸ್ಪರ್ಧಿಯೊಬ್ಬರು ಉಲ್ಲೇಖಗೊಂಡಿರುವುದನ್ನು ನೋಡುತ್ತಾರೆ, ಮತ್ತು ChatGPT ತಮ್ಮ ಸೈಟ್ ಅನ್ನು ತಲುಪಬಲ್ಲದೇ ಎಂದು ಯೋಚಿಸುತ್ತಾರೆ. ಈ ಪ್ರಶ್ನೆಗೆ ನಿರ್ದಿಷ್ಟ, ಪರೀಕ್ಷಿಸಬಹುದಾದ ಉತ್ತರವಿದೆ. OpenAI ತನ್ನ ಕ್ರಾಲರ್ಗಳ ಹೆಸರುಗಳನ್ನು ಮತ್ತು ಪ್ರತಿಯೊಂದೂ ಏನು ಮಾಡುತ್ತದೆ ಎಂಬುದನ್ನು ಪ್ರಕಟಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ನೀವು ಸರಪಳಿಯ ಪ್ರತಿ ಕೊಂಡಿಯನ್ನೂ ಪರಿಶೀಲಿಸಬಹುದು: robots.txt ನಿಯಮಗಳು, ನಿಮ್ಮ ಸರ್ವರ್ ಕಳುಹಿಸುವ ಪ್ರತಿಕ್ರಿಯೆ, ಮತ್ತು ಆ ಪ್ರತಿಕ್ರಿಯೆಯಲ್ಲಿನ ವಿಷಯ.
5 ನಿಮಿಷದ ಪರಿಶೀಲನೆ, ಹಂತ ಹಂತವಾಗಿ
https://your-site.com/robots.txtತೆರೆಯಿರಿ ಮತ್ತುOAI-SearchBot,ChatGPT-UserಅಥವಾUser-agent: *ಗಾಗಿ ಯಾವ ಗುಂಪೂ ಪುಟವನ್ನು ನಿಷೇಧಿಸುತ್ತಿಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ.GPTBotತರಬೇತಿಗೆ ಮಾತ್ರ ಮುಖ್ಯ.- AISeeWhy ನಲ್ಲಿ ಪುಟದ ಉಚಿತ ಪರಿಶೀಲನೆ ನಡೆಸಿ ಅಥವಾ
OAI-SearchBotಬಳಕೆದಾರ ಏಜೆಂಟ್ನೊಂದಿಗೆ ಒಂದು ವಿನಂತಿ ಕಳುಹಿಸಿ: ಅದಕ್ಕೆ ಸ್ಥಿತಿ 200 ಮತ್ತು ಬ್ರೌಸರ್ಗೆ ಸಿಗುವ ಅದೇ ಪಠ್ಯ ಸಿಗಬೇಕು, 403 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟವಲ್ಲ. - ಪುಟದ ಸೋರ್ಸ್ ನೋಡಿ ಮತ್ತು ಮುಖ್ಯ ಪಠ್ಯ HTML ನಲ್ಲೇ ಇದೆ, ನಂತರ JavaScript ಮೂಲಕ ಸೇರಿಸಲಾಗಿಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ.
- ಹುಡುಕಾಟ ಆನ್ ಮಾಡಿ ChatGPT ಗೆ ನಿಮ್ಮ URL ನ ಸಾರಾಂಶ ನೀಡಲು ಮತ್ತು ನಿಮ್ಮ ಖರೀದಿದಾರರು ಕೇಳುವ ಒಂದು ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸಲು ಕೇಳಿ. ಅದು ಪಟ್ಟಿ ಮಾಡುವ ಮೂಲಗಳನ್ನು ನೋಡಿ.
ಹಂತ 1 ಅಥವಾ 2 ವಿಫಲವಾದರೆ, ಮೊದಲು ಅದನ್ನು ಸರಿಪಡಿಸಿ: ಕೆಳಗಿನ ವಿಭಾಗಗಳು ಹೇಗೆ ಎಂದು ತೋರಿಸುತ್ತವೆ. ನಾಲ್ಕೂ ಸರಿಯಾಗಿದ್ದು ChatGPT ಇನ್ನೂ ನಿಮ್ಮನ್ನು ಉಲ್ಲೇಖಿಸದಿದ್ದರೆ, ಕಾರಣ ವಿಷಯ, ಪ್ರವೇಶವಲ್ಲ.
ChatGPT ಉತ್ತರಗಳಿಗೆ ಯಾವ OpenAI ಕ್ರಾಲರ್ಗಳು ಮುಖ್ಯ?
ಸೈಟ್ ಮಾಲೀಕರು ಸಾಮಾನ್ಯವಾಗಿ ಎದುರಿಸುವ ಮೂರು ಏಜೆಂಟ್ಗಳನ್ನು OpenAI ದಾಖಲಿಸಿದೆ. ಅವುಗಳ ಕೆಲಸ ಬೇರೆ ಬೇರೆ, ಮತ್ತು ಒಂದನ್ನು ತಡೆದರೆ ಉಳಿದವು ತಡೆಯಲ್ಪಡುವುದಿಲ್ಲ. ಪ್ರತಿ robots.txt ಸೆಟ್ಟಿಂಗ್ ಸ್ವತಂತ್ರ ಎಂದು OpenAI ಹೇಳುತ್ತದೆ.
OAI-SearchBotChatGPT ನ ಹುಡುಕಾಟ ವೈಶಿಷ್ಟ್ಯಗಳಿಗಾಗಿ ಪುಟಗಳನ್ನು ಹುಡುಕಿ ಇಂಡೆಕ್ಸ್ ಮಾಡುತ್ತದೆ. ಇದನ್ನು ನಿಷೇಧಿಸಿದ ಸೈಟ್ಗಳು ChatGPT ಹುಡುಕಾಟ ಉತ್ತರಗಳಲ್ಲಿ ತೋರಿಸಲ್ಪಡುವುದಿಲ್ಲ ಎಂದು OpenAI ಹೇಳುತ್ತದೆ. ನೀವು ಉಲ್ಲೇಖಗೊಳ್ಳಬಹುದೇ ಎಂದು ನಿರ್ಧರಿಸುವುದು ಇದೇ.GPTBotOpenAI ನ ಮೂಲ ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸಬಹುದಾದ ವಿಷಯವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. ಇದನ್ನು ನಿಷೇಧಿಸುವುದು ನಿಮ್ಮ ವಿಷಯವನ್ನು ತರಬೇತಿಗೆ ಬಳಸಬಾರದು ಎಂದು ಹೇಳುತ್ತದೆ. ಇದು ನಿಮ್ಮನ್ನು ಹುಡುಕಾಟ ಉತ್ತರಗಳಿಂದ ತೆಗೆದುಹಾಕುವುದಿಲ್ಲ.- ಯಾರಾದರೂ ChatGPT ಗೆ ಕೇಳಿದಾಗ, ಉದಾಹರಣೆಗೆ ಲಿಂಕ್ ಅಂಟಿಸಿದಾಗ,
ChatGPT-Userಪುಟಕ್ಕೆ ಭೇಟಿ ನೀಡುತ್ತದೆ. ಬಳಕೆದಾರರು ಆರಂಭಿಸಿದ ಈ ಭೇಟಿಗಳಿಗೆ robots.txt ನಿಯಮಗಳು ಅನ್ವಯಿಸದಿರಬಹುದು, ಮತ್ತು ವಿಷಯ ಹುಡುಕಾಟದಲ್ಲಿ ಕಾಣಿಸಬೇಕೇ ಎಂದು ನಿರ್ಧರಿಸಲು ಈ ಏಜೆಂಟ್ ಅನ್ನು ಬಳಸುವುದಿಲ್ಲ ಎಂದು OpenAI ಹೇಳುತ್ತದೆ.
ಸಂಕ್ಷಿಪ್ತವಾಗಿ: OAI-SearchBot ಉಲ್ಲೇಖಗಳನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ, GPTBot ತರಬೇತಿಯನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ, ಮತ್ತು ChatGPT-User ಬಳಕೆದಾರರ ವಿನಂತಿಯ ಮೇರೆಗೆ ನೇರ ಭೇಟಿಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.
ChatGPT ಗಾಗಿ ನನ್ನ robots.txt ಅನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
ಬ್ರೌಸರ್ನಲ್ಲಿ https://yourdomain.com/robots.txt ತೆರೆಯಿರಿ. OAI-SearchBot ಹೆಸರಿರುವ ಗುಂಪನ್ನು ಹುಡುಕಿ. ಅಂಥದ್ದು ಇಲ್ಲದಿದ್ದರೆ, ಕ್ರಾಲರ್ User-agent: * ಗುಂಪನ್ನು ಅನುಸರಿಸುತ್ತದೆ. ಅನ್ವಯಿಸುವ ಗುಂಪಿನಲ್ಲಿ Disallow: / ಇದ್ದರೆ ಇಡೀ ಸೈಟ್ ತಡೆಯಲ್ಪಡುತ್ತದೆ.
ಫೈಲ್ ಉತ್ತರಿಸುತ್ತದೆಯೇ ಎಂದೂ ಪರಿಶೀಲಿಸಿ. RFC 9309 ಪ್ರಕಾರ, robots.txt ಸರ್ವರ್ ದೋಷ (5xx) ನೀಡಿದರೆ ಅಥವಾ ತಲುಪಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೆ, ಇಡೀ ಸೈಟ್ ನಿಷೇಧಿತ ಎಂದು ಕ್ರಾಲರ್ ಭಾವಿಸಬೇಕು. 404 ಪರವಾಗಿಲ್ಲ: ಅದರರ್ಥ ಯಾವುದೇ ನಿಯಮಗಳಿಲ್ಲ. 200 ಸ್ಥಿತಿಯೊಂದಿಗೆ HTML ಪುಟ ನೀಡುವ robots.txt ವಿಳಾಸ ಸಾಮಾನ್ಯ ತಪ್ಪು, ಏಕೆಂದರೆ ಆಗ ಕ್ರಾಲರ್ಗಳಿಗೆ ಅದರಲ್ಲಿ ಯಾವುದೇ ಮಾನ್ಯ ನಿಯಮ ಸಿಗುವುದಿಲ್ಲ.
ChatGPT ಹುಡುಕಾಟವನ್ನು ಉಳಿಸಿಕೊಂಡು ತರಬೇತಿಯಿಂದ ಹೊರಗುಳಿಯುವ ಸೆಟಪ್ ಹೀಗಿರುತ್ತದೆ:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / robots.txt ನವೀಕರಿಸಿದ ನಂತರ ಹುಡುಕಾಟದ ಬದಲಾವಣೆಗಳು ಜಾರಿಗೆ ಬರಲು ಸುಮಾರು 24 ಗಂಟೆ ಬೇಕಾಗಬಹುದು ಎಂದು OpenAI ಹೇಳುತ್ತದೆ.
robots.txt ಅನುಮತಿಸಿದರೂ ಫೈರ್ವಾಲ್ ChatGPT ಅನ್ನು ತಡೆಯಬಹುದೇ?
ಹೌದು, ಮತ್ತು ಇದು ಸಾಮಾನ್ಯ ಕಾರಣ. robots.txt ಸಭ್ಯ ಕ್ರಾಲರ್ಗಳಿಗೆ ಮಾಡುವ ವಿನಂತಿ, ಪ್ರವೇಶ ನಿಯಂತ್ರಣವಲ್ಲ. ನಿಜವಾಗಿ ಏನು ಹಿಂದಿರುಗಿಸಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನಿಮ್ಮ ಫೈರ್ವಾಲ್, CDN ಅಥವಾ ಬಾಟ್ ರಕ್ಷಣೆ ನಿರ್ಧರಿಸುತ್ತದೆ. ಅದು AI ಕ್ರಾಲರ್ ಅನ್ನು ಅನಗತ್ಯ ಬಾಟ್ ಎಂದು ಪರಿಗಣಿಸಿದರೆ, ಬ್ರೌಸರ್ನಲ್ಲಿ ಜನರು ಪುಟವನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ನೋಡುತ್ತಿರುವಾಗಲೇ ಕ್ರಾಲರ್ಗೆ 403, 429 ಅಥವಾ Cloudflare ನ "Just a moment..." ಪರದೆಯಂತಹ ಚಾಲೆಂಜ್ ಪುಟ ಸಿಗುತ್ತದೆ.
ಹೊರಗಿನಿಂದ ಇದು ಎಲ್ಲರಿಗೂ ತೆರೆದ ಸೈಟ್ನಂತೆ ಕಾಣುತ್ತದೆ. ತನ್ನನ್ನು ಕ್ರಾಲರ್ ಎಂದು ಗುರುತಿಸಿಕೊಳ್ಳುವ ವಿನಂತಿ ಮಾತ್ರ ವ್ಯತ್ಯಾಸವನ್ನು ತೋರಿಸುತ್ತದೆ. ಆಗ robots.txt ಹೌದು ಎನ್ನುತ್ತದೆ, ಸರ್ವರ್ ಇಲ್ಲ ಎನ್ನುತ್ತದೆ, ಮತ್ತು ಸರ್ವರ್ ಗೆಲ್ಲುತ್ತದೆ.
OAI-SearchBot ಗೆ ಏನು ಸಿಗುತ್ತದೆ ಎಂದು ಹೇಗೆ ಪರೀಕ್ಷಿಸುವುದು?
ಅದೇ URL ಗೆ ಎರಡು ವಿನಂತಿಗಳನ್ನು ಕಳುಹಿಸಿ, ಒಂದು ಬ್ರೌಸರ್ user agent ನೊಂದಿಗೆ ಮತ್ತು ಒಂದು ಕ್ರಾಲರ್ನ user agent ನೊಂದಿಗೆ, ಮತ್ತು ಸ್ಥಿತಿ ಕೋಡ್ ಹಾಗೂ ಗಾತ್ರವನ್ನು ಹೋಲಿಸಿ. OpenAI ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ಉದಾಹರಣೆ user agent ಪ್ರಕಟಿಸುತ್ತದೆ; ಅದರಲ್ಲಿನ ಆವೃತ್ತಿ ಸಂಖ್ಯೆ ಬದಲಾಗಬಹುದು.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page ಬ್ರೌಸರ್ಗೆ ದೊಡ್ಡ body ಯೊಂದಿಗೆ 200 ಸಿಕ್ಕು, ಕ್ರಾಲರ್ಗೆ 403, 429, 503 ಅಥವಾ ತುಂಬಾ ಚಿಕ್ಕ body ಸಿಕ್ಕರೆ, ನಿಮ್ಮ ಫೈರ್ವಾಲ್ ಕ್ರಾಲರ್ ಅನ್ನು ಬೇರೆ ರೀತಿಯಲ್ಲಿ ನಡೆಸಿಕೊಳ್ಳುತ್ತಿದೆ. ಒಂದು ಮಿತಿ ಇದೆ: ನಿಮ್ಮ ಪರೀಕ್ಷೆ OpenAI ನ IP ಯಿಂದಲ್ಲ, ನಿಮ್ಮ ಸ್ವಂತ IP ವಿಳಾಸದಿಂದ ಬರುತ್ತದೆ. ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳೊಂದಿಗೆ ಕ್ರಾಲರ್ಗಳನ್ನು ಪರಿಶೀಲಿಸುವ ಫೈರ್ವಾಲ್ಗಳು (OpenAI ಅವುಗಳನ್ನು openai.com/searchbot.json ನಲ್ಲಿ ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ) ನಿಮ್ಮ ಪರೀಕ್ಷೆಯನ್ನು ತಡೆದು ನಿಜವಾದ ಕ್ರಾಲರ್ ಅನ್ನು ಒಳಗೆ ಬಿಡಬಹುದು. ಆದರೂ ಈ ಪರೀಕ್ಷೆಯಲ್ಲಿನ ತಡೆ ಫೈರ್ವಾಲ್ user agent ಅನ್ನು ಹೇಗೆ ನಡೆಸಿಕೊಳ್ಳುತ್ತದೆ ಎಂದು ಹೇಳುತ್ತದೆ, ಅದನ್ನು ಸರಿಪಡಿಸುವುದು ಯೋಗ್ಯ.
ಪುಟ ಲೋಡ್ ಆದರೂ ChatGPT ಉಪಯುಕ್ತವಾದದ್ದೇನೂ ಹೇಳದಿದ್ದರೆ?
ಪ್ರವೇಶ ಮೊದಲ ಹೆಜ್ಜೆ ಮಾತ್ರ. ತಲುಪುವ HTML ನಂತರ JavaScript ತುಂಬುವ ಖಾಲಿ ಚಿಪ್ಪಾಗಿದ್ದರೆ, ಕ್ರಾಲರ್ಗೆ ಬಹುತೇಕ ಯಾವ ಪಠ್ಯವೂ ಸಿಗದಿರಬಹುದು. curl ಅಥವಾ ನಿಮ್ಮ ಬ್ರೌಸರ್ನ view-source ಮೂಲಕ ಕಚ್ಚಾ HTML ನೋಡಿ: ಮುಖ್ಯ ಪಠ್ಯ ಅಲ್ಲಿ ಇಲ್ಲದಿದ್ದರೆ, ಕ್ರಾಲರ್ಗೂ ಬಹುಶಃ ಅದು ಕಾಣಿಸುವುದಿಲ್ಲ.
ಅದರ ನಂತರ ವಿಷಯದ ಸಂಕೇತಗಳು ಬರುತ್ತವೆ: ಪುಟದ ಮೇಲ್ಭಾಗದ ಬಳಿ ಸ್ಪಷ್ಟ ಚಿಕ್ಕ ಉತ್ತರ, ಜನರು ಕೇಳುವ ಪ್ರಶ್ನೆಗಳಿಗೆ ಹೊಂದುವ ಶೀರ್ಷಿಕೆಗಳು, ಹೆಸರಿಸಿದ ಪ್ರಕಾಶಕ ಮತ್ತು ಲೇಖಕ, ಮತ್ತು ಗೋಚರ ದಿನಾಂಕಗಳು. ಇವು ಉಲ್ಲೇಖವನ್ನು ಖಾತರಿಪಡಿಸುವುದಿಲ್ಲ, ಆದರೆ ಪುಟವನ್ನು ಸರಿಯಾಗಿ ಉಲ್ಲೇಖಿಸುವುದನ್ನು ಸುಲಭಗೊಳಿಸುತ್ತವೆ.
AISeeWhy ಇದನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುತ್ತದೆ?
AISeeWhy ನಿಮ್ಮ ಪುಟವನ್ನು ಸಾಮಾನ್ಯ ಬ್ರೌಸರ್ ಜೊತೆಗೆ OAI-SearchBot, GPTBot, ChatGPT-User ಮತ್ತು ಇತರ 11 ಕ್ರಾಲರ್ಗಳಾಗಿ ಪಡೆಯುತ್ತದೆ, ನಿಮ್ಮ robots.txt ಅನ್ನು RFC 9309 ನಿಯಮಗಳ ಪ್ರಕಾರ ಓದುತ್ತದೆ, ಮತ್ತು ಫೈರ್ವಾಲ್ ತಡೆ ಅಥವಾ ಚಾಲೆಂಜ್ ನೀಡಿದಾಗ ಅದನ್ನು ಹೆಸರಿಸುತ್ತದೆ. ಪ್ರತಿ ಪತ್ತೆಯೊಂದಿಗೆ ಅಂಟಿಸಲು ಪರಿಹಾರ ಬರುತ್ತದೆ, ಮತ್ತು ಉಚಿತ ಪರಿಶೀಲನೆ ನಿಮ್ಮ ಸ್ಕೋರ್ ಮತ್ತು ಮೊದಲ ಪತ್ತೆಯನ್ನು ತೋರಿಸುತ್ತದೆ.
ಈ ಸಮಸ್ಯೆಗೆ ಪರಿಹಾರಗಳು
- OAI-SearchBot ಅನ್ನು ತಡೆಯಲಾಗಿದೆ
- GPTBot ಗೆ ಖಾಲಿ ಬದಲಿ ಪುಟ ಸಿಗುತ್ತದೆ
- ಪುಟವನ್ನು ಪಡೆಯಲು ಸಾಧ್ಯವಾಗಲಿಲ್ಲ
- ಪುಟವು 403 ಸ್ಥಿತಿಯೊಂದಿಗೆ ಉತ್ತರಿಸುತ್ತದೆ
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆ
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಮೂಲಗಳು
- OpenAI: OpenAI ಕ್ರಾಲರ್ಗಳ ಅವಲೋಕನ
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI ಕ್ರಾಲರ್ಗಳ ನಿರ್ವಹಣೆ (AI Crawl Control)