ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ಯಾವ AI ಕ್ರಾಲರ್ಗಳು ಓದಬಹುದು ಎಂದು ಆರಿಸಿ ಮತ್ತು ರಚಿಸಿದ robots.txt ಅನ್ನು ನಕಲಿಸಿ. GPTBot ಮತ್ತು ClaudeBot ನಂತಹ AI ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆದು, OAI-SearchBot ಮತ್ತು PerplexityBot ನಂತಹ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳನ್ನು ಅನುಮತಿಸುವುದು ಸಾಮಾನ್ಯ ಆಯ್ಕೆ; ಹೀಗೆ ನಿಮ್ಮ ಪುಟಗಳು AI ಉತ್ತರಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಬಹುದು ಮತ್ತು ಉಲ್ಲೇಖಗೊಳ್ಳಬಹುದು.
ಬಳಕೆದಾರ ವಿನಂತಿಸಿದ ಪಡೆಯುವಿಕೆಗಳನ್ನು ತಡೆಯುವುದರ ಪರಿಣಾಮ ಸೀಮಿತ: ಒಬ್ಬ ವ್ಯಕ್ತಿ ಪುಟವನ್ನು ಕೇಳಿದ್ದರಿಂದ ಈ ಏಜೆಂಟ್ಗಳು robots.txt ಪಾಲಿಸದಿರಬಹುದು ಎಂದು ಕೆಲವು ಕಂಪನಿಗಳು ಹೇಳುತ್ತವೆ. ಪ್ರಕಟಿಸುವ ಮೊದಲು ಫಲಿತಾಂಶವನ್ನು robots.txt ಪರೀಕ್ಷಕದಿಂದ ಪರೀಕ್ಷಿಸಿ. AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ →
ಇದನ್ನು ಹೇಗೆ ಬಳಸುವುದು
ಫೈಲ್ ಅನ್ನು ನಿಮ್ಮ ಡೊಮೇನ್ನ ಮೂಲದಲ್ಲಿ ಇಡಿ (https://example.com/robots.txt). ಇತರ ಕ್ರಾಲರ್ಗಳಿಗೆ ಈಗಾಗಲೇ ನಿಯಮಗಳಿದ್ದರೆ, ಅವನ್ನು ಉಳಿಸಿಕೊಂಡು AI ಗುಂಪುಗಳನ್ನು ಮಾತ್ರ ಸೇರಿಸಿ. ಪ್ರತಿ ಕ್ರಾಲರ್ ಮುಂದಿನ ಬಾರಿ ಫೈಲ್ ಓದಿದಾಗ ಬದಲಾವಣೆಗಳು ಜಾರಿಗೆ ಬರುತ್ತವೆ, ಸಾಮಾನ್ಯವಾಗಿ ಒಂದು ದಿನದೊಳಗೆ.
ಈ ಪಠ್ಯವನ್ನು ಇಂಗ್ಲಿಷ್ನಿಂದ ಯಂತ್ರದ ಮೂಲಕ ಅನುವಾದಿಸಲಾಗಿದೆ.
ಜನರೇಟರ್ ಏನು ಬರೆಯುತ್ತದೆ
ನಿಮ್ಮ ಸೈಟ್ ಓದಬಹುದಾದ ಕ್ರಾಲರ್ಗಳನ್ನು ಟಿಕ್ ಮಾಡಿ ಮತ್ತು ತಡೆಯಲು ಬಯಸುವವನ್ನು ಅನ್ಟಿಕ್ ಮಾಡಿ. ಜನರೇಟರ್ ತಡೆದ ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ಒಂದು ಗುಂಪಿನೊಂದಿಗೆ, User-agent: <token> ನಂತರ Disallow: /, ಮತ್ತು ಕೊನೆಗೆ ಉಳಿದೆಲ್ಲವನ್ನೂ ಅನುಮತಿಸುವ User-agent: * ಗುಂಪಿನೊಂದಿಗೆ robots.txt ಬರೆಯುತ್ತದೆ. ಸೈಟ್ಮ್ಯಾಪ್ ವಿಳಾಸ ಸೇರಿಸಿದರೆ ಅದು Sitemap ಸಾಲನ್ನು ಸೇರಿಸುತ್ತದೆ. Content-Signal ಆಯ್ಕೆಗಳನ್ನು ಟಿಕ್ ಮಾಡಿದರೆ, ನಿಮ್ಮ ವಿಷಯವನ್ನು ಹೇಗೆ ಬಳಸಬಹುದು ಎಂದು ಹೇಳುವ Content-Signal ಸಾಲನ್ನು ಸೇರಿಸುತ್ತದೆ.
ನಿಮ್ಮ ಬ್ರೌಸರ್ನಿಂದ ಏನೂ ಹೊರಹೋಗುವುದಿಲ್ಲ: ನೀವು ಕ್ಲಿಕ್ ಮಾಡುತ್ತಿದ್ದಂತೆ ಫೈಲ್ ಪುಟದಲ್ಲೇ ರಚನೆಯಾಗುತ್ತದೆ, ಮತ್ತು ನೀವು ಅದನ್ನು ಔಟ್ಪುಟ್ ಬಾಕ್ಸ್ನಿಂದ ನಕಲಿಸುತ್ತೀರಿ.
ಯಾವ ಪ್ರೀಸೆಟ್ನಿಂದ ಪ್ರಾರಂಭಿಸಬೇಕು
ಎಲ್ಲವನ್ನೂ ಅನುಮತಿಸಿ: ಪ್ರತಿ ಕ್ರಾಲರ್ ಪ್ರತಿ ಪುಟವನ್ನು ಓದಬಹುದು. ಕಂಡುಬರಲು ಮತ್ತು ಉಲ್ಲೇಖಿಸಲ್ಪಡಲು ಬಯಸುವ ಹೆಚ್ಚಿನ ಸೈಟ್ಗಳಿಗೆ ಇದು ಸರಿ.
ತರಬೇತಿ ತಡೆಯಿರಿ, AI ಹುಡುಕಾಟ ಅನುಮತಿಸಿ: GPTBot, ClaudeBot, CCBot ಮತ್ತು Google-Extended ನಂತಹ ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳು ತಡೆಯಲ್ಪಡುತ್ತವೆ; OAI-SearchBot, Claude-SearchBot, PerplexityBot ಮತ್ತು ChatGPT-User ನಂತಹ ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಕ್ರಾಲರ್ಗಳು ಅನುಮತಿಸಲ್ಪಡುತ್ತವೆ. ನಿಮ್ಮ ಪುಟಗಳು AI ಉತ್ತರಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಂಡು ಉಲ್ಲೇಖಿಸಲ್ಪಡಬಹುದು.
ಎಲ್ಲ AI ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯಿರಿ: ಪಟ್ಟಿಯಲ್ಲಿನ ಪ್ರತಿ AI ಕ್ರಾಲರ್ ತಡೆಯಲ್ಪಡುತ್ತದೆ. ಆ ಕ್ರಾಲರ್ಗಳು AI ಉತ್ತರಗಳಿಗಾಗಿ ನಿಮ್ಮ ಪುಟಗಳನ್ನು ಪಡೆಯುವುದಿಲ್ಲ, ಇದರರ್ಥ ಸಾಮಾನ್ಯವಾಗಿ ಸಹಾಯಕರಿಂದ ಕಡಿಮೆ ಉಲ್ಲೇಖಗಳು ಮತ್ತು ಕಡಿಮೆ ಟ್ರಾಫಿಕ್.
ಒಂದು ಉದಾಹರಣೆ: ತರಬೇತಿ ತಡೆಯಿರಿ, AI ಹುಡುಕಾಟ ಅನುಮತಿಸಿ
ತಡೆದ ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ಸ್ವಂತ ಗುಂಪು ಇದೆ, ಆದ್ದರಿಂದ ಅದರ Disallow: / ಅದಕ್ಕೆ ಮಾತ್ರ ಅನ್ವಯಿಸುತ್ತದೆ. OAI-SearchBot ಮತ್ತು Googlebot ಸೇರಿದಂತೆ ಉಳಿದ ಎಲ್ಲ ಕ್ರಾಲರ್ಗಳು User-agent: * ಗೆ ಬಂದು ಎಲ್ಲವನ್ನೂ ಓದಬಹುದು. Content-Signal ಸಾಲು ಅದನ್ನು ಓದುವ ಕ್ರಾಲರ್ಗಳಿಗೆ ಅದೇ ಉದ್ದೇಶವನ್ನು ಪುನರಾವರ್ತಿಸುತ್ತದೆ: ಹುಡುಕಾಟ ಮತ್ತು ನೈಜ ಸಮಯದ ಉತ್ತರಗಳು ಹೌದು, ತರಬೇತಿ ಇಲ್ಲ.
ವಿಲೀನಗೊಳಿಸಿ, ಬದಲಿಸಬೇಡಿ. ನಿಮ್ಮ ಈಗಿನ robots.txt ನಲ್ಲಿ ಅಡ್ಮಿನ್ ವಿಭಾಗಗಳು, ಕಾರ್ಟ್ಗಳು ಅಥವಾ ಹುಡುಕಾಟ ಪುಟಗಳಿಗೆ ನಿಯಮಗಳಿದ್ದರೆ, ಅವುಗಳನ್ನು ಹೊಸ ಫೈಲ್ನ User-agent: * ಗುಂಪಿಗೆ ನಕಲಿಸಿ, ಇಲ್ಲದಿದ್ದರೆ ಆ ವಿಭಾಗಗಳನ್ನು ಎಲ್ಲ ಕ್ರಾಲರ್ಗಳಿಗೆ ತೆರೆಯುತ್ತೀರಿ.
ಪ್ರತಿ ಹೋಸ್ಟ್ನ ರೂಟ್ನಲ್ಲಿ ಫೈಲ್ ಇಡಿ: https://example.com/robots.txt. ಸಬ್ಡೊಮೈನ್ಗೆ ಸ್ವಂತ ಫೈಲ್ ಬೇಕು.
ಅದನ್ನು ಸ್ಥಿತಿ 200 ರೊಂದಿಗೆ ಸಾಮಾನ್ಯ ಪಠ್ಯವಾಗಿ ಒದಗಿಸಿ. ಆ ವಿಳಾಸದಲ್ಲಿ HTML ಪುಟ ಅಥವಾ ದೋಷ robots.txt ಆಗಿ ಕೆಲಸ ಮಾಡುವುದಿಲ್ಲ.
ಫಲಿತಾಂಶವನ್ನು robots.txt ಪರೀಕ್ಷಕದಲ್ಲಿ ಅಂಟಿಸಿ ಮತ್ತು ನಿಮಗೆ ಮುಖ್ಯವಾದ ಕ್ರಾಲರ್ಗಳಿಗೆ ಕೆಲವು ನೈಜ ಪಾತ್ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ.
robots.txt ಒಂದು ವಿನಂತಿ ಎಂದು ನೆನಪಿಡಿ. ನೀವು ಅನುಮತಿಸಿದ ಕ್ರಾಲರ್ ಅನ್ನು ಫೈರ್ವಾಲ್ ತಡೆದರೆ, ಫೈಲ್ ಅದನ್ನು ಸರಿಪಡಿಸಲಾರದು; ಪೂರ್ಣ ಪರಿಶೀಲನೆ ಅದನ್ನು ತೋರಿಸುತ್ತದೆ.
ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು
ತರಬೇತಿ ನಿಲ್ಲಿಸಲು OAI-SearchBot ಅಥವಾ PerplexityBot ಅನ್ನು ತಡೆಯುವುದು. ಅವು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳು; ಅವುಗಳನ್ನು ತಡೆದರೆ ನೀವು ಉತ್ತರಗಳಿಂದ ಹೊರಗುಳಿಯುತ್ತೀರಿ.
ಅವುಗಳಲ್ಲಿ ಒಂದನ್ನು ಮಾತ್ರ ತಡೆಯಲು ಬಯಸಿ, ಒಂದೇ Disallow: / ಮೇಲೆ ಹಲವು User-agent ಸಾಲುಗಳನ್ನು ಬರೆಯುವುದು: ಒಂದರ ಕೆಳಗೊಂದು ಇರುವ ಸಾಲುಗಳು ಒಂದೇ ಗುಂಪಾಗುತ್ತವೆ.
ChatGPT-User ನಂತಹ ಬಳಕೆದಾರ ವಿನಂತಿಸಿದ ಫೆಚರ್ಗಳು ತಡೆಯನ್ನು ಪಾಲಿಸುತ್ತವೆ ಎಂದು ನಿರೀಕ್ಷಿಸುವುದು. ಒಬ್ಬ ವ್ಯಕ್ತಿ ಪುಟವನ್ನು ಕೇಳಿದಾಗ ಈ ಏಜೆಂಟ್ಗಳು robots.txt ಪಾಲಿಸದಿರಬಹುದು ಎಂದು ಕೆಲವು ಕಂಪನಿಗಳು ಹೇಳುತ್ತವೆ.
Crawl-delay ಅಥವಾ Noindex ಸಾಲುಗಳನ್ನು ಸೇರಿಸುವುದು. ಅವು RFC 9309 ನ ಭಾಗವಲ್ಲ ಮತ್ತು Google ಎರಡನ್ನೂ ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆ.
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
GPTBot ಅನ್ನು ತಡೆದರೆ ನನ್ನ ಸೈಟ್ ChatGPT ಯಿಂದ ತೆಗೆದುಹಾಕಲ್ಪಡುತ್ತದೆಯೇ?
ಇಲ್ಲ. GPTBot ತರಬೇತಿ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. ChatGPT ಹುಡುಕಾಟ OAI-SearchBot ಅನ್ನು ಬಳಸುತ್ತದೆ, ಮತ್ತು ChatGPT-User ಜನರು ಕೇಳುವ ಪುಟಗಳನ್ನು ತೆರೆಯುತ್ತದೆ. ಉಲ್ಲೇಖಿಸಲ್ಪಡಲು ಬಯಸಿದರೆ ಅವುಗಳನ್ನು ಅನುಮತಿಸಿಯೇ ಇಡಿ.
Content-Signal ಎಂದರೇನು?
ನಿಮ್ಮ ವಿಷಯವನ್ನು ಹೇಗೆ ಬಳಸಬಹುದು ಎಂದು ಹೇಳುವ robots.txt ನ ಒಂದು ಸಾಲು: search, ai-input (ನೈಜ ಸಮಯದ ಉತ್ತರಗಳು) ಮತ್ತು ai-train (ತರಬೇತಿ), ಪ್ರತಿಯೊಂದೂ yes ಅಥವಾ no. ಬೆಂಬಲ ಕಂಪನಿಯಿಂದ ಕಂಪನಿಗೆ ಬದಲಾಗುತ್ತದೆ; ಕ್ರಾಲರ್ಗಳು ಪಾಲಿಸುವ ನಿಯಮ ಕ್ರಾಲರ್-ನಿರ್ದಿಷ್ಟ ಗುಂಪುಗಳೇ.
Google-Extended, Google Search ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆಯೇ?
ಇಲ್ಲ. ಇದು robots.txt ನಲ್ಲಿ ಮಾತ್ರ ಇರುವ ಟೋಕನ್, Google ನಿಮ್ಮ ಪುಟಗಳನ್ನು ತನ್ನ AI ಮಾದರಿಗಳಿಗೆ ಬಳಸಬಹುದೇ ಎಂಬುದನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ; Google Search ನಲ್ಲಿ ಕ್ರಾಲಿಂಗ್ ಅಥವಾ ಶ್ರೇಣಿಯನ್ನು ಬದಲಿಸುವುದಿಲ್ಲ.
ನನ್ನ ಆಯ್ಕೆ ಎಲ್ಲಿಗಾದರೂ ಕಳುಹಿಸಲ್ಪಡುತ್ತದೆಯೇ?
ಇಲ್ಲ. ಜನರೇಟರ್ ನಿಮ್ಮ ಬ್ರೌಸರ್ನಲ್ಲಿ ನಡೆಯುತ್ತದೆ, ಮತ್ತು ನೀವು ಫೈಲ್ ಅನ್ನು ಪರೀಕ್ಷಿಸಲು ಆಯ್ಕೆ ಮಾಡುವವರೆಗೆ ನಮ್ಮ ಸರ್ವರ್ಗೆ ಏನನ್ನೂ ಕಳುಹಿಸಲಾಗುವುದಿಲ್ಲ.