AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ robots.txt ಜನರೇಟರ್

ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ಯಾವ AI ಕ್ರಾಲರ್‌ಗಳು ಓದಬಹುದು ಎಂದು ಆರಿಸಿ ಮತ್ತು ರಚಿಸಿದ robots.txt ಅನ್ನು ನಕಲಿಸಿ. GPTBot ಮತ್ತು ClaudeBot ನಂತಹ AI ತರಬೇತಿ ಕ್ರಾಲರ್‌ಗಳನ್ನು ತಡೆದು, OAI-SearchBot ಮತ್ತು PerplexityBot ನಂತಹ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಅನುಮತಿಸುವುದು ಸಾಮಾನ್ಯ ಆಯ್ಕೆ; ಹೀಗೆ ನಿಮ್ಮ ಪುಟಗಳು AI ಉತ್ತರಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಬಹುದು ಮತ್ತು ಉಲ್ಲೇಖಗೊಳ್ಳಬಹುದು.

ಇದರಿಂದ ಪ್ರಾರಂಭಿಸಿ
AI ತರಬೇತಿ
AI ಹುಡುಕಾಟ
ಬಳಕೆದಾರ ವಿನಂತಿಸಿದ ಪಡೆಯುವಿಕೆ
Content-Signal (ಐಚ್ಛಿಕ): ನೀವು ಅನುಮತಿಸುವುದನ್ನು ಗುರುತಿಸಿ

ಬಳಕೆದಾರ ವಿನಂತಿಸಿದ ಪಡೆಯುವಿಕೆಗಳನ್ನು ತಡೆಯುವುದರ ಪರಿಣಾಮ ಸೀಮಿತ: ಒಬ್ಬ ವ್ಯಕ್ತಿ ಪುಟವನ್ನು ಕೇಳಿದ್ದರಿಂದ ಈ ಏಜೆಂಟ್‌ಗಳು robots.txt ಪಾಲಿಸದಿರಬಹುದು ಎಂದು ಕೆಲವು ಕಂಪನಿಗಳು ಹೇಳುತ್ತವೆ. ಪ್ರಕಟಿಸುವ ಮೊದಲು ಫಲಿತಾಂಶವನ್ನು robots.txt ಪರೀಕ್ಷಕದಿಂದ ಪರೀಕ್ಷಿಸಿ. AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ →

ಇದನ್ನು ಹೇಗೆ ಬಳಸುವುದು

ಫೈಲ್ ಅನ್ನು ನಿಮ್ಮ ಡೊಮೇನ್‌ನ ಮೂಲದಲ್ಲಿ ಇಡಿ (https://example.com/robots.txt). ಇತರ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಈಗಾಗಲೇ ನಿಯಮಗಳಿದ್ದರೆ, ಅವನ್ನು ಉಳಿಸಿಕೊಂಡು AI ಗುಂಪುಗಳನ್ನು ಮಾತ್ರ ಸೇರಿಸಿ. ಪ್ರತಿ ಕ್ರಾಲರ್ ಮುಂದಿನ ಬಾರಿ ಫೈಲ್ ಓದಿದಾಗ ಬದಲಾವಣೆಗಳು ಜಾರಿಗೆ ಬರುತ್ತವೆ, ಸಾಮಾನ್ಯವಾಗಿ ಒಂದು ದಿನದೊಳಗೆ.

ಪೂರ್ಣ ಪರಿಶೀಲನೆ ನಡೆಸಿ →

ಮಾರ್ಗದರ್ಶಿ

robots.txt ಜನರೇಟರ್ ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು

ಈ ಪಠ್ಯವನ್ನು ಇಂಗ್ಲಿಷ್‌ನಿಂದ ಯಂತ್ರದ ಮೂಲಕ ಅನುವಾದಿಸಲಾಗಿದೆ.

ಜನರೇಟರ್ ಏನು ಬರೆಯುತ್ತದೆ

ನಿಮ್ಮ ಸೈಟ್ ಓದಬಹುದಾದ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಟಿಕ್ ಮಾಡಿ ಮತ್ತು ತಡೆಯಲು ಬಯಸುವವನ್ನು ಅನ್‌ಟಿಕ್ ಮಾಡಿ. ಜನರೇಟರ್ ತಡೆದ ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೆ ಒಂದು ಗುಂಪಿನೊಂದಿಗೆ, User-agent: <token> ನಂತರ Disallow: /, ಮತ್ತು ಕೊನೆಗೆ ಉಳಿದೆಲ್ಲವನ್ನೂ ಅನುಮತಿಸುವ User-agent: * ಗುಂಪಿನೊಂದಿಗೆ robots.txt ಬರೆಯುತ್ತದೆ. ಸೈಟ್‌ಮ್ಯಾಪ್ ವಿಳಾಸ ಸೇರಿಸಿದರೆ ಅದು Sitemap ಸಾಲನ್ನು ಸೇರಿಸುತ್ತದೆ. Content-Signal ಆಯ್ಕೆಗಳನ್ನು ಟಿಕ್ ಮಾಡಿದರೆ, ನಿಮ್ಮ ವಿಷಯವನ್ನು ಹೇಗೆ ಬಳಸಬಹುದು ಎಂದು ಹೇಳುವ Content-Signal ಸಾಲನ್ನು ಸೇರಿಸುತ್ತದೆ.

ನಿಮ್ಮ ಬ್ರೌಸರ್‌ನಿಂದ ಏನೂ ಹೊರಹೋಗುವುದಿಲ್ಲ: ನೀವು ಕ್ಲಿಕ್ ಮಾಡುತ್ತಿದ್ದಂತೆ ಫೈಲ್ ಪುಟದಲ್ಲೇ ರಚನೆಯಾಗುತ್ತದೆ, ಮತ್ತು ನೀವು ಅದನ್ನು ಔಟ್‌ಪುಟ್ ಬಾಕ್ಸ್‌ನಿಂದ ನಕಲಿಸುತ್ತೀರಿ.

ಯಾವ ಪ್ರೀಸೆಟ್‌ನಿಂದ ಪ್ರಾರಂಭಿಸಬೇಕು

ಒಂದು ಉದಾಹರಣೆ: ತರಬೇತಿ ತಡೆಯಿರಿ, AI ಹುಡುಕಾಟ ಅನುಮತಿಸಿ

ತಡೆದ ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೆ ಸ್ವಂತ ಗುಂಪು ಇದೆ, ಆದ್ದರಿಂದ ಅದರ Disallow: / ಅದಕ್ಕೆ ಮಾತ್ರ ಅನ್ವಯಿಸುತ್ತದೆ. OAI-SearchBot ಮತ್ತು Googlebot ಸೇರಿದಂತೆ ಉಳಿದ ಎಲ್ಲ ಕ್ರಾಲರ್‌ಗಳು User-agent: * ಗೆ ಬಂದು ಎಲ್ಲವನ್ನೂ ಓದಬಹುದು. Content-Signal ಸಾಲು ಅದನ್ನು ಓದುವ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಅದೇ ಉದ್ದೇಶವನ್ನು ಪುನರಾವರ್ತಿಸುತ್ತದೆ: ಹುಡುಕಾಟ ಮತ್ತು ನೈಜ ಸಮಯದ ಉತ್ತರಗಳು ಹೌದು, ತರಬೇತಿ ಇಲ್ಲ.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

ಪ್ರಕಟಿಸುವ ಮೊದಲು

ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

GPTBot ಅನ್ನು ತಡೆದರೆ ನನ್ನ ಸೈಟ್ ChatGPT ಯಿಂದ ತೆಗೆದುಹಾಕಲ್ಪಡುತ್ತದೆಯೇ?

ಇಲ್ಲ. GPTBot ತರಬೇತಿ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. ChatGPT ಹುಡುಕಾಟ OAI-SearchBot ಅನ್ನು ಬಳಸುತ್ತದೆ, ಮತ್ತು ChatGPT-User ಜನರು ಕೇಳುವ ಪುಟಗಳನ್ನು ತೆರೆಯುತ್ತದೆ. ಉಲ್ಲೇಖಿಸಲ್ಪಡಲು ಬಯಸಿದರೆ ಅವುಗಳನ್ನು ಅನುಮತಿಸಿಯೇ ಇಡಿ.

Content-Signal ಎಂದರೇನು?

ನಿಮ್ಮ ವಿಷಯವನ್ನು ಹೇಗೆ ಬಳಸಬಹುದು ಎಂದು ಹೇಳುವ robots.txt ನ ಒಂದು ಸಾಲು: search, ai-input (ನೈಜ ಸಮಯದ ಉತ್ತರಗಳು) ಮತ್ತು ai-train (ತರಬೇತಿ), ಪ್ರತಿಯೊಂದೂ yes ಅಥವಾ no. ಬೆಂಬಲ ಕಂಪನಿಯಿಂದ ಕಂಪನಿಗೆ ಬದಲಾಗುತ್ತದೆ; ಕ್ರಾಲರ್‌ಗಳು ಪಾಲಿಸುವ ನಿಯಮ ಕ್ರಾಲರ್-ನಿರ್ದಿಷ್ಟ ಗುಂಪುಗಳೇ.

Google-Extended, Google Search ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆಯೇ?

ಇಲ್ಲ. ಇದು robots.txt ನಲ್ಲಿ ಮಾತ್ರ ಇರುವ ಟೋಕನ್, Google ನಿಮ್ಮ ಪುಟಗಳನ್ನು ತನ್ನ AI ಮಾದರಿಗಳಿಗೆ ಬಳಸಬಹುದೇ ಎಂಬುದನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ; Google Search ನಲ್ಲಿ ಕ್ರಾಲಿಂಗ್ ಅಥವಾ ಶ್ರೇಣಿಯನ್ನು ಬದಲಿಸುವುದಿಲ್ಲ.

ನನ್ನ ಆಯ್ಕೆ ಎಲ್ಲಿಗಾದರೂ ಕಳುಹಿಸಲ್ಪಡುತ್ತದೆಯೇ?

ಇಲ್ಲ. ಜನರೇಟರ್ ನಿಮ್ಮ ಬ್ರೌಸರ್‌ನಲ್ಲಿ ನಡೆಯುತ್ತದೆ, ಮತ್ತು ನೀವು ಫೈಲ್ ಅನ್ನು ಪರೀಕ್ಷಿಸಲು ಆಯ್ಕೆ ಮಾಡುವವರೆಗೆ ನಮ್ಮ ಸರ್ವರ್‌ಗೆ ಏನನ್ನೂ ಕಳುಹಿಸಲಾಗುವುದಿಲ್ಲ.

ಸಂಬಂಧಿತ ಉಪಕರಣಗಳು ಮತ್ತು ಮಾರ್ಗದರ್ಶಿಗಳು