AI ತರಬೇತಿಯನ್ನು ತಡೆದು AI ಹುಡುಕಾಟ ಉತ್ತರಗಳಲ್ಲಿ ಉಳಿಯುವುದು ಹೇಗೆ
ಹೆಚ್ಚಿನ AI ಕಂಪನಿಗಳು ಮಾದರಿ ತರಬೇತಿಗೆ ಮತ್ತು ಹುಡುಕಾಟಕ್ಕೆ ಪ್ರತ್ಯೇಕ robots.txt ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತವೆ. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent ಮತ್ತು CCBot ನಂತಹ ತರಬೇತಿ ಟೋಕನ್ಗಳನ್ನು ನಿಷೇಧಿಸಿ, ಮತ್ತು OAI-SearchBot, Claude-SearchBot ಮತ್ತು PerplexityBot ನಂತಹ ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಟೋಕನ್ಗಳನ್ನು ಅನುಮತಿಸಿ. ಅದೇ ಆದ್ಯತೆಯನ್ನು ಪದಗಳಲ್ಲಿ ಹೇಳಲು Content-Signal ಸಾಲು ಸೇರಿಸಿ.
ಅನೇಕ ಸೈಟ್ ಮಾಲೀಕರಿಗೆ ಒಂದೇ ಸಮಯದಲ್ಲಿ ಎರಡು ವಿಷಯಗಳು ಬೇಕು: ತಮ್ಮ ವಿಷಯವನ್ನು AI ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸಬಾರದು, ಆದರೆ AI ಸಹಾಯಕಗಳು ತಮ್ಮ ಪುಟಗಳನ್ನು ಹುಡುಕಿ, ಉಲ್ಲೇಖಿಸಿ, ಲಿಂಕ್ ಮಾಡಬೇಕು. ಪ್ರಮುಖ ಕಂಪನಿಗಳು ಈಗ ಈ ಕೆಲಸಗಳನ್ನು ಬೇರೆ ಬೇರೆ ಕ್ರಾಲರ್ಗಳು ಅಥವಾ ಟೋಕನ್ಗಳಿಗೆ ಹಂಚಿರುವುದರಿಂದ, robots.txt ಎರಡೂ ಆಯ್ಕೆಗಳನ್ನು ವ್ಯಕ್ತಪಡಿಸಬಲ್ಲದು. ಸಮಸ್ಯೆ ಎಂದರೆ ಹೆಸರುಗಳು ಕಂಪನಿಯಿಂದ ಕಂಪನಿಗೆ ಬೇರೆಯಾಗಿವೆ, ಕೆಲವು ಕಂಪನಿಗಳು ಈ ಮಾದರಿಗೆ ಹೊಂದುವುದಿಲ್ಲ, ಮತ್ತು ಒಂದು ತಪ್ಪು ಸಾಲು ನಿಮ್ಮನ್ನು ತರಬೇತಿ ಡೇಟಾದ ಬದಲು AI ಉತ್ತರಗಳಿಂದಲೇ ತೆಗೆದುಹಾಕಬಹುದು.
ಈ ಪುಟದಲ್ಲಿ
- ತರಬೇತಿ ಕ್ರಾಲರ್ ಮತ್ತು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ನಡುವಿನ ವ್ಯತ್ಯಾಸವೇನು?
- ಯಾವ ಟೋಕನ್ಗಳು ತರಬೇತಿಯನ್ನು ಮತ್ತು ಯಾವುವು ಹುಡುಕಾಟವನ್ನು ನಿಯಂತ್ರಿಸುತ್ತವೆ?
- robots.txt ಹೇಗಿರುತ್ತದೆ?
- ಈಗಾಗಲೇ ಎಷ್ಟು ಸೈಟ್ಗಳು ಇದನ್ನು ಮಾಡುತ್ತಿವೆ?
- Content-Signal ಏನನ್ನು ಸೇರಿಸುತ್ತದೆ?
- ಈ ವಿಭಜನೆ ಎಲ್ಲಿ ಸರಿಯಾಗಿ ಕೆಲಸ ಮಾಡುವುದಿಲ್ಲ?
- ವಿಭಜನೆ ಕೆಲಸ ಮಾಡುತ್ತಿದೆಯೇ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
ತರಬೇತಿ ಕ್ರಾಲರ್ ಮತ್ತು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ನಡುವಿನ ವ್ಯತ್ಯಾಸವೇನು?
ತರಬೇತಿ ಕ್ರಾಲರ್ AI ಮಾದರಿಗಳನ್ನು ನಿರ್ಮಿಸಲು ಅಥವಾ ಸುಧಾರಿಸಲು ಬಳಸಬಹುದಾದ ಪುಟಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. ತರಬೇತಿಯಿಂದ ಮಾತ್ರ ಉಲ್ಲೇಖ ಅಥವಾ ಲಿಂಕ್ ಸಿಗುವುದಿಲ್ಲ. ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಒಂದು ಇಂಡೆಕ್ಸ್ ನಿರ್ಮಿಸುತ್ತದೆ, ಅದನ್ನು AI ಸಹಾಯಕ ಉತ್ತರಕ್ಕಾಗಿ ಮೂಲಗಳನ್ನು ಹುಡುಕಲು ಬಳಸುತ್ತದೆ, ಮತ್ತು ಅದು ಉಲ್ಲೇಖಿಸಬಲ್ಲದ್ದು ಆ ಮೂಲಗಳನ್ನೇ. ಬಳಕೆದಾರ ಪ್ರಚೋದಿತ ಫೆಚರ್ ಯಾರಾದರೂ ಅದರ ಬಗ್ಗೆ ಕೇಳಿದ್ದರಿಂದ ಪುಟವನ್ನು ನೇರವಾಗಿ ತೆರೆಯುತ್ತದೆ.
ಕಂಪನಿಗಳು ಈ ಪಾತ್ರಗಳನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ದಾಖಲಿಸುತ್ತವೆ ಮತ್ತು ಸೆಟ್ಟಿಂಗ್ಗಳು ಸ್ವತಂತ್ರ ಎಂದು ಹೇಳುತ್ತವೆ. ಉದಾಹರಣೆಗೆ, ತನ್ನ ಕ್ರಾಲರ್ಗಳ ಪ್ರತಿ robots.txt ಸೆಟ್ಟಿಂಗ್ ಇತರವುಗಳಿಂದ ಸ್ವತಂತ್ರ ಎಂದು OpenAI ಹೇಳುತ್ತದೆ. ಆದ್ದರಿಂದ ಸರಿಯಾಗಿ ಮಾಡಿದ ತರಬೇತಿ ನಿಷೇಧ ನಿಮ್ಮ ಹುಡುಕಾಟ ಗೋಚರತೆಯನ್ನು ಮುಟ್ಟುವುದಿಲ್ಲ.
ಯಾವ ಟೋಕನ್ಗಳು ತರಬೇತಿಯನ್ನು ಮತ್ತು ಯಾವುವು ಹುಡುಕಾಟವನ್ನು ನಿಯಂತ್ರಿಸುತ್ತವೆ?
ಕಂಪನಿಗಳು ದಾಖಲಿಸಿರುವ ಟೋಕನ್ಗಳು ಇವು, ಅವು ನಿಯಂತ್ರಿಸುವುದರ ಪ್ರಕಾರ ಗುಂಪು ಮಾಡಲಾಗಿದೆ:
- OpenAI:
GPTBotತನ್ನ ಮೂಲ ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸಬಹುದಾದ ವಿಷಯವನ್ನು ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ.OAI-SearchBotChatGPT ಹುಡುಕಾಟಕ್ಕಾಗಿ, ಮತ್ತುChatGPT-Userಬಳಕೆದಾರರ ಕ್ರಿಯೆಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ; ಇದಕ್ಕೆ robots.txt ಅನ್ವಯಿಸದಿರಬಹುದು ಎಂದು OpenAI ಹೇಳುತ್ತದೆ. - Anthropic:
ClaudeBotತರಬೇತಿಗೆ ಕೊಡುಗೆ ನೀಡಬಹುದಾದ ವಿಷಯವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ.Claude-SearchBotClaude ನ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳನ್ನು ಸುಧಾರಿಸುತ್ತದೆ, ಮತ್ತುClaude-Userಬಳಕೆದಾರರಿಗಾಗಿ ಪುಟಗಳನ್ನು ಪಡೆಯುತ್ತದೆ. ತನ್ನ ಬಾಟ್ಗಳು robots.txt ಅನ್ನು ಗೌರವಿಸುತ್ತವೆ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ. - Google:
Google-Extendedತನ್ನದೇ ಕ್ರಾಲರ್ ಇಲ್ಲದ robots.txt ಟೋಕನ್. ಭವಿಷ್ಯದ Gemini ಮಾದರಿಗಳ ತರಬೇತಿಯಲ್ಲಿ ಮತ್ತು Gemini Apps ಹಾಗೂ Vertex AI ಗಾಗಿ grounding ನಲ್ಲಿ ಬಳಕೆಯನ್ನು ಇದು ನಿಯಂತ್ರಿಸುತ್ತದೆ. ಇದು Google Search ನಲ್ಲಿ ಸೇರ್ಪಡೆ ಅಥವಾ ಶ್ರೇಯಾಂಕದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ ಎಂದು Google ಹೇಳುತ್ತದೆ; ಅದನ್ನುGooglebotಮೂಲಕ ನಿಯಂತ್ರಿಸಲಾಗುತ್ತದೆ. - Apple:
Applebot-Extendedಕ್ರಾಲ್ ಮಾಡುವುದಿಲ್ಲ;Applebotಕ್ರಾಲ್ ಮಾಡಿದ ವಿಷಯವನ್ನು Apple ನ ಮೂಲ ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸಬೇಕೇ ಎಂಬುದನ್ನು ಇದು ನಿಯಂತ್ರಿಸುತ್ತದೆ. ಇದನ್ನು ನಿಷೇಧಿಸುವ ಪುಟಗಳು ತನ್ನ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಇನ್ನೂ ಕಾಣಿಸಬಹುದು ಎಂದು Apple ಹೇಳುತ್ತದೆ. - Meta:
meta-externalagentಮೂಲ ಮಾದರಿಗಳ ತರಬೇತಿಯಂತಹ ಬಳಕೆಗಳಿಗಾಗಿ ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ, ಆದರೆmeta-webindexerMeta AI ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳನ್ನು ಸುಧಾರಿಸುತ್ತದೆ. - Common Crawl:
CCBotCommon Crawl ನ ಸಾರ್ವಜನಿಕ ವೆಬ್ ಆರ್ಕೈವ್ ನಿರ್ಮಿಸುತ್ತದೆ. Cloudflare ನ managed robots.txt ಇದನ್ನು ತಾನು ನಿಷೇಧಿಸುವ AI ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳ ಪಟ್ಟಿಯಲ್ಲಿ ಸೇರಿಸಿದೆ. - Perplexity:
PerplexityBotಮತ್ತುPerplexity-Userಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ವಿನಂತಿಗಳನ್ನು ಪೂರೈಸುತ್ತವೆ. ಯಾವುದನ್ನೂ ತರಬೇತಿ ಡೇಟಾ ಸಂಗ್ರಹಿಸಲು ಬಳಸುವುದಿಲ್ಲ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ, ಆದ್ದರಿಂದ ತಡೆಯಲು Perplexity ತರಬೇತಿ ಟೋಕನ್ ಇಲ್ಲ.
robots.txt ಹೇಗಿರುತ್ತದೆ?
RFC 9309 ಪ್ರಕಾರ ಸತತವಾಗಿ ಬರುವ ಹಲವು User-agent ಸಾಲುಗಳು ಒಂದೇ ಗುಂಪು ರೂಪಿಸುತ್ತವೆ, ಆದ್ದರಿಂದ ನಿಯಮಗಳು ಪ್ರತಿಯೊಂದಕ್ಕೂ ಅನ್ವಯಿಸುತ್ತವೆ. ಈ ಫೈಲ್ ಮೇಲಿನ ತರಬೇತಿ ಟೋಕನ್ಗಳನ್ನು ನಿಷೇಧಿಸುತ್ತದೆ, ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಏಜೆಂಟ್ಗಳನ್ನು ಅನುಮತಿಸುತ್ತದೆ, ಮತ್ತು ಒಂದು ಖಾಸಗಿ ಪಥವನ್ನು ಎಲ್ಲರಿಗೂ ಮುಚ್ಚಿಡುತ್ತದೆ:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml ಎರಡು ವಿವರಗಳು ಮುಖ್ಯ. ಮೊದಲನೆಯದು, ಹೆಸರಿಸಿದ ಗುಂಪು * ನಿಂದ ಏನನ್ನೂ ಪಡೆಯುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಯಾವುದೇ ಖಾಸಗಿ ಪಥಗಳನ್ನು ಹುಡುಕಾಟ ಗುಂಪಿನಲ್ಲಿ ಮತ್ತೆ ಬರೆಯಬೇಕು. ಎರಡನೆಯದು, Googlebot ಅಥವಾ Applebot ಅನ್ನು ತರಬೇತಿ ಗುಂಪಿಗೆ ಸೇರಿಸಬೇಡಿ: ಅವು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳು, ಮತ್ತು ಅವುಗಳನ್ನು ತಡೆದರೆ ನೀವು Google Search ಮತ್ತು Apple ಹುಡುಕಾಟ ವೈಶಿಷ್ಟ್ಯಗಳಿಂದ ಹೊರಗುಳಿಯುತ್ತೀರಿ. ಬದಲಾವಣೆಗಳು ತಕ್ಷಣವಲ್ಲ: ಹುಡುಕಾಟಕ್ಕೆ ಸುಮಾರು 24 ಗಂಟೆ ಎಂದು OpenAI ಹೇಳುತ್ತದೆ, ಮತ್ತು 24 ಗಂಟೆಗಳವರೆಗೆ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ.
ಈಗಾಗಲೇ ಎಷ್ಟು ಸೈಟ್ಗಳು ಇದನ್ನು ಮಾಡುತ್ತಿವೆ?
ನೀವು ನಿರೀಕ್ಷಿಸುವುದಕ್ಕಿಂತ ಕಡಿಮೆ. 2026-11-12 ರಂದು Tranco ಪಟ್ಟಿಯ ಅತ್ಯಂತ ಜನಪ್ರಿಯ 1,000 ಡೊಮೇನ್ಗಳ robots.txt ಫೈಲ್ಗಳನ್ನು ನಾವು ಓದಿದೆವು. robots.txt ನೀಡಿದ 518 ರಲ್ಲಿ 155 (29.9%) ಕನಿಷ್ಠ ಒಂದು AI ತರಬೇತಿ ಕ್ರಾಲರ್ಗೆ ಮುಖಪುಟವನ್ನು ನಿಷೇಧಿಸುತ್ತವೆ. ಕೇವಲ 57 (11.0%) ಆಯ್ದ ಮಾರ್ಗ ಅನುಸರಿಸುತ್ತವೆ: ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆದು, ನಾವು ಪರೀಕ್ಷಿಸಿದ ಪ್ರತಿ AI ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಕ್ರಾಲರ್ ಅನ್ನು ಅನುಮತಿಸುತ್ತವೆ. ಒಟ್ಟಾರೆ 101 ಸೈಟ್ಗಳು (19.5%) ಕನಿಷ್ಠ ಒಂದು AI ಹುಡುಕಾಟ ಅಥವಾ ಬಳಕೆದಾರ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುತ್ತವೆ.
ಕ್ರಾಲರ್ವಾರು ಅಂಕಿಅಂಶಗಳೂ ಇದೇ ವಿಭಜನೆಯನ್ನು ತೋರಿಸುತ್ತವೆ. GPTBot ಅನ್ನು 111 ಸೈಟ್ಗಳಲ್ಲಿ (21.4%) ಮತ್ತು OAI-SearchBot ಅನ್ನು 58 ರಲ್ಲಿ (11.2%) ತಡೆಯಲಾಗಿದೆ. ClaudeBot ಅನ್ನು 110 ರಲ್ಲಿ (21.2%) ಮತ್ತು Claude-SearchBot ಅನ್ನು 67 ರಲ್ಲಿ (12.9%). Google-Extended ಅನ್ನು 94 ರಲ್ಲಿ (18.1%), Googlebot ಅನ್ನು 14 ರಲ್ಲಿ (2.7%). ಕೇವಲ 18 ಸೈಟ್ಗಳು (3.5%) Content-Signal ಬಳಸುತ್ತವೆ.
ಅಧ್ಯಯನವು ಮುಖಪುಟದ robots.txt ನಿಯಮಗಳನ್ನು ಮಾತ್ರ ನೋಡುತ್ತದೆ. ಇದು ಫೈರ್ವಾಲ್ ತಡೆಗಳನ್ನು ಅಳೆಯುವುದಿಲ್ಲ, ಮತ್ತು ಪ್ರತಿ ಸೈಟ್ನ ಉದ್ದೇಶವೇನು ಎಂದು ತೋರಿಸುವುದಿಲ್ಲ.
Content-Signal ಏನನ್ನು ಸೇರಿಸುತ್ತದೆ?
Content Signals ಎಂಬುದು Cloudflare contentsignals.org ನಲ್ಲಿ ಪ್ರಕಟಿಸಿದ robots.txt ವಿಸ್ತರಣೆ. Content-Signal ಸಾಲು ವಿಷಯವನ್ನು ಹೇಗೆ ಬಳಸಬಹುದು ಎಂದು ಮೂರು ಸಂಕೇತಗಳೊಂದಿಗೆ ಹೇಳುತ್ತದೆ: search (ಹುಡುಕಾಟ ಇಂಡೆಕ್ಸ್ ನಿರ್ಮಿಸುವುದು ಮತ್ತು ಲಿಂಕ್ಗಳು ಹಾಗೂ ಸಣ್ಣ ಆಯ್ದ ಭಾಗಗಳನ್ನು ತೋರಿಸುವುದು), ai-input (ಉತ್ಪಾದಕ ಉತ್ತರಗಳಿಗಾಗಿ grounding ಅಥವಾ retrieval ನಂತೆ, ವಿಷಯವನ್ನು ನೈಜ ಸಮಯದಲ್ಲಿ AI ಮಾದರಿಗಳಿಗೆ ನೀಡುವುದು) ಮತ್ತು ai-train (ಮಾದರಿಗಳ ತರಬೇತಿ ಅಥವಾ fine-tuning).
search ನ ವ್ಯಾಖ್ಯಾನವು AI ರಚಿತ ಹುಡುಕಾಟ ಸಾರಾಂಶಗಳನ್ನು ಹೊರತುಪಡಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಿ. ನೀವು AI ಉತ್ತರಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಬೇಕಿದ್ದರೆ, ಮೇಲಿನ ಉದಾಹರಣೆಯಂತೆ ai-input=yes ಅನ್ನೂ ಹೊಂದಿಸಿ. Cloudflare ನ managed robots.txt ಡೀಫಾಲ್ಟ್ ಆಗಿ search=yes, ai-train=no ಸೇರಿಸುತ್ತದೆ; ನೀವು ಬಿಟ್ಟುಬಿಡುವ ಸಂಕೇತ ಆ ಬಳಕೆಯನ್ನು ಅನುಮತಿಸುವುದೂ ಇಲ್ಲ, ನಿರ್ಬಂಧಿಸುವುದೂ ಇಲ್ಲ.
ಇವು ಘೋಷಿತ ಆದ್ಯತೆಗಳು. ಅವು ತಾಂತ್ರಿಕ ಮಟ್ಟದಲ್ಲಿ ಕ್ರಾಲಿಂಗ್ ಅನ್ನು ತಡೆಯುವುದಿಲ್ಲ ಎಂದು Content Signals ಸೈಟ್ ಹೇಳುತ್ತದೆ, ಮತ್ತು robots.txt ಪಾಲನೆ ಸ್ವಯಂಪ್ರೇರಿತ ಎಂದು Cloudflare ಗಮನಿಸುತ್ತದೆ. ನಾವು ಪರಿಶೀಲಿಸಿದ OpenAI, Anthropic, Google ಅಥವಾ Perplexity ಕ್ರಾಲರ್ ಪುಟಗಳಲ್ಲಿ ಯಾವುದೂ ಅವು Content-Signal ಓದುತ್ತವೆಯೇ ಎಂದು ಹೇಳುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಇದನ್ನು ಕ್ರಾಲರ್ವಾರು ಗುಂಪುಗಳಿಗೆ ಹೆಚ್ಚುವರಿಯಾಗಿ ಬಳಸಿ, ಬದಲಿಯಾಗಿ ಅಲ್ಲ.
ಈ ವಿಭಜನೆ ಎಲ್ಲಿ ಸರಿಯಾಗಿ ಕೆಲಸ ಮಾಡುವುದಿಲ್ಲ?
ಕೆಲವು ಸಂದರ್ಭಗಳಲ್ಲಿ ಎಚ್ಚರ ಬೇಕು:
- Google AI Overviews ಮತ್ತು AI Mode,
Googlebotನಿರ್ಮಿಸುವ Search ಇಂಡೆಕ್ಸ್ ಅನ್ನು ಆಧರಿಸುತ್ತವೆ, ಆದ್ದರಿಂದGoogle-Extendedನಿಮ್ಮನ್ನು ಅವುಗಳಿಂದ ಹೊರತೆಗೆಯುವುದಿಲ್ಲ. Search ನ ಉತ್ಪಾದಕ AI ವೈಶಿಷ್ಟ್ಯಗಳ ಹಿಂದಿನ ಮಾದರಿಗಳ ತರಬೇತಿಯನ್ನುGoogle-Extendedಮಿತಿಗೊಳಿಸುತ್ತದೆ ಎಂದು Google ನ Search Console ಸಹಾಯ ಪುಟ ಸೇರಿಸುತ್ತದೆ; ಈ ವ್ಯಾಪ್ತಿಯನ್ನು ಅದರ ಕ್ರಾಲರ್ ದಾಖಲೆಗಳು ಉಲ್ಲೇಖಿಸುವುದಿಲ್ಲ. ಸೈಟ್ ಅನ್ನು AI Overviews ಮತ್ತು AI Mode ನಿಂದ ಹೊರಗಿಡಲು Google ಈಗ ಪ್ರತ್ಯೇಕ Search Console ಸೆಟ್ಟಿಂಗ್ ನೀಡುತ್ತದೆ. - ಸೈಟ್
GPTBotಮತ್ತುOAI-SearchBotಎರಡನ್ನೂ ಅನುಮತಿಸಿದರೆ, ಒಂದು ಕ್ರಾಲ್ನ ಫಲಿತಾಂಶಗಳನ್ನು ಎರಡೂ ಉದ್ದೇಶಗಳಿಗೆ ಬಳಸಬಹುದು ಎಂದು OpenAI ಹೇಳುತ್ತದೆ. ವಿಷಯವನ್ನು ತರಬೇತಿಗೆ ಬಳಸಬಾರದು ಎಂದು ಸೂಚಿಸುವುದುGPTBotಅನ್ನು ನಿಷೇಧಿಸುವುದೇ. - ನಿಷೇಧಗಳು ಮುಂದಿನದಕ್ಕೆ ಮಾತ್ರ ಅನ್ವಯಿಸುತ್ತವೆ. ಉದಾಹರಣೆಗೆ,
ClaudeBotಅನ್ನು ನಿಷೇಧಿಸುವುದು ನಿಮ್ಮ ಸೈಟ್ನ ಭವಿಷ್ಯದ ವಿಷಯವನ್ನು ತರಬೇತಿ ಡೇಟಾಸೆಟ್ಗಳಿಂದ ಹೊರಗಿಡುತ್ತದೆ ಎಂದು Anthropic ವಿವರಿಸುತ್ತದೆ. - ಬಳಕೆದಾರ ಪ್ರಚೋದಿತ ಫೆಚರ್ಗಳು ಮಧ್ಯದಲ್ಲಿವೆ. robots.txt
ChatGPT-Userಗೆ ಅನ್ವಯಿಸದಿರಬಹುದು ಮತ್ತುPerplexity-Userಗೆ ಸಾಮಾನ್ಯವಾಗಿ ಅನ್ವಯಿಸುವುದಿಲ್ಲ ಎಂದು OpenAI ಮತ್ತು Perplexity ಹೇಳುತ್ತವೆ. - ಫೈರ್ವಾಲ್ಗಳು robots.txt ಓದುವುದಿಲ್ಲ. ವಿಶಾಲವಾದ ಬಾಟ್-ತಡೆ ನಿಯಮ ನೀವು ಅನುಮತಿಸಿದ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳನ್ನು ನಿಲ್ಲಿಸಬಹುದು. ತರಬೇತಿ ತಡೆಯನ್ನು ಫೈರ್ವಾಲ್ನಲ್ಲಿ ಜಾರಿಗೊಳಿಸಿದರೆ, ತರಬೇತಿ ಏಜೆಂಟ್ಗಳನ್ನು ಹೆಸರಿನಿಂದ ಹೊಂದಿಸಿ ಮತ್ತು ಅವುಗಳ ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳಿಂದ ಪರಿಶೀಲಿಸಿ.
ವಿಭಜನೆ ಕೆಲಸ ಮಾಡುತ್ತಿದೆಯೇ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
ಪ್ರತಿ ಕ್ರಾಲರ್ ಓದುವಂತೆ ನಿಮ್ಮ robots.txt ಓದಿ: ಅದರ ಹೆಸರಿರುವ ಗುಂಪನ್ನು ಹುಡುಕಿ, ಯಾವುದೂ ಇಲ್ಲದಿದ್ದರೆ ಮಾತ್ರ * ಗೆ ಹಿಂತಿರುಗಿ, ಮತ್ತು ಅತಿ ಉದ್ದದ ಹೊಂದುವ ನಿಯಮವನ್ನು ಅನ್ವಯಿಸಿ. ನಂತರ ಪ್ರತಿ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ನ user agent ನೊಂದಿಗೆ ಪುಟವನ್ನು ವಿನಂತಿಸಿ ಮತ್ತು ಅದಕ್ಕೆ 403 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟವಲ್ಲ, ಪೂರ್ಣ ವಿಷಯದೊಂದಿಗೆ 200 ಸಿಗುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿ.
AISeeWhy ತರಬೇತಿ, ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಏಜೆಂಟ್ಗಳಾಗಿ ಗುಂಪು ಮಾಡಿದ 14 ಕ್ರಾಲರ್ಗಳಿಗೆ ಇವೆರಡನ್ನೂ ಮಾಡುತ್ತದೆ, ಮತ್ತು ಅತಿ ಸಾಮಾನ್ಯ ತಪ್ಪನ್ನು ಗುರುತಿಸುತ್ತದೆ: ತರಬೇತಿಯನ್ನು ತಡೆಯಲು ಉದ್ದೇಶಿಸಿ PerplexityBot ಅಥವಾ Claude-SearchBot ನಂತಹ ಹುಡುಕಾಟ ಟೋಕನ್ ಅನ್ನು ತಡೆಯುವುದು.
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆ
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
GPTBot ಅನ್ನು ತಡೆದರೆ ನನ್ನ ಸೈಟ್ ChatGPT ಉತ್ತರಗಳಿಂದ ಹೊರಹೋಗುತ್ತದೆಯೇ?
ಇಲ್ಲ. GPTBot ತರಬೇತಿಗಾಗಿ ಮತ್ತು ಪ್ರತಿ robots.txt ಸೆಟ್ಟಿಂಗ್ ಸ್ವತಂತ್ರ ಎಂದು OpenAI ಹೇಳುತ್ತದೆ. ChatGPT ಹುಡುಕಾಟ OAI-SearchBot ಬಳಸುತ್ತದೆ; ಅದನ್ನು ಅನುಮತಿಸಿರುವವರೆಗೆ ಮತ್ತು ನಿಮ್ಮ ಫೈರ್ವಾಲ್ ತಡೆಯದಿರುವವರೆಗೆ, ನಿಮ್ಮ ಪುಟಗಳು ಅರ್ಹವಾಗಿರುತ್ತವೆ.
Google-Extended ಅನ್ನು ತಡೆದರೆ ನಾನು AI Overviews ನಿಂದ ಹೊರಹೋಗುತ್ತೇನೆಯೇ?
Google ದಾಖಲೆಗಳ ಪ್ರಕಾರ ಇಲ್ಲ. Google-Extended Google Search ನಲ್ಲಿ ಸೇರ್ಪಡೆಯ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ ಎಂದು Google ಹೇಳುತ್ತದೆ, ಮತ್ತು AI Overviews Search ಇಂಡೆಕ್ಸ್ ಅನ್ನು ಆಧರಿಸುತ್ತವೆ. ಸೈಟ್ ಅನ್ನು AI Overviews ಮತ್ತು AI Mode ನಿಂದ ಹೊರಗಿಡಲು Google ಪ್ರತ್ಯೇಕ Search Console ನಿಯಂತ್ರಣ ನೀಡುತ್ತದೆ.
ಎಲ್ಲಾ AI ತರಬೇತಿಯನ್ನು ತಡೆಯುವ ಒಂದೇ ಸಾಲು ಇದೆಯೇ?
ಯಾವುದೇ ಪ್ರಮಾಣಿತ ಸಾಲು ಇಲ್ಲ. Content-Signal: ai-train=no ಎಲ್ಲಾ ಕ್ರಾಲರ್ಗಳಿಗೆ ಆದ್ಯತೆಯನ್ನು ಹೇಳುತ್ತದೆ, ಆದರೆ ಕ್ರಾಲರ್ ಅದನ್ನು ಗೌರವಿಸುತ್ತದೆಯೇ ಎಂಬುದು ಅದರ ನಿರ್ವಾಹಕರನ್ನು ಅವಲಂಬಿಸಿದೆ. ಪ್ರತಿ ತರಬೇತಿ ಟೋಕನ್ಗೆ ಹೆಸರಿಸಿದ ಗುಂಪುಗಳೇ ದಾಖಲಿತ ಮಾರ್ಗ.
AI ತರಬೇತಿ ನಿಲ್ಲಿಸಲು ನಾನು Perplexity ಯನ್ನು ತಡೆಯಬೇಕೇ?
ತನ್ನ ಏಜೆಂಟ್ಗಳನ್ನು ತರಬೇತಿ ಡೇಟಾ ಸಂಗ್ರಹಿಸಲು ಬಳಸುವುದಿಲ್ಲ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ. PerplexityBot ಅನ್ನು ತಡೆಯುವುದು ತರಬೇತಿಯಿಂದ ಹೊರಗುಳಿಯಲು ಸಹಾಯ ಮಾಡದೆ Perplexity ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ನಿಮ್ಮ ಗೋಚರತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
ಮೂಲಗಳು
- OpenAI: OpenAI ಕ್ರಾಲರ್ಗಳ ಅವಲೋಕನ
- Anthropic: Anthropic ವೆಬ್ನಿಂದ ಡೇಟಾ ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆಯೇ, ಮತ್ತು ಸೈಟ್ ಮಾಲೀಕರು ಕ್ರಾಲರ್ ಅನ್ನು ಹೇಗೆ ತಡೆಯಬಹುದು?
- Google: ಸಾಮಾನ್ಯ ಕ್ರಾಲರ್ಗಳು, Google-Extended ಸೇರಿದಂತೆ
- Google Search Console ಸಹಾಯ: Search ಉತ್ಪಾದಕ AI ನಿಯಂತ್ರಣ
- Apple: Applebot ಕುರಿತು
- Meta: Meta ವೆಬ್ ಕ್ರಾಲರ್ಗಳು
- Common Crawl: CCBot
- Perplexity: Perplexity ಕ್ರಾಲರ್ಗಳು
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt ಮತ್ತು Content Signals
- AISeeWhy: AI ಕ್ರಾಲರ್ ಪ್ರವೇಶ ವರದಿ, 2026-11