AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ robots.txt: ಏನನ್ನು ಅನುಮತಿಸಬೇಕು, ಏನನ್ನು ತಡೆಯಬೇಕು

ಪ್ರಕಟಿಸಲಾಗಿದೆ

ಚಿಕ್ಕ ಉತ್ತರ

ನಿಮಗೆ ಮುಖ್ಯವಾದ ಪ್ರತಿ AI ಕ್ರಾಲರ್‌ಗೆ ಅದರದೇ User-agent ಗುಂಪು ನೀಡಿ. ಉಲ್ಲೇಖಿಸಲ್ಪಡಬೇಕಿದ್ದರೆ OAI-SearchBot, Claude-SearchBot ಮತ್ತು PerplexityBot ನಂತಹ ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಅನುಮತಿಸಿ, ಮತ್ತು GPTBot, ClaudeBot, Google-Extended ಮತ್ತು Applebot-Extended ನಂತಹ ತರಬೇತಿ ಟೋಕನ್‌ಗಳ ಕುರಿತು ಪ್ರತ್ಯೇಕವಾಗಿ ನಿರ್ಧರಿಸಿ. ಹೆಸರಿರುವ ಗುಂಪು ಆ ಕ್ರಾಲರ್‌ಗೆ * ಗುಂಪಿನ ಸ್ಥಾನವನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ.

robots.txt 1994 ರಷ್ಟು ಹಳೆಯ ಸರಳ ಪಠ್ಯ ಫೈಲ್, 2022 ರಲ್ಲಿ ಅದು RFC 9309 ಎಂಬ ಅಧಿಕೃತ ಮಾನದಂಡವಾಯಿತು. ಹೆಚ್ಚಿನ AI ಮಾರಾಟಗಾರರು ತಮ್ಮ ಕ್ರಾಲರ್‌ಗಳು ಅದನ್ನು ಪಾಲಿಸುತ್ತವೆ ಎಂದು ಹೇಳುತ್ತಾರೆ, ಮತ್ತು ಹಲವರು ಹುಡುಕಾಟಕ್ಕೂ ತರಬೇತಿಗೂ ಪ್ರತ್ಯೇಕ ಟೋಕನ್‌ಗಳನ್ನು ಪ್ರಕಟಿಸುತ್ತಾರೆ. ಹೀಗಾಗಿ AI ನೀತಿಯನ್ನು ಹೇಳಲು robots.txt ಅತ್ಯಂತ ಸರಳ ಸ್ಥಳ, ನಿಯಮಗಳು ನೀವು ಅಂದುಕೊಂಡ ಅರ್ಥವನ್ನೇ ನೀಡುತ್ತಿದ್ದರೆ ಮಾತ್ರ.

ಈ ಪುಟದಲ್ಲಿ
  1. AI ಕ್ರಾಲರ್‌ಗಳು ಯಾವ robots.txt ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸುತ್ತವೆ?
  2. ಉತ್ತಮ AI robots.txt ಹೇಗಿರುತ್ತದೆ?
  3. ತಮಗೆ ಯಾವ ನಿಯಮಗಳು ಅನ್ವಯಿಸುತ್ತವೆ ಎಂದು ಕ್ರಾಲರ್‌ಗಳು ಹೇಗೆ ಆರಿಸುತ್ತವೆ?
  4. robots.txt ನ ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು ಯಾವುವು?
  5. ಅನುಮತಿ ಮತ್ತು ನಿಷೇಧದ ಆಚೆ AI ಬಳಕೆ ನೀತಿಯನ್ನು ಹೇಳಬಹುದೇ?
  6. ಬದಲಾವಣೆಗಳಿಗೆ ಎಷ್ಟು ಸಮಯ ಬೇಕು, ಮತ್ತು ಅವನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?

AI ಕ್ರಾಲರ್‌ಗಳು ಯಾವ robots.txt ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸುತ್ತವೆ?

ಇವು ಮಾರಾಟಗಾರರು ದಾಖಲಿಸಿರುವ ಟೋಕನ್‌ಗಳು. RFC 9309 ಪ್ರಕಾರ ಹೊಂದಾಣಿಕೆಯಲ್ಲಿ ದೊಡ್ಡಕ್ಷರ-ಸಣ್ಣಕ್ಷರ ವ್ಯತ್ಯಾಸ ಲೆಕ್ಕಕ್ಕಿಲ್ಲ.

ಉತ್ತಮ AI robots.txt ಹೇಗಿರುತ್ತದೆ?

ಈ ಉದಾಹರಣೆ AI ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಫೆಚ್‌ಗಳನ್ನು ಒಳಬಿಡುತ್ತದೆ, ಮುಖ್ಯ ತರಬೇತಿ ಟೋಕನ್‌ಗಳಿಂದ ಹೊರಗುಳಿಯುತ್ತದೆ ಮತ್ತು ಒಂದು ಖಾಸಗಿ ಭಾಗವನ್ನು ಎಲ್ಲರಿಗೂ ಮುಚ್ಚಿಡುತ್ತದೆ:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

ಸಾಲಾಗಿ ಬರುವ ಹಲವು User-agent ಸಾಲುಗಳು ಒಂದೇ ಗುಂಪಾಗುತ್ತವೆ, ಆದ್ದರಿಂದ ಅವುಗಳ ಕೆಳಗಿನ ನಿಯಮಗಳು ಆ ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೂ ಅನ್ವಯಿಸುತ್ತವೆ. ನಿಮ್ಮ ವಿಷಯ ತರಬೇತಿಗೆ ಬಳಕೆಯಾಗಲಿ ಎಂದಿದ್ದರೆ, ಎರಡನೇ ಗುಂಪನ್ನು ಬಿಟ್ಟುಬಿಡಿ. Google-Extended ತಡೆಯುವುದು Google ಹುಡುಕಾಟದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ: ಅದು ಹುಡುಕಾಟದಲ್ಲಿ ಸೇರ್ಪಡೆಯ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ ಮತ್ತು ರ‍್ಯಾಂಕಿಂಗ್ ಸಂಕೇತವಲ್ಲ ಎಂದು Google ಹೇಳುತ್ತದೆ. ಹಾಗೆಯೇ, Applebot-Extended ನಿಷೇಧಿಸಿದ ಪುಟಗಳು ತನ್ನ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಈಗಲೂ ಕಾಣಿಸಬಹುದು ಎಂದು Apple ಹೇಳುತ್ತದೆ.

ತಮಗೆ ಯಾವ ನಿಯಮಗಳು ಅನ್ವಯಿಸುತ್ತವೆ ಎಂದು ಕ್ರಾಲರ್‌ಗಳು ಹೇಗೆ ಆರಿಸುತ್ತವೆ?

RFC 9309 ಇದನ್ನು ನಿಖರವಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ, ಮತ್ತು ಈ ವಿವರಗಳೇ ಹೆಚ್ಚಿನ ಅಚ್ಚರಿಗಳನ್ನು ವಿವರಿಸುತ್ತವೆ:

robots.txt ನ ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು ಯಾವುವು?

ಅನುಮತಿ ಮತ್ತು ನಿಷೇಧದ ಆಚೆ AI ಬಳಕೆ ನೀತಿಯನ್ನು ಹೇಳಬಹುದೇ?

Cloudflare robots.txt ಗೆ ಮೂರು ಸಂಕೇತಗಳಿರುವ Content-Signal ಸಾಲನ್ನು ಪ್ರಸ್ತಾಪಿಸಿದೆ: search (ಹುಡುಕಾಟ ಇಂಡೆಕ್ಸ್ ನಿರ್ಮಿಸಿ ಲಿಂಕ್‌ಗಳು ಮತ್ತು ಚಿಕ್ಕ ಆಯ್ದ ಭಾಗಗಳನ್ನು ತೋರಿಸುವುದು), ai-input (AI ಉತ್ತರಗಳಿಗಾಗಿ ವಿಷಯವನ್ನು ನೈಜ ಸಮಯದಲ್ಲಿ ಬಳಸುವುದು) ಮತ್ತು ai-train (ಮಾದರಿಗಳ ತರಬೇತಿ ಅಥವಾ fine-tuning). Cloudflare ನ managed robots.txt ಅದನ್ನು ನಿಮಗಾಗಿ ಸೇರಿಸಬಲ್ಲದು.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txt ನಲ್ಲಿರುವ ಎಲ್ಲದರಂತೆ ಇವೂ ಆದ್ಯತೆಗಳು, ತಾಂತ್ರಿಕ ನಿಯಂತ್ರಣಗಳಲ್ಲ. robots.txt ಪಾಲನೆ ಸ್ವಯಂಪ್ರೇರಿತ ಎಂದು Cloudflare ತಾನೇ ಗಮನಿಸುತ್ತದೆ. ಈ ಸಾಲು ಐಚ್ಛಿಕ ಮತ್ತು ಹಾನಿ ಮಾಡುವುದಿಲ್ಲ, ಆದರೆ ಮೇಲಿನ ಪ್ರತಿ-ಕ್ರಾಲರ್ ಗುಂಪುಗಳಿಗೆ ಬದಲಿಯಲ್ಲ.

ಬದಲಾವಣೆಗಳಿಗೆ ಎಷ್ಟು ಸಮಯ ಬೇಕು, ಮತ್ತು ಅವನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?

ಕ್ರಾಲರ್‌ಗಳು ಕ್ಯಾಶ್ ಮಾಡಿದ robots.txt ಅನ್ನು 24 ಗಂಟೆಗಳಿಗಿಂತ ಹೆಚ್ಚು ಬಳಸಬಾರದು ಎಂದು RFC 9309 ಹೇಳುತ್ತದೆ, ಮತ್ತು ಬದಲಾವಣೆಗಳು ಜಾರಿಯಾಗಲು ಸುಮಾರು ಒಂದು ದಿನ ಬೇಕಾಗಬಹುದು ಎಂದು OpenAI ಮತ್ತು Perplexity ಎರಡೂ ಹೇಳುತ್ತವೆ. robots.txt ಪ್ರವೇಶ ನಿಯಂತ್ರಣವಲ್ಲ ಎಂಬುದನ್ನೂ ನೆನಪಿಡಿ: ನಿಮ್ಮ ನಿಯಮಗಳು ಅನುಮತಿಸುವ ಕ್ರಾಲರ್ ಅನ್ನು ಫೈರ್‌ವಾಲ್ ಈಗಲೂ ತಡೆಯಬಹುದು.

AISeeWhy ತಾನು ಪರೀಕ್ಷಿಸುವ ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೆ ನಿಮ್ಮ robots.txt ಅನ್ನು RFC 9309 ಪ್ರಕಾರ ಪಾರ್ಸ್ ಮಾಡುತ್ತದೆ, ತಲುಪಲಾಗದ ಅಥವಾ HTML ಆಗಿ ನೀಡಲ್ಪಡುವ ಫೈಲ್‌ಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ, ನಿಮ್ಮ ನಿಯಮಗಳು ಮತ್ತು ಸರ್ವರ್ ಎಲ್ಲಿ ಭಿನ್ನವಾಗಿವೆ ಎಂದು ತೋರಿಸುತ್ತದೆ ಮತ್ತು ಬದಲಾವಣೆಗೆ ಸಿದ್ಧ diff ನೀಡುತ್ತದೆ.

ಈ ಸಮಸ್ಯೆಗೆ ಪರಿಹಾರಗಳು

ಉಚಿತ ಉಪಕರಣಗಳು

ಮುಂದಿನ ಹಂತಗಳು

ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್‌ಗಳು

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

GPTBot ಅಥವಾ ClaudeBot ತಡೆದರೆ AI ಉತ್ತರಗಳಲ್ಲಿ ನನ್ನ ಗೋಚರತೆಗೆ ಹಾನಿಯೇ?

ನೇರವಾಗಿ ಇಲ್ಲ. ಎರಡೂ ಮಾರಾಟಗಾರರು ಹುಡುಕಾಟಕ್ಕೆ ಪ್ರತ್ಯೇಕ ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಬಳಸುತ್ತಾರೆ, OAI-SearchBot ಮತ್ತು Claude-SearchBot. ತರಬೇತಿ ಕ್ರಾಲರ್ ತಡೆಯುವುದು ನೀತಿಯ ಆಯ್ಕೆ.

Google-Extended, AI Overviews ಅನ್ನು ನಿಲ್ಲಿಸುತ್ತದೆಯೇ?

ಇಲ್ಲ. ಹುಡುಕಾಟದ AI ವೈಶಿಷ್ಟ್ಯಗಳು Googlebot ಮತ್ತು nosnippet, noindex ನಂತಹ ಸಾಮಾನ್ಯ ಹುಡುಕಾಟ ನಿಯಂತ್ರಣಗಳನ್ನು ಬಳಸುತ್ತವೆ ಎಂದು Google ಹೇಳುತ್ತದೆ. Google-Extended ಇತರ Google ಉತ್ಪನ್ನಗಳಲ್ಲಿನ Gemini ತರಬೇತಿ ಮತ್ತು grounding ಅನ್ನು ಒಳಗೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಹುಡುಕಾಟದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ.

AI ಕ್ರಾಲರ್‌ಗಳು Crawl-delay ಬೆಂಬಲಿಸುತ್ತವೆಯೇ?

ಅದು RFC 9309 ನ ಭಾಗವಲ್ಲ. Anthropic Crawl-delay ಅನ್ನು ಮಾನದಂಡವಲ್ಲದ ವಿಸ್ತರಣೆಯಾಗಿ ಬೆಂಬಲಿಸುವುದಾಗಿ ಹೇಳುತ್ತದೆ; ಇತರ ಮಾರಾಟಗಾರರಿಗೆ ಅವರ ದಾಖಲೆಗಳನ್ನು ನೋಡಿ.

robots.txt ಎಲ್ಲಿರಬೇಕು?

ಪ್ರತಿ ಹೋಸ್ಟ್‌ನ ರೂಟ್‌ನಲ್ಲಿ, ಉದಾಹರಣೆಗೆ https://example.com/robots.txt. ಉಪ ಫೋಲ್ಡರ್‌ನಲ್ಲಿರುವ ಫೈಲ್ ಕಡೆಗಣಿಸಲ್ಪಡುತ್ತದೆ, ಮತ್ತು ಪ್ರತಿ ಸಬ್‌ಡೊಮೇನ್‌ಗೆ ತನ್ನದೇ ಫೈಲ್ ಬೇಕು.

ಮೂಲಗಳು

ಇನ್ನಷ್ಟು ಲೇಖನಗಳು