llms.txt ಎಂದರೇನು, ಅದನ್ನು ಸೇರಿಸುವುದು ಯೋಗ್ಯವೇ?

ಪ್ರಕಟಿಸಲಾಗಿದೆ

ಚಿಕ್ಕ ಉತ್ತರ

llms.txt ಎಂಬುದು /llms.txt ನಲ್ಲಿ ಇರಿಸಲು ಪ್ರಸ್ತಾಪಿಸಲಾದ Markdown ಫೈಲ್; ಇದು AI ಸಾಧನಗಳಿಗೆ ನಿಮ್ಮ ಸೈಟ್‌ನ ಚಿಕ್ಕ ಸಾರಾಂಶ ಮತ್ತು ಅದರ ಅತ್ಯಂತ ಉಪಯುಕ್ತ ಪುಟಗಳ ಲಿಂಕ್‌ಗಳ ಪಟ್ಟಿಯನ್ನು ನೀಡುತ್ತದೆ. ಇದು ಸಮುದಾಯದ ಪ್ರಸ್ತಾವ, ಮಾನದಂಡವಲ್ಲ, ಮತ್ತು ಪ್ರಮುಖ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳು ಇದನ್ನು ಬಳಸುವುದಾಗಿ ಹೇಳಿಲ್ಲ. ಸೇರಿಸುವುದು ಸುಲಭ, ಆದರೆ ಇದು ಕ್ರಾಲ್ ಮಾಡಬಹುದಾದ HTML ಗೆ ಬದಲಿಯಲ್ಲ.

llms.txt ಗೆ ಸಾಕಷ್ಟು ಗಮನ ಸಿಗುತ್ತಿದೆ, ಆಗಾಗ ಇದನ್ನು AI ಯ robots.txt ಎಂದು ಪರಿಚಯಿಸಲಾಗುತ್ತದೆ. ಇದು ಬೇರೆಯದೇ: ಕ್ರಾಲರ್‌ಗಳು ಏನನ್ನು ಪಡೆಯಬಹುದು ಎಂದು robots.txt ಹೇಳುತ್ತದೆ, llms.txt ಓದಲು ಯೋಗ್ಯವಾದ ವಿಷಯದತ್ತ AI ಸಾಧನಗಳನ್ನು ಕರೆದೊಯ್ಯುವ ಓದುವ ಮಾರ್ಗದರ್ಶಿ. ಪ್ರಸ್ತಾವ ಏನು ಹೇಳುತ್ತದೆ, ಅದರ ಬಳಕೆಯ ಕುರಿತು ಏನು ತಿಳಿದಿದೆ ಮತ್ತು ಅದನ್ನು ಹೇಗೆ ಬರೆಯುವುದು ಎಂಬುದು ಇಲ್ಲಿದೆ.

ಈ ಪುಟದಲ್ಲಿ
  1. llms.txt ಎಲ್ಲಿಂದ ಬಂತು?
  2. llms.txt ಫೈಲ್‌ನಲ್ಲಿ ಏನಿರುತ್ತದೆ?
  3. ಇಂದು llms.txt ಅನ್ನು ನಿಜವಾಗಿ ಯಾರು ಓದುತ್ತಾರೆ?
  4. ಆದರೂ ಒಂದನ್ನು ಸೇರಿಸಬೇಕೇ?
  5. ಉತ್ತಮ llms.txt ಬರೆಯುವುದು ಹೇಗೆ?
  6. AISeeWhy llms.txt ಅನ್ನು ಹೇಗೆ ಪರಿಗಣಿಸುತ್ತದೆ?

llms.txt ಎಲ್ಲಿಂದ ಬಂತು?

Jeremy Howard ಸೆಪ್ಟೆಂಬರ್ 2024 ರಲ್ಲಿ /llms.txt ಫೈಲ್ ಅನ್ನು ಪ್ರಸ್ತಾಪಿಸಿದರು, ಮತ್ತು ಪ್ರಸ್ತಾವವನ್ನು llmstxt.org ನಲ್ಲಿ ನಿರ್ವಹಿಸಲಾಗುತ್ತಿದೆ. ಭಾಷಾ ಮಾದರಿಗಳು ಮತ್ತು ಏಜೆಂಟ್‌ಗಳು ತರಬೇತಿಗಾಗಿ ಅಲ್ಲ, ಬಳಕೆಯ ಸಮಯದಲ್ಲಿ ವೆಬ್‌ಸೈಟ್ ಬಳಸಲು ನೆರವಾಗುವ ಒಂದೇ ಫೈಲ್ ಅನ್ನು ಮಾನದಂಡಗೊಳಿಸುವುದು ಇದರ ಗುರಿ, ಉದಾಹರಣೆಗೆ ಕೋಡಿಂಗ್ ಸಹಾಯಕಕ್ಕೆ ಲೈಬ್ರರಿಯ ದಾಖಲೆಗಳು ಬೇಕಾದಾಗ.

ಈ ಉಪಾಯ ನಿಜವಾದ ಸಮಸ್ಯೆಗೆ ಉತ್ತರ. ವೆಬ್ ಪುಟಗಳಲ್ಲಿ ನ್ಯಾವಿಗೇಶನ್, ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳು, ಬ್ಯಾನರ್‌ಗಳು ಮತ್ತು ವಿನ್ಯಾಸ ಇರುತ್ತವೆ. ಮುಖ್ಯ ಪುಟಗಳ ಸ್ವಚ್ಛ ಆವೃತ್ತಿಗಳ ಲಿಂಕ್‌ಗಳಿರುವ ಚಿಕ್ಕ, ಆಯ್ದ Markdown ಫೈಲ್ ಅನ್ನು ಸೀಮಿತ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋ ಒಳಗೆ ಮಾದರಿ ಸುಲಭವಾಗಿ ಬಳಸಬಲ್ಲದು.

llms.txt ಫೈಲ್‌ನಲ್ಲಿ ಏನಿರುತ್ತದೆ?

ಈ ಫೈಲ್ ನಿಗದಿತ ಕ್ರಮವಿರುವ Markdown. ಮೊದಲ ಅಂಶ ಮಾತ್ರ ಕಡ್ಡಾಯ:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

ಸಾಧನಗಳು ಸ್ವಚ್ಛ ಪಠ್ಯ ಪಡೆಯಲು ಸಾಧ್ಯವಾಗುವಂತೆ, ಅದೇ URL ಗೆ .md ಸೇರಿಸಿ ಪುಟಗಳ Markdown ಆವೃತ್ತಿಗಳನ್ನು ನೀಡಲು ಕೂಡ ಪ್ರಸ್ತಾವ ಸೂಚಿಸುತ್ತದೆ, ಉದಾಹರಣೆಗೆ page.html.md.

ಇಂದು llms.txt ಅನ್ನು ನಿಜವಾಗಿ ಯಾರು ಓದುತ್ತಾರೆ?

ಇಲ್ಲಿ ಎಚ್ಚರಿಕೆ ಅಗತ್ಯ. ಈ ಫೈಲ್‌ಗಳು ಹೆಚ್ಚಾಗಿ ಸಾಫ್ಟ್‌ವೇರ್ ದಾಖಲೆಗಳಿಗೆ ಬಳಕೆಯಾಗುತ್ತವೆ, ಅಲ್ಲಿ ಕೋಡಿಂಗ್ ಏಜೆಂಟ್‌ಗಳು ಅವನ್ನು ಅನುಸರಿಸುತ್ತವೆ ಎಂದು llmstxt.org ಸೈಟ್ ಹೇಳುತ್ತದೆ. ನಾವು ಪರಿಶೀಲಿಸಿದ ಕ್ರಾಲರ್ ದಾಖಲೆಗಳಲ್ಲಿ OpenAI, Anthropic, Google ಮತ್ತು Perplexity ತಮ್ಮ ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳು ಬಳಸುವ ಸಂಕೇತಗಳಲ್ಲಿ llms.txt ಅನ್ನು ಪಟ್ಟಿಮಾಡಿಲ್ಲ.

Google ತನ್ನ ಹುಡುಕಾಟ ವೈಶಿಷ್ಟ್ಯಗಳ ವಿಷಯದಲ್ಲಿ ಇನ್ನೂ ಮುಂದೆ ಹೋಗುತ್ತದೆ. AI Overviews ಮತ್ತು AI Mode ಕುರಿತ ಅದರ ಮಾರ್ಗದರ್ಶನದ ಪ್ರಕಾರ, ಅವುಗಳಲ್ಲಿ ಕಾಣಿಸಲು ಹೊಸ ಯಂತ್ರ-ಓದಬಲ್ಲ ಫೈಲ್‌ಗಳು, AI ಪಠ್ಯ ಫೈಲ್‌ಗಳು ಅಥವಾ ಮಾರ್ಕಪ್ ರಚಿಸುವ ಅಗತ್ಯವಿಲ್ಲ. Google ಹುಡುಕಾಟಕ್ಕೆ llms.txt ನ ಯಾವುದೇ ಘೋಷಿತ ಪಾತ್ರವಿಲ್ಲ.

ಆದ್ದರಿಂದ ಪ್ರಾಮಾಣಿಕ ಉತ್ತರ ಇದು: ಕೆಲವು AI ಸಾಧನಗಳು, ಹೆಚ್ಚಾಗಿ ಸೈಟ್‌ನತ್ತ ತೋರಿಸಲಾದ ಕೋಡಿಂಗ್ ಸಹಾಯಕಗಳು ಮತ್ತು ಏಜೆಂಟ್‌ಗಳು, ಇದನ್ನು ಓದಬಹುದು. AI ಹುಡುಕಾಟ ನಿಮ್ಮ ಪುಟವನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತದೆಯೇ ಎಂದು ನಿರ್ಧರಿಸುವ ಕ್ರಾಲರ್‌ಗಳು ನಿಮ್ಮ HTML ಆಧಾರದ ಮೇಲೆ ಕೆಲಸ ಮಾಡುತ್ತವೆ.

ನಿಮ್ಮ ಫೈಲ್ ಅನ್ನು ಯಾರಾದರೂ ಓದುತ್ತಿದ್ದಾರೆಯೇ ಎಂದು ನೀವೇ ನೋಡಬಹುದು. ನಿಮ್ಮ ಸರ್ವರ್ ಅಥವಾ CDN ಲಾಗ್‌ಗಳಲ್ಲಿ /llms.txt ಗೆ ಬಂದ ವಿನಂತಿಗಳನ್ನು ಹುಡುಕಿ ಮತ್ತು user agent ಗಳನ್ನು ನೋಡಿ. ಕೆಲವು ವಾರಗಳಲ್ಲಿ ಯಾವ ವಿನಂತಿಯೂ ಕಾಣದಿದ್ದರೆ, ನಿಮ್ಮ ಸೈಟ್‌ಗೆ ಅದರ ಮೌಲ್ಯದ ಕುರಿತು ಯಾವುದೇ ಸಾಮಾನ್ಯ ಹೇಳಿಕೆಗಿಂತ ಅದೇ ಹೆಚ್ಚು ತಿಳಿಸುತ್ತದೆ.

ಆದರೂ ಒಂದನ್ನು ಸೇರಿಸಬೇಕೇ?

ಹೆಚ್ಚಿನ ಸೈಟ್‌ಗಳಿಗೆ ಇದು ಕಡಿಮೆ ಶ್ರಮದ, ಆದರೆ ಫಲ ಖಚಿತವಿಲ್ಲದ ಸೇರ್ಪಡೆ. ಇದಕ್ಕೆ ಕೆಲವು ನಿಮಿಷಗಳು ಸಾಕು, ನಿಮ್ಮ ಹುಡುಕಾಟ ಗೋಚರತೆಗೆ ಹಾನಿ ಮಾಡಲಾರದು ಮತ್ತು ಅದನ್ನು ಹುಡುಕುವ ಏಜೆಂಟ್‌ಗಳಿಗೆ ನೆರವಾಗಬಹುದು. ದಾಖಲೆಗಳು, ಡೆವಲಪರ್ ಸಾಧನಗಳು ಮತ್ತು ಹೆಚ್ಚು ಉಲ್ಲೇಖ ಸಾಮಗ್ರಿ ಇರುವ ಉತ್ಪನ್ನಗಳಿಗೆ ಇದು ಅತ್ಯಂತ ಉಪಯುಕ್ತ.

ಪ್ರವೇಶ ಸಮಸ್ಯೆಗಳನ್ನು ಇದು ಸರಿಪಡಿಸಲಾರದು. ಫೈರ್‌ವಾಲ್ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ತಡೆದರೆ, ನಿಮ್ಮ robots.txt ಅವನ್ನು ನಿಷೇಧಿಸಿದರೆ ಅಥವಾ ನಿಮ್ಮ ವಿಷಯ JavaScript ಚಲಿಸಿದ ನಂತರವಷ್ಟೇ ಕಾಣಿಸಿದರೆ, llms.txt ಏನನ್ನೂ ಬದಲಾಯಿಸುವುದಿಲ್ಲ. ಮೊದಲು ಅವನ್ನು ಸರಿಪಡಿಸಿ.

ಉತ್ತಮ llms.txt ಬರೆಯುವುದು ಹೇಗೆ?

AISeeWhy llms.txt ಅನ್ನು ಹೇಗೆ ಪರಿಗಣಿಸುತ್ತದೆ?

ನಿಮ್ಮ ಸೈಟ್‌ನಲ್ಲಿ llms.txt ಇದೆಯೇ ಮತ್ತು ಪರಿಶೀಲಿಸಿದ ಪುಟ ಅದರಲ್ಲಿ ಪಟ್ಟಿಯಾಗಿದೆಯೇ ಎಂದು AISeeWhy ಪರಿಶೀಲಿಸುತ್ತದೆ. AI ಕ್ರಾಲರ್‌ಗಳು ಇಂದು ಅದನ್ನು ಅಪರೂಪಕ್ಕೆ ಓದುವುದರಿಂದ, ಫೈಲ್ ಇಲ್ಲದಿರುವುದು P3 ಪತ್ತೆ, ಅಂದರೆ ಅತಿ ಕಡಿಮೆ ಆದ್ಯತೆ, ಮತ್ತು ವರದಿಯಲ್ಲಿ ನಿಮ್ಮ ಪುಟದ ಶೀರ್ಷಿಕೆ, ವಿವರಣೆ ಮತ್ತು ಸೈಟ್‌ಮ್ಯಾಪ್‌ನಿಂದ ರಚಿಸಿದ ಕರಡು ಇರುತ್ತದೆ; ಅದನ್ನು ನೀವು ತಿದ್ದಿ ಪ್ರಕಟಿಸಬಹುದು.

ಈ ಸಮಸ್ಯೆಗೆ ಪರಿಹಾರಗಳು

ಉಚಿತ ಉಪಕರಣಗಳು

ಮುಂದಿನ ಹಂತಗಳು

ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್‌ಗಳು

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

llms.txt ಅಧಿಕೃತ ಮಾನದಂಡವೇ?

ಇಲ್ಲ. ಇದು llmstxt.org ನಲ್ಲಿ ಪ್ರಕಟವಾದ ಸಮುದಾಯದ ಪ್ರಸ್ತಾವ. ಇದು IETF ಅಥವಾ W3C ಮಾನದಂಡವಲ್ಲ, ಮತ್ತು ಯಾವ AI ಮಾರಾಟಗಾರರೂ ಇದನ್ನು ಓದಲೇಬೇಕೆಂದಿಲ್ಲ.

llms.txt AI ತರಬೇತಿಯನ್ನು ತಡೆಯುತ್ತದೆಯೇ?

ಇಲ್ಲ. ಇದು ಲಿಂಕ್‌ಗಳ ಪಟ್ಟಿ, ಅನುಮತಿಗಳ ಗುಚ್ಛವಲ್ಲ. ತರಬೇತಿಯಿಂದ ಹೊರಗುಳಿಯಲು, robots.txt ನಲ್ಲಿ GPTBot, ClaudeBot ಅಥವಾ Google-Extended ನಂತಹ ತರಬೇತಿ ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸಿ.

Google AI Overviews ನಲ್ಲಿ ಕಾಣಿಸಲು ನನಗೆ llms.txt ಬೇಕೇ?

ಇಲ್ಲ. AI Overviews ಅಥವಾ AI Mode ನಲ್ಲಿ ಕಾಣಿಸಲು AI ಪಠ್ಯ ಫೈಲ್‌ಗಳು ಅಥವಾ ವಿಶೇಷ ಮಾರ್ಕಪ್ ಬೇಕಿಲ್ಲ ಎಂದು Google ಹೇಳುತ್ತದೆ. ಪುಟ ಇಂಡೆಕ್ಸ್ ಆಗಿರಬೇಕು ಮತ್ತು ಸ್ನಿಪೆಟ್ ತೋರಿಸಲು ಅರ್ಹವಾಗಿರಬೇಕು.

llms.txt ಉಪ ಫೋಲ್ಡರ್‌ನಲ್ಲಿ ಇರಬಹುದೇ?

ಪ್ರಸ್ತಾವದ ಪ್ರಸ್ತುತ ಆವೃತ್ತಿ /docs/llms.txt ನಂತಹ ಉಪ ಪಥದಲ್ಲಿ ಫೈಲ್ ಅನ್ನು ಅನುಮತಿಸುತ್ತದೆ; ಅದು ಆ ಪಥದ ಅಡಿಯ ಪುಟಗಳನ್ನು ಒಳಗೊಳ್ಳುತ್ತದೆ. ಹೆಚ್ಚಿನ ಸೈಟ್‌ಗಳಿಗೆ ರೂಟ್‌ನಲ್ಲಿ ಒಂದೇ ಫೈಲ್ ಸಾಕು.

ಮೂಲಗಳು

ಇನ್ನಷ್ಟು ಲೇಖನಗಳು