llms.txt എന്താണ്, അത് ചേർക്കുന്നത് മൂല്യവത്താണോ?

പ്രസിദ്ധീകരിച്ചത്

ചുരുക്കത്തിൽ

AI ടൂളുകൾക്ക് നിങ്ങളുടെ സൈറ്റിന്റെ ചെറിയ സംഗ്രഹവും അതിലെ ഏറ്റവും ഉപയോഗപ്രദമായ പേജുകളിലേക്കുള്ള ലിങ്കുകളുടെ പട്ടികയും നൽകുന്ന, /llms.txt-ൽ വെക്കാൻ നിർദ്ദേശിക്കപ്പെട്ട ഒരു Markdown ഫയലാണ് llms.txt. ഇതൊരു കമ്മ്യൂണിറ്റി നിർദ്ദേശമാണ്, മാനദണ്ഡമല്ല, പ്രധാന AI സെർച്ച് ക്രോളറുകൾ ഇത് ഉപയോഗിക്കുന്നുവെന്ന് പറയുന്നില്ല. ചേർക്കാൻ ചെലവ് കുറവാണ്, പക്ഷേ ക്രോൾ ചെയ്യാവുന്ന HTML-ന് പകരമാകില്ല.

llms.txt-ന് ധാരാളം ശ്രദ്ധ ലഭിക്കുന്നു, പലപ്പോഴും AI-യുടെ robots.txt എന്ന നിലയിൽ അവതരിപ്പിക്കപ്പെടുന്നു. ഇത് വ്യത്യസ്തമായ ഒന്നാണ്: ക്രോളറുകൾക്ക് എന്ത് എടുക്കാമെന്ന് robots.txt പ്രസ്താവിക്കുന്നു, അതേസമയം വായിക്കാൻ മൂല്യമുള്ള ഉള്ളടക്കത്തിലേക്ക് AI ടൂളുകളെ നയിക്കുന്ന ഒരു വായനാ ഗൈഡാണ് llms.txt. നിർദ്ദേശം എന്ത് പറയുന്നു, അതിന്റെ ഉപയോഗത്തെക്കുറിച്ച് എന്തറിയാം, ഒന്ന് എങ്ങനെ എഴുതാം എന്നിവ ഇതാ.

ഈ പേജിൽ
  1. llms.txt എവിടെ നിന്ന് വരുന്നു?
  2. ഒരു llms.txt ഫയലിൽ എന്തൊക്കെ ഉൾപ്പെടുന്നു?
  3. ഇന്ന് യഥാർത്ഥത്തിൽ ആരാണ് llms.txt വായിക്കുന്നത്?
  4. എന്നിട്ടും ഞാൻ ഒന്ന് ചേർക്കണോ?
  5. നല്ല ഒരു llms.txt എങ്ങനെ എഴുതാം?
  6. AISeeWhy llms.txt-നെ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നു?

llms.txt എവിടെ നിന്ന് വരുന്നു?

2024 സെപ്റ്റംബറിൽ Jeremy Howard ആണ് /llms.txt ഫയൽ നിർദ്ദേശിച്ചത്, llmstxt.org-ൽ നിർദ്ദേശം പരിപാലിക്കപ്പെടുന്നു. പരിശീലനത്തിനല്ല, ഇൻഫറൻസ് സമയത്ത് — ഉദാഹരണത്തിന് ഒരു കോഡിംഗ് അസിസ്റ്റന്റിന് ഒരു ലൈബ്രറിയുടെ ഡോക്യുമെന്റേഷൻ ആവശ്യമുള്ളപ്പോൾ — ഭാഷാ മോഡലുകളെയും ഏജന്റുകളെയും ഒരു വെബ്സൈറ്റ് ഉപയോഗിക്കാൻ സഹായിക്കുന്ന ഒരു ഫയൽ നിലവാരപ്പെടുത്തുകയാണ് ലക്ഷ്യം.

ഈ ആശയം ഒരു യഥാർത്ഥ പ്രശ്നത്തോടുള്ള പ്രതികരണമാണ്. വെബ് പേജുകളിൽ നാവിഗേഷൻ, സ്ക്രിപ്റ്റുകൾ, ബാനറുകൾ, ലേഔട്ട് എന്നിവയുണ്ട്. പ്രധാന പേജുകളുടെ വൃത്തിയുള്ള പതിപ്പുകളിലേക്കുള്ള ലിങ്കുകളുള്ള, ചെറുതും തിരഞ്ഞെടുത്തതുമായ ഒരു Markdown ഫയൽ പരിമിതമായ കോൺടെക്സ്റ്റ് വിൻഡോയ്ക്കുള്ളിൽ ഒരു മോഡലിന് കൈകാര്യം ചെയ്യാൻ എളുപ്പമാണ്.

ഒരു llms.txt ഫയലിൽ എന്തൊക്കെ ഉൾപ്പെടുന്നു?

നിശ്ചിത ക്രമമുള്ള Markdown ആണ് ഫയൽ. ആദ്യ ഘടകം മാത്രമേ നിർബന്ധമുള്ളൂ:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

ടൂളുകൾക്ക് വൃത്തിയുള്ള ടെക്സ്റ്റ് എടുക്കാനാകുന്നതിന്, പേജുകളുടെ Markdown പതിപ്പുകൾ അതേ URL-ൽ .md ചേർത്ത് നൽകാനും നിർദ്ദേശം നിർദ്ദേശിക്കുന്നു, ഉദാഹരണത്തിന് page.html.md.

ഇന്ന് യഥാർത്ഥത്തിൽ ആരാണ് llms.txt വായിക്കുന്നത്?

ഇവിടെയാണ് ശ്രദ്ധ വേണ്ടത്. ഫയലുകൾ ഏറ്റവും കൂടുതൽ ഉപയോഗിക്കുന്നത് സോഫ്റ്റ്‌വെയർ ഡോക്യുമെന്റേഷനിലാണെന്നും അവിടെ കോഡിംഗ് ഏജന്റുകൾ അവ പിന്തുടരുന്നുവെന്നും llmstxt.org സൈറ്റ് പറയുന്നു. ഞങ്ങൾ പരിശോധിച്ച ക്രോളർ ഡോക്യുമെന്റേഷനിൽ, OpenAI, Anthropic, Google, Perplexity എന്നിവ തങ്ങളുടെ സെർച്ച് ക്രോളറുകൾ ഉപയോഗിക്കുന്ന സിഗ്നലുകളിൽ llms.txt ഉൾപ്പെടുത്തുന്നില്ല.

സ്വന്തം Search ഫീച്ചറുകളുടെ കാര്യത്തിൽ Google ഒരുപടി കൂടി മുന്നോട്ട് പോകുന്നു. AI Overviews-ലും AI Mode-ലും പ്രത്യക്ഷപ്പെടാൻ പുതിയ മെഷീൻ-റീഡബിൾ ഫയലുകളോ AI ടെക്സ്റ്റ് ഫയലുകളോ മാർക്കപ്പോ സൃഷ്ടിക്കേണ്ടതില്ലെന്ന് അതിന്റെ മാർഗ്ഗനിർദ്ദേശം പറയുന്നു. Google Search-ന് llms.txt-ന് പ്രഖ്യാപിത പങ്കില്ല.

അതിനാൽ സത്യസന്ധമായ ഉത്തരം ഇതാണ്: ചില AI ടൂളുകൾ, കൂടുതലും ഒരു സൈറ്റിലേക്ക് നയിക്കപ്പെടുന്ന കോഡിംഗ് അസിസ്റ്റന്റുകളും ഏജന്റുകളും, ഇത് വായിച്ചേക്കാം. AI സെർച്ച് നിങ്ങളുടെ പേജ് ഉദ്ധരിക്കുമോ എന്ന് തീരുമാനിക്കുന്ന ക്രോളറുകൾ നിങ്ങളുടെ HTML-ൽ നിന്നാണ് പ്രവർത്തിക്കുന്നത്.

എന്തെങ്കിലും നിങ്ങളുടെ ഫയൽ വായിക്കുന്നുണ്ടോ എന്ന് നിങ്ങൾക്ക് സ്വയം കാണാം. നിങ്ങളുടെ സെർവർ അല്ലെങ്കിൽ CDN ലോഗുകളിൽ /llms.txt-ലേക്കുള്ള അഭ്യർത്ഥനകൾ തിരഞ്ഞ് യൂസർ ഏജന്റുകൾ നോക്കുക. ഏതാനും ആഴ്ചകളിൽ അഭ്യർത്ഥനകളൊന്നും കാണുന്നില്ലെങ്കിൽ, ഏത് പൊതു അവകാശവാദത്തേക്കാളും കൂടുതൽ നിങ്ങളുടെ സൈറ്റിന് അതിന്റെ മൂല്യത്തെക്കുറിച്ച് അത് പറയുന്നു.

എന്നിട്ടും ഞാൻ ഒന്ന് ചേർക്കണോ?

മിക്ക സൈറ്റുകൾക്കും ഇത് ചെലവ് കുറഞ്ഞതും ഫലം ഉറപ്പില്ലാത്തതുമായ ഒരു കൂട്ടിച്ചേർക്കലാണ്. ഇതിന് ഏതാനും മിനിറ്റുകൾ മതി, നിങ്ങളുടെ സെർച്ച് ദൃശ്യതയെ ദോഷകരമായി ബാധിക്കില്ല, ഇത് തിരയുന്ന ഏജന്റുകളെ സഹായിച്ചേക്കാം. ഡോക്യുമെന്റേഷൻ, ഡെവലപ്പർ ടൂളുകൾ, ധാരാളം റഫറൻസ് മെറ്റീരിയലുള്ള ഉൽപ്പന്നങ്ങൾ എന്നിവയ്ക്കാണ് ഇത് ഏറ്റവും ഉപയോഗപ്രദം.

ആക്‌സസ് പ്രശ്നങ്ങൾ പരിഹരിക്കാൻ ഇതിന് കഴിയില്ല. ഒരു ഫയർവാൾ AI ക്രോളറുകളെ തടയുകയോ നിങ്ങളുടെ robots.txt അവയെ വിലക്കുകയോ നിങ്ങളുടെ ഉള്ളടക്കം JavaScript പ്രവർത്തിച്ച ശേഷം മാത്രം പ്രത്യക്ഷപ്പെടുകയോ ചെയ്യുന്നുവെങ്കിൽ, llms.txt ഒന്നും മാറ്റുന്നില്ല. ആദ്യം അവ പരിഹരിക്കുക.

നല്ല ഒരു llms.txt എങ്ങനെ എഴുതാം?

AISeeWhy llms.txt-നെ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നു?

നിങ്ങളുടെ സൈറ്റിന് llms.txt ഉണ്ടോ എന്നും ഓഡിറ്റ് ചെയ്ത പേജ് അതിൽ പട്ടികപ്പെടുത്തിയിട്ടുണ്ടോ എന്നും AISeeWhy പരിശോധിക്കുന്നു. AI ക്രോളറുകൾ ഇന്ന് ഇത് അപൂർവമായേ വായിക്കുന്നുള്ളൂ എന്നതിനാൽ, ഫയൽ ഇല്ലാത്തത് ഏറ്റവും കുറഞ്ഞ മുൻഗണനയായ P3 കണ്ടെത്തലാണ്. നിങ്ങളുടെ പേജ് തലക്കെട്ട്, വിവരണം, സൈറ്റ്‌മാപ്പ് എന്നിവയിൽ നിന്ന് നിർമ്മിച്ച, എഡിറ്റ് ചെയ്ത് പ്രസിദ്ധീകരിക്കാവുന്ന ഒരു ഡ്രാഫ്റ്റും റിപ്പോർട്ടിലുണ്ട്.

ഈ പ്രശ്നത്തിനുള്ള പരിഹാരങ്ങൾ

സൗജന്യ ടൂളുകൾ

അടുത്ത ഘട്ടങ്ങൾ

ഈ ലേഖനത്തിലെ ക്രോളറുകൾ

പതിവ് ചോദ്യങ്ങൾ

llms.txt ഒരു ഔദ്യോഗിക മാനദണ്ഡമാണോ?

അല്ല. llmstxt.org-ൽ പ്രസിദ്ധീകരിച്ച ഒരു കമ്മ്യൂണിറ്റി നിർദ്ദേശമാണിത്. ഇതൊരു IETF അല്ലെങ്കിൽ W3C മാനദണ്ഡമല്ല, ഒരു AI കമ്പനിയും ഇത് വായിക്കാൻ ബാധ്യസ്ഥരല്ല.

llms.txt AI പരിശീലനം തടയുമോ?

ഇല്ല. ഇത് ലിങ്കുകളുടെ ഒരു പട്ടികയാണ്, അനുമതികളുടെ കൂട്ടമല്ല. പരിശീലനത്തിൽ നിന്ന് ഒഴിവാകാൻ robots.txt-ൽ GPTBot, ClaudeBot അല്ലെങ്കിൽ Google-Extended പോലുള്ള പരിശീലന ടോക്കണുകൾ ഉപയോഗിക്കുക.

Google AI Overviews-ൽ പ്രത്യക്ഷപ്പെടാൻ llms.txt വേണോ?

വേണ്ട. AI Overviews-ലോ AI Mode-ലോ പ്രത്യക്ഷപ്പെടാൻ AI ടെക്സ്റ്റ് ഫയലുകളോ പ്രത്യേക മാർക്കപ്പോ ആവശ്യമില്ലെന്ന് Google പറയുന്നു. പേജ് ഇൻഡക്സ് ചെയ്യപ്പെട്ടതും സ്നിപ്പെറ്റ് കാണിക്കാൻ യോഗ്യവുമായിരിക്കണം.

llms.txt ഒരു സബ്ഫോൾഡറിൽ വെക്കാമോ?

/docs/llms.txt പോലുള്ള ഒരു സബ്പാത്തിൽ, ആ പാത്തിന് കീഴിലുള്ള പേജുകളെ ഉൾക്കൊള്ളുന്ന ഫയൽ നിർദ്ദേശത്തിന്റെ നിലവിലെ പതിപ്പ് അനുവദിക്കുന്നു. മിക്ക സൈറ്റുകൾക്കും റൂട്ടിൽ ഒരു ഫയൽ മാത്രം മതി.

ഉറവിടങ്ങൾ

കൂടുതൽ ലേഖനങ്ങൾ