എത്ര സൈറ്റുകൾ llms.txt പ്രസിദ്ധീകരിക്കുന്നു? 10,000 ഡൊമെയ്നുകൾ ഞങ്ങൾ പരിശോധിച്ചു
ഏറ്റവും ജനപ്രിയമായ 10,000 ഡൊമെയ്നുകളിൽ 12.4% llms.txt പ്രസിദ്ധീകരിക്കുന്നു (1,240). ഹോം പേജ് HTML ആയി മറുപടി നൽകുന്നവയിൽ ഇത് 16.7% ആണ്. വലിയ സൈറ്റുകൾ കൂടുതൽ തവണ പ്രസിദ്ധീകരിക്കുന്നു. ഒന്ന് പ്രസിദ്ധീകരിക്കുന്ന സൈറ്റുകൾ 1.4% കേസുകളിൽ AI സെർച്ച് ക്രാളറുകളെ തടയുന്നു, പ്രസിദ്ധീകരിക്കാത്തവയിൽ ഇത് 15.0% ആണ്. ഇത് പ്രസിദ്ധീകരണം മാത്രമാണ് എണ്ണുന്നത്: ഏതെങ്കിലും AI അസിസ്റ്റന്റ് ഫയൽ വായിക്കുന്നുണ്ടോ എന്ന് ഇത് കാണിക്കുന്നില്ല.
AI സെർച്ചിൽ ഏറ്റവും കൂടുതൽ ചർച്ച ചെയ്യപ്പെടുന്നതും ഏറ്റവും കുറച്ച് അളക്കപ്പെട്ടതുമായ ഫയലുകളിൽ ഒന്നാണ് llms.txt. ടോപ് 10,000 ഡൊമെയ്നുകളുടെ robots.txt ഞങ്ങൾ മുമ്പ് വായിച്ചിരുന്നു, അതേ പരിശോധനയിൽ തന്നെ ഓരോന്നിനോടും /llms.txt ചോദിച്ചു. കിട്ടിയ ഫലം ഇതാണ്.
ഈ പേജിൽ
ഞങ്ങൾ എങ്ങനെ പരിശോധിച്ചു?
Tranco ലിസ്റ്റിലെ (ലിസ്റ്റ് ID JZWZY) ആദ്യ 10,000 ഡൊമെയ്നുകൾ എടുത്തു. ഹോം പേജ് വായിച്ച് അതിന്റെ റീഡയറക്ട് പിന്തുടർന്ന് പ്രധാന ഹോസ്റ്റിലെത്തിയ ശേഷം, 2026 നവംബർ 21-ന് AISeeWhy-യുടെ സ്വന്തം user agent ഉപയോഗിച്ച് ഓരോന്നിൽ നിന്നും /llms.txt ഒരു തവണ അഭ്യർഥിച്ചു.
/llms.txt തന്നെ 200 നൽകുകയും, HTML പേജ് അല്ലാത്ത ശൂന്യമല്ലാത്ത ടെക്സ്റ്റ് ബോഡി ഉണ്ടാവുകയും, ലോഗിൻ പേജ് അല്ലെങ്കിൽ ഹോം പേജ് പോലുള്ള മറ്റൊരു പേജിലേക്ക് റീഡയറക്ട് ഇല്ലാതിരിക്കുകയും ചെയ്താൽ ഒരു ഡൊമെയ്ൻ llms.txt പ്രസിദ്ധീകരിക്കുന്നതായി കണക്കാക്കും. ഈ പരിശോധനയിൽ ഫയലിന്റെ ഫോർമാറ്റ് ഞങ്ങൾ പരിശോധിച്ചില്ല.
ഞങ്ങൾ എന്താണ് കണ്ടെത്തിയത്?
- 10,000 ഡൊമെയ്നുകളിൽ 1,240 എണ്ണം (12.4%)
llms.txtപ്രസിദ്ധീകരിക്കുന്നു. - ലിസ്റ്റിൽ വെബ്സൈറ്റ് ഇല്ലാത്ത CDN-കളും API ഹോസ്റ്റുകളും ഉൾപ്പെടുന്നു. ഹോം പേജ് HTML ആയി മറുപടി നൽകിയ 7,367 ഡൊമെയ്നുകളിൽ 1,233 എണ്ണം (16.7%) ഒന്ന് പ്രസിദ്ധീകരിക്കുന്നു.
- ഏതാണ്ട് എല്ലാവരും robots.txt-ഉം നൽകുന്നു: 1,240-ൽ 1,229.
വലിയ സൈറ്റുകൾ കൂടുതൽ പ്രസിദ്ധീകരിക്കുന്നുണ്ടോ?
അതെ, വ്യക്തമായ വ്യത്യാസത്തോടെ. വെബ്സൈറ്റുകളെ (ഹോം പേജ് HTML ആയി മറുപടി നൽകിയ ഡൊമെയ്നുകൾ) Tranco റാങ്ക് അനുസരിച്ച് ഞങ്ങൾ വിഭജിച്ചു:
- റാങ്ക് 1 മുതൽ 1,000 വരെ: 22.6% llms.txt പ്രസിദ്ധീകരിക്കുന്നു (658 വെബ്സൈറ്റുകളിൽ 149).
- റാങ്ക് 1,001 മുതൽ 3,000 വരെ: 18.2% (1,449-ൽ 264).
- റാങ്ക് 3,001 മുതൽ 10,000 വരെ: 15.6% (5,260-ൽ 820).
ആരാണ് ഇത് പ്രസിദ്ധീകരിക്കുന്നത്?
robots.txt നൽകുന്ന 6,192 ഡൊമെയ്നുകളിൽ, llms.txt പ്രസിദ്ധീകരിക്കുന്നവ ബാക്കിയുള്ളവയിൽ നിന്ന് വ്യത്യസ്തമായി കാണപ്പെടുന്നു:
- അവ കുറഞ്ഞത് ഒരു AI ട്രെയിനിങ് ക്രാളറെ 11.8% സമയത്ത് തടയുന്നു, llms.txt ഇല്ലാത്ത ഡൊമെയ്നുകളിൽ ഇത് 26.0% ആണ്.
- അവ കുറഞ്ഞത് ഒരു AI സെർച്ച് അല്ലെങ്കിൽ യൂസർ ക്രാളറെ 1.4% സമയത്ത് തടയുന്നു, മറ്റുള്ളവയിൽ 15.0%.
- അവ
Content-Signalവരി 12.9% സമയത്ത് ഉപയോഗിക്കുന്നു, മറ്റുള്ളവയിൽ 4.9%.
മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, llms.txt പ്രസിദ്ധീകരിക്കാൻ മെനക്കെടുന്ന സൈറ്റുകൾ മിക്കവാറും ഇതിനകം AI ക്രാളറുകളെ അകത്ത് കടത്തുന്ന സൈറ്റുകളാണ്.
ഇത് എന്ത് കാണിക്കുന്നില്ല?
ഇത് ഒരു ബന്ധം കാണിക്കുന്നു, കാരണമല്ല. AI ദൃശ്യതയെ ഗൗരവമായി കാണുന്ന ഒരു സൈറ്റ് llms.txt പ്രസിദ്ധീകരിക്കുകയും robots.txt തുറന്നിടുകയും ചെയ്തേക്കാം; ആ ഫയലാണ് വ്യത്യാസം ഉണ്ടാക്കിയത് എന്ന് അതിനർഥമില്ല. ഈ എണ്ണം പ്രസിദ്ധീകരണം മാത്രമാണ് അളക്കുന്നത്. ഏതെങ്കിലും AI അസിസ്റ്റന്റ് ഫയൽ വായിക്കുന്നുണ്ടോ എന്ന് ഇത് കാണിക്കുന്നില്ല, പ്രധാന AI സെർച്ച് ക്രാളറുകൾ അത് ഉപയോഗിക്കുന്നു എന്ന് പറയുന്നുമില്ല.
ഈ സംഖ്യകൾ ഏറ്റവും ജനപ്രിയമായ ഡൊമെയ്നുകളുടെ ഹോം പേജ് നിയമങ്ങളെയും ഒരു ദിവസം ഒരു വിലാസത്തിലുള്ള ഫയലിനെയുമാണ് വിവരിക്കുന്നത്. ചെറിയ സൈറ്റുകൾ വ്യത്യസ്തമായി കാണപ്പെട്ടേക്കാം.
നിങ്ങൾ ഒന്ന് പ്രസിദ്ധീകരിക്കണോ?
ഇതിന് ചെലവ് കുറവാണ്, ദോഷവുമില്ല: നിങ്ങളുടെ സൈറ്റിന്റെ ഒരു ചെറിയ Markdown സംഗ്രഹവും ഏറ്റവും ഉപയോഗപ്രദമായ പേജുകളുടെ ഒരു ലിസ്റ്റും. അത് കൃത്യമായി സൂക്ഷിക്കുക, ലിങ്കുകൾ പ്രവർത്തിക്കുന്നു എന്ന് ഉറപ്പാക്കുക. ക്രാളറുകളെ അകത്ത് കടത്തുന്നതിന് പകരമായി ഇതിനെ കാണരുത്: ഫയർവാൾ ക്രാളറെ നിരസിക്കുന്ന, അല്ലെങ്കിൽ robots.txt അനുവദിക്കാത്ത ഒരു സൈറ്റിലെ llms.txt ആർക്കും സഹായകമാകില്ല.
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- llms.txt ചെക്കറും വാലിഡേറ്ററും
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
പതിവ് ചോദ്യങ്ങൾ
എത്ര ശതമാനം വെബ്സൈറ്റുകൾക്ക് llms.txt ഉണ്ട്?
ഞങ്ങൾ പരിശോധിച്ച ഏറ്റവും ജനപ്രിയമായ 10,000 ഡൊമെയ്നുകളിൽ 12.4% ഒന്ന് പ്രസിദ്ധീകരിക്കുന്നു. ഹോം പേജ് HTML ആയി മറുപടി നൽകുന്ന ഡൊമെയ്നുകളിൽ ഇത് 16.7% ആണ്, ഏറ്റവും വലിയ സൈറ്റുകളിൽ ഇതിലും ഉയർന്നതാണ്: ടോപ് 1,000-ൽ 22.6%.
llms.txt ഉള്ള സൈറ്റുകൾ AI ക്രാളറുകളെ കൂടുതൽ അനുവദിക്കുന്നുണ്ടോ?
ഞങ്ങളുടെ ഡാറ്റയിൽ അതെ: അവ 1.4% കേസുകളിൽ AI സെർച്ച്, യൂസർ ക്രാളറുകളെ തടയുന്നു, ഇല്ലാത്തവയിൽ ഇത് 15.0% ആണ്. ഇതൊരു പരസ്പരബന്ധം മാത്രമാണ്. ഫയൽ ക്രാളറുകൾ ഒരു സൈറ്റിനോട് പെരുമാറുന്ന രീതി മാറ്റുന്നു എന്ന് ഇത് കാണിക്കുന്നില്ല.
llms.txt എനിക്ക് AI അസിസ്റ്റന്റുകളുടെ ഉദ്ധരണി നേടിത്തരുമോ?
ഞങ്ങളുടെ ഡാറ്റയ്ക്ക് അത് പറയാനാവില്ല. ഏതൊക്കെ സൈറ്റുകൾ ഫയൽ പ്രസിദ്ധീകരിക്കുന്നു എന്നാണ് ഇത് എണ്ണുന്നത്, ഒരു അസിസ്റ്റന്റ് അത് ഉപയോഗിക്കുന്നുണ്ടോ എന്നല്ല. പ്രധാന AI സെർച്ച് ക്രാളറുകൾ അത് വായിക്കുന്നു എന്ന് പറയുന്നുമില്ല. ക്രാൾ ചെയ്യാവുന്ന പേജുകളും തുറന്ന ആക്സസുമാണ് കൂടുതൽ പ്രധാനം.
ഒരു സൈറ്റിന് യഥാർഥ llms.txt ഉണ്ടോ എന്ന് എങ്ങനെ തിരിച്ചറിയാം?
/llms.txt അഭ്യർഥിച്ച്, ആ വിലാസത്തിൽ തന്നെ HTML പേജ് അല്ലാത്ത ടെക്സ്റ്റ് ബോഡിയോടെ 200 മറുപടി ലഭിക്കുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക. ഹോം പേജിലേക്കോ ലോഗിൻ പേജിലേക്കോ ഉള്ള റീഡയറക്ട് llms.txt അല്ല.
ഉറവിടങ്ങൾ
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers