எத்தனை தளங்கள் llms.txt வெளியிடுகின்றன? 10,000 டொமைன்களைச் சோதித்தோம்
மிகப் பிரபலமான 10,000 டொமைன்களில் 12.4% (1,240) llms.txt வெளியிடுகின்றன; முகப்புப் பக்கம் HTML-ஆகப் பதிலளிக்கும் டொமைன்களில் இது 16.7%. பெரிய தளங்கள் அடிக்கடி வெளியிடுகின்றன. இதை வெளியிடும் தளங்கள் 1.4% நேரங்களில் AI தேடல் கிராலர்களைத் தடுக்கின்றன; வெளியிடாத தளங்களில் இது 15.0%. இது வெளியீட்டை மட்டுமே எண்ணுகிறது: எந்த AI உதவியாளராவது அந்தக் கோப்பைப் படிக்கிறதா என்பதை இது காட்டாது.
llms.txt AI தேடலில் மிக அதிகம் பேசப்படும் கோப்புகளில் ஒன்று, ஆனால் மிகக் குறைவாக அளக்கப்பட்டவற்றிலும் ஒன்று. முதல் 10,000 டொமைன்களின் robots.txt-ஐ ஏற்கனவே படித்துள்ளோம்; அதே சுற்றில் ஒவ்வொன்றிடமும் /llms.txt-ஐக் கேட்டோம். கிடைத்தது இதுதான்.
இந்தப் பக்கத்தில்
எப்படிச் சோதித்தோம்?
Tranco பட்டியலின் (பட்டியல் ID JZWZY) முதல் 10,000 டொமைன்களை எடுத்தோம். முகப்புப் பக்கத்தைப் படித்து, அதன் வழிமாற்றைப் பின்தொடர்ந்து முதன்மை ஹோஸ்டுக்குச் சென்ற பிறகு, 2026 நவம்பர் 21 அன்று AISeeWhy-இன் சொந்த user agent மூலம் ஒவ்வொன்றிடமும் /llms.txt-ஐ ஒரு முறை கோரினோம்.
/llms.txt தானே 200 உடன் பதிலளித்து, HTML பக்கமாக இல்லாத வெற்றில்லாத உரை உடலைத் தந்து, உள்நுழைவு அல்லது முகப்புப் பக்கம் போன்ற வேறு பக்கத்துக்கு வழிமாற்றாமல் இருந்தால், அந்த டொமைன் llms.txt வெளியிடுவதாகக் கணக்கிடப்படுகிறது. இந்தச் சுற்றில் கோப்பின் வடிவத்தைச் சோதிக்கவில்லை.
என்ன கண்டறிந்தோம்?
- 10,000 டொமைன்களில் 1,240 (12.4%)
llms.txtவெளியிடுகின்றன. - பட்டியலில் இணையதளம் எதுவும் வழங்காத CDN-களும் API ஹோஸ்ட்களும் உள்ளன. முகப்புப் பக்கம் HTML-ஆகப் பதிலளித்த 7,367 டொமைன்களில் 1,233 (16.7%) வெளியிடுகின்றன.
- அவற்றில் கிட்டத்தட்ட அனைத்தும் robots.txt-ஐயும் வழங்குகின்றன: 1,240-இல் 1,229.
பெரிய தளங்கள் அதிகம் வெளியிடுகின்றனவா?
ஆம், தெளிவான வேறுபாட்டுடன். இணையதளங்களை (முகப்புப் பக்கம் HTML-ஆகப் பதிலளிக்கும் டொமைன்கள்) Tranco தரவரிசைப்படி பிரித்தோம்:
- தரவரிசை 1 முதல் 1,000 வரை: 22.6% llms.txt வெளியிடுகின்றன (658 இணையதளங்களில் 149).
- தரவரிசை 1,001 முதல் 3,000 வரை: 18.2% (1,449-இல் 264).
- தரவரிசை 3,001 முதல் 10,000 வரை: 15.6% (5,260-இல் 820).
யார் வெளியிடுகிறார்கள்?
robots.txt வழங்கும் 6,192 டொமைன்களில், llms.txt வெளியிடுபவை மற்றவற்றிலிருந்து வேறுபட்டுத் தெரிகின்றன:
- அவை 11.8% நேரங்களில் குறைந்தது ஒரு AI பயிற்சி கிராலரைத் தடுக்கின்றன; llms.txt இல்லாத டொமைன்களில் இது 26.0%.
- அவை 1.4% நேரங்களில் குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரைத் தடுக்கின்றன; மற்றவற்றில் 15.0%.
- அவை 12.9% நேரங்களில்
Content-Signalவரியைப் பயன்படுத்துகின்றன; மற்றவற்றில் 4.9%.
வேறு சொற்களில், llms.txt வெளியிட மெனக்கெடும் தளங்கள் பெரும்பாலும் ஏற்கனவே AI கிராலர்களை உள்ளே அனுமதிக்கும் தளங்களே.
இது எதைக் காட்டவில்லை?
இது ஒரு தொடர்பைக் காட்டுகிறது, காரணத்தை அல்ல. AI தெரிவுநிலையை முக்கியமாகக் கருதும் தளம் llms.txt-ஐ வெளியிட்டு, robots.txt-ஐயும் திறந்தே வைத்திருக்கலாம்; கோப்புதான் வேறுபாட்டை ஏற்படுத்தியது என்று அதற்குப் பொருள் இல்லை. இந்த எண்ணிக்கை வெளியீட்டை மட்டுமே அளக்கிறது. எந்த AI உதவியாளராவது அந்தக் கோப்பைப் படிக்கிறதா என்பதை இது காட்டாது; முக்கிய AI தேடல் கிராலர்களும் அதைப் பயன்படுத்துவதாகச் சொல்லவில்லை.
இந்த எண்கள் மிகப் பிரபலமான டொமைன்களுக்கு, ஒரே நாளில், முகப்புப் பக்க விதிகளையும் ஒரே முகவரியில் உள்ள கோப்பையும் விவரிக்கின்றன. சிறிய தளங்கள் வேறுபட்டுத் தெரியலாம்.
நீங்கள் வெளியிட வேண்டுமா?
இது மலிவானது, தீங்கற்றது: உங்கள் தளத்தின் சுருக்கமான Markdown சுருக்கமும், மிகப் பயனுள்ள பக்கங்களின் பட்டியலும். அதைத் துல்லியமாக வைத்து, இணைப்புகள் செயல்படும்படி பாருங்கள். கிராலர்களை உள்ளே அனுமதிப்பதற்கு இதை மாற்றாகக் கருதாதீர்கள்: ஃபயர்வால் கிராலரை மறுக்கும் அல்லது robots.txt தடை செய்யும் தளத்தில் உள்ள llms.txt யாருக்கும் உதவாது.
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- llms.txt checker, validator
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
அடிக்கடி கேட்கப்படும் கேள்விகள்
எத்தனை சதவீத இணையதளங்களில் llms.txt உள்ளது?
நாங்கள் சோதித்த மிகப் பிரபலமான 10,000 டொமைன்களில் 12.4% அதை வெளியிடுகின்றன. முகப்புப் பக்கம் HTML-ஆகப் பதிலளிக்கும் டொமைன்களில் இது 16.7%; மிகப் பெரிய தளங்களில் இன்னும் அதிகம்: முதல் 1,000-இல் 22.6%.
llms.txt உள்ள தளங்கள் AI கிராலர்களை அடிக்கடி அனுமதிக்கின்றனவா?
எங்கள் தரவில் ஆம்: அவை 1.4% நேரங்களில் AI தேடல் மற்றும் பயனர் கிராலர்களைத் தடுக்கின்றன; அது இல்லாத தளங்களில் 15.0%. இது ஒரு தொடர்பு மட்டுமே. கோப்பு கிராலர்கள் தளத்தை நடத்தும் விதத்தை மாற்றுகிறது என்பதை இது காட்டவில்லை.
llms.txt AI உதவியாளர்கள் என்னை மேற்கோள் காட்ட உதவுமா?
எங்கள் தரவால் சொல்ல முடியாது. எந்தத் தளங்கள் கோப்பை வெளியிடுகின்றன என்பதை மட்டுமே இது எண்ணுகிறது, உதவியாளர் அதைப் பயன்படுத்துகிறதா என்பதை அல்ல; முக்கிய AI தேடல் கிராலர்களும் அதைப் படிப்பதாகத் தெரிவிக்கவில்லை. கிராலர் படிக்கக்கூடிய பக்கங்களும் திறந்த அணுகலுமே முக்கியம்.
ஒரு தளத்தில் உண்மையான llms.txt உள்ளதா என்பதை எப்படிக் கண்டறிவது?
/llms.txt-ஐக் கோரி, அந்த முகவரியிலேயே 200 உடன், HTML பக்கமாக இல்லாத உரை உடலுடன் பதிலளிக்கிறதா என்று பாருங்கள். முகப்புப் பக்கத்துக்கோ உள்நுழைவுப் பக்கத்துக்கோ செல்லும் வழிமாற்று llms.txt அல்ல.
மூலங்கள்
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers