ఎన్ని సైట్లు llms.txt ప్రచురిస్తున్నాయి? 10,000 డొమైన్లను పరిశీలించాము
అత్యంత ప్రసిద్ధ 10,000 డొమైన్లలో 12.4% (1,240) llms.txt ప్రచురిస్తున్నాయి; హోమ్ పేజీ HTMLతో సమాధానం ఇచ్చే డొమైన్లలో ఇది 16.7%. పెద్ద సైట్లు ఎక్కువగా ప్రచురిస్తున్నాయి. దాన్ని ప్రచురించే సైట్లు AI సెర్చ్ క్రాలర్లను 1.4% సందర్భాల్లో నిరోధిస్తున్నాయి, ప్రచురించని సైట్లలో ఇది 15.0%. ఇది ప్రచురణను మాత్రమే లెక్కిస్తుంది: ఏదైనా AI అసిస్టెంట్ ఆ ఫైల్ను చదువుతుందో లేదో చూపదు.
AI సెర్చ్లో ఎక్కువగా చర్చించే ఫైళ్లలో llms.txt ఒకటి, అయినా అతి తక్కువగా కొలిచినదీ అదే. మేము ఇప్పటికే టాప్ 10,000 డొమైన్ల robots.txt చదివాము, అదే పాస్లో ప్రతి డొమైన్ను /llms.txt కూడా అడిగాము. ఫలితం ఇదిగో.
ఈ పేజీలో
ఎలా పరిశీలించాము?
Tranco జాబితాలోని టాప్ 10,000 డొమైన్లను (జాబితా ID JZWZY) తీసుకుని, హోమ్ పేజీని చదివి దాని ప్రధాన హోస్ట్కు రీడైరెక్ట్ను అనుసరించిన తర్వాత, 2026 నవంబర్ 21న AISeeWhy స్వంత user agentతో ప్రతి దాని నుంచి /llms.txtను ఒక్కసారి అడిగాము.
/llms.txt చిరునామా స్వయంగా 200తో, HTML పేజీ కాని ఖాళీ కాని టెక్స్ట్ బాడీతో సమాధానం ఇచ్చి, లాగిన్ లేదా హోమ్ పేజీ వంటి మరో పేజీకి రీడైరెక్ట్ చేయకపోతే ఆ డొమైన్ llms.txt ప్రచురిస్తున్నట్టు లెక్కిస్తాము. ఈ పరీక్షలో ఫైల్ ఫార్మాట్ను తనిఖీ చేయలేదు.
ఏం కనుగొన్నాము?
- 10,000 డొమైన్లలో 1,240 (12.4%)
llms.txtప్రచురిస్తున్నాయి. - జాబితాలో వెబ్సైట్ లేని CDNలు, API హోస్ట్లు కూడా ఉన్నాయి. హోమ్ పేజీ HTMLతో సమాధానం ఇచ్చిన 7,367 డొమైన్లలో 1,233 (16.7%) ప్రచురిస్తున్నాయి.
- దాదాపు అన్నీ robots.txt కూడా అందిస్తున్నాయి: 1,240లో 1,229.
పెద్ద సైట్లు ఎక్కువగా ప్రచురిస్తాయా?
అవును, స్పష్టమైన తేడాతో. వెబ్సైట్లను (హోమ్ పేజీ HTMLతో సమాధానం ఇచ్చిన డొమైన్లు) Tranco ర్యాంక్ ప్రకారం విభజించాము:
- ర్యాంక్ 1 నుంచి 1,000: 22.6% llms.txt ప్రచురిస్తున్నాయి (658 వెబ్సైట్లలో 149).
- ర్యాంక్ 1,001 నుంచి 3,000: 18.2% (1,449లో 264).
- ర్యాంక్ 3,001 నుంచి 10,000: 15.6% (5,260లో 820).
ఎవరు ప్రచురిస్తున్నారు?
robots.txt అందించే 6,192 డొమైన్లలో, llms.txt ప్రచురించేవి మిగిలిన వాటికంటే భిన్నంగా కనిపిస్తున్నాయి:
- అవి కనీసం ఒక AI ట్రైనింగ్ క్రాలర్ను 11.8% సందర్భాల్లో నిరోధిస్తున్నాయి, llms.txt లేని డొమైన్లలో ఇది 26.0%.
- కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్ను 1.4% సందర్భాల్లో నిరోధిస్తున్నాయి, మిగిలినవి 15.0%.
Content-Signalలైన్ను 12.9% సందర్భాల్లో వాడుతున్నాయి, మిగిలినవి 4.9%.
అంటే, llms.txt ప్రచురించే శ్రమ తీసుకునే సైట్లు చాలావరకు ఇప్పటికే AI క్రాలర్లను లోపలికి రానిస్తున్న సైట్లే.
ఇది ఏం చూపదు?
ఇది సంబంధాన్ని చూపుతుంది, కారణాన్ని కాదు. AI విజిబిలిటీని సీరియస్గా తీసుకునే సైట్ llms.txt ప్రచురించి, robots.txtని కూడా తెరిచి ఉంచవచ్చు; ఆ తేడాకు ఫైలే కారణమని దీని అర్థం కాదు. ఈ లెక్క ప్రచురణను మాత్రమే కొలుస్తుంది. ఏదైనా AI అసిస్టెంట్ ఆ ఫైల్ను చదువుతుందో లేదో చూపదు, ప్రధాన AI సెర్చ్ క్రాలర్లు దాన్ని వాడతామని చెప్పలేదు కూడా.
ఈ సంఖ్యలు అత్యంత ప్రసిద్ధ డొమైన్ల హోమ్ పేజీ నియమాలను, ఒక చిరునామాలోని ఫైల్ను, ఒక రోజున వివరిస్తాయి. చిన్న సైట్లు భిన్నంగా ఉండవచ్చు.
మీరు ప్రచురించాలా?
ఇది చవకైనది, హానిచేయనిది: మీ సైట్ గురించి చిన్న Markdown సారాంశం, అత్యంత ఉపయోగకరమైన పేజీల జాబితా. దాన్ని కచ్చితంగా ఉంచండి, లింకులు పనిచేసేలా చూసుకోండి. క్రాలర్లను లోపలికి రానివ్వడానికి దీన్ని ప్రత్యామ్నాయంగా భావించకండి: ఫైర్వాల్ క్రాలర్ను తిరస్కరించే సైట్లో, లేదా robots.txt దాన్ని disallow చేసే సైట్లో, llms.txt ఎవరికీ ఉపయోగపడదు.
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- llms.txt చెకర్, వ్యాలిడేటర్
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
తరచుగా అడిగే ప్రశ్నలు
ఎంత శాతం వెబ్సైట్లకు llms.txt ఉంది?
మేము పరిశీలించిన అత్యంత ప్రసిద్ధ 10,000 డొమైన్లలో 12.4% ప్రచురిస్తున్నాయి. హోమ్ పేజీ HTMLతో సమాధానం ఇచ్చే డొమైన్లలో ఇది 16.7%, అతిపెద్ద సైట్లలో ఇంకా ఎక్కువ: టాప్ 1,000లో 22.6%.
llms.txt ఉన్న సైట్లు AI క్రాలర్లను ఎక్కువగా అనుమతిస్తాయా?
మా డేటాలో అవును: అవి AI సెర్చ్, యూజర్ క్రాలర్లను 1.4% సందర్భాల్లో నిరోధిస్తున్నాయి, అది లేని సైట్లలో 15.0%. ఇది పరస్పర సంబంధం మాత్రమే. క్రాలర్లు సైట్ను ఎలా చూస్తాయో ఫైల్ మారుస్తుందని ఇది చూపదు.
llms.txt వల్ల AI అసిస్టెంట్లు నన్ను ప్రస్తావించడానికి సహాయం అవుతుందా?
మా డేటా దీనికి సమాధానం చెప్పలేదు. ఏ సైట్లు ఫైల్ను ప్రచురిస్తున్నాయో మాత్రమే లెక్కిస్తుంది, అసిస్టెంట్ దాన్ని వాడుతుందో లేదో కాదు, ప్రధాన AI సెర్చ్ క్రాలర్లు దాన్ని చదువుతామని చెప్పలేదు. క్రాల్ చేయగల పేజీలు, తెరిచి ఉన్న యాక్సెస్ ఎక్కువ ముఖ్యం.
ఒక సైట్కు నిజమైన llms.txt ఉందో లేదో ఎలా తెలుసుకోవాలి?
/llms.txtను అడిగి, ఆ చిరునామాలోనే 200తో, HTML పేజీ కాని టెక్స్ట్ బాడీతో సమాధానం వస్తుందో చూడండి. హోమ్ పేజీకి లేదా లాగిన్ పేజీకి రీడైరెక్ట్ అయితే అది llms.txt కాదు.
మూలాలు
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: పరిశోధన ఆధారిత టాప్ సైట్ల ర్యాంకింగ్
- Google Search Central: AI ఫీచర్లు మరియు మీ వెబ్సైట్
- OpenAI: OpenAI క్రాలర్ల అవలోకనం