llms.txt అంటే ఏమిటి, దాన్ని జోడించడం విలువైనదేనా?
llms.txt అనేది /llms.txt వద్ద ఉండే ప్రతిపాదిత Markdown ఫైల్, ఇది AI టూల్స్కు మీ సైట్ చిన్న సారాంశాన్ని, దాని అత్యంత ఉపయోగకరమైన పేజీల లింక్ల జాబితాను ఇస్తుంది. ఇది కమ్యూనిటీ ప్రతిపాదన, ప్రమాణం కాదు, ప్రధాన AI సెర్చ్ క్రాలర్లు దాన్ని ఉపయోగిస్తామని చెప్పవు. దీన్ని జోడించడం సులభం, కానీ ఇది క్రాల్ చేయగల HTMLను భర్తీ చేయదు.
llms.txtకు చాలా ప్రాచుర్యం లభిస్తోంది, తరచుగా AI కోసం robots.txtగా చూపబడుతుంది. ఇది వేరే విషయం: క్రాలర్లు ఏమి తెచ్చుకోవచ్చో robots.txt చెబుతుంది, llms.txt మాత్రం చదవదగిన కంటెంట్ వైపు AI టూల్స్ను చూపించే పఠన మార్గదర్శి. ప్రతిపాదన ఏమి చెబుతుందో, దాని వాడకం గురించి ఏమి తెలుసో, దాన్ని ఎలా రాయాలో ఇక్కడ ఉంది.
ఈ పేజీలో
llms.txt ఎక్కడి నుంచి వచ్చింది?
Jeremy Howard సెప్టెంబర్ 2024లో /llms.txt ఫైల్ను ప్రతిపాదించారు, ఈ ప్రతిపాదన llmstxt.orgలో నిర్వహించబడుతోంది. ట్రైనింగ్ కోసం కాకుండా, ఇన్ఫరెన్స్ సమయంలో, ఉదాహరణకు కోడింగ్ అసిస్టెంట్కు ఒక లైబ్రరీ డాక్యుమెంటేషన్ అవసరమైనప్పుడు, లాంగ్వేజ్ మోడల్లు, ఏజెంట్లు వెబ్సైట్ను ఉపయోగించడంలో సహాయపడే ఒక ఫైల్ను ప్రామాణీకరించడం దీని లక్ష్యం.
ఈ ఆలోచన ఒక నిజమైన సమస్యకు జవాబు. వెబ్ పేజీలలో నావిగేషన్, స్క్రిప్ట్లు, బ్యానర్లు, లేఅవుట్ ఉంటాయి. ముఖ్యమైన పేజీల శుభ్రమైన వెర్షన్లకు లింక్లు ఉన్న, జాగ్రత్తగా ఎంచుకున్న చిన్న Markdown ఫైల్తో పరిమితమైన కాంటెక్స్ట్ విండోలో మోడల్ పనిచేయడం సులభం.
llms.txt ఫైల్లో ఏమి ఉంటుంది?
ఫైల్ నిర్ణీత క్రమంలో ఉండే Markdown. మొదటి అంశం మాత్రమే తప్పనిసరి:
- సైట్ లేదా ప్రాజెక్ట్ పేరుతో H1 (తప్పనిసరి).
- సైట్ ఏమిటో చిన్న సారాంశంతో blockquote.
- హెడింగ్లు లేకుండా మరిన్ని వివరాలతో ఐచ్ఛిక పేరాలు లేదా జాబితాలు.
- H2 విభాగాలు, ఒక్కోదానిలో
[name](url)రూపంలో Markdown లింక్ల జాబితా, ఐచ్ఛికంగా కోలన్, ఒక గమనికతో. - టూల్కు తక్కువ కాంటెక్స్ట్ అవసరమైనప్పుడు దాటవేయగల ద్వితీయ లింక్ల కోసం
Optionalఅనే ఐచ్ఛిక విభాగం.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) టూల్స్ శుభ్రమైన టెక్స్ట్ను తెచ్చుకోగలిగేలా, అదే URLకు .md జోడించి పేజీల Markdown వెర్షన్లను అందించాలని కూడా ప్రతిపాదన సూచిస్తుంది, ఉదాహరణకు page.html.md.
ఈ రోజు నిజంగా llms.txtను ఎవరు చదువుతారు?
ఇక్కడ జాగ్రత్తగా ఉండటం మంచిది. ఈ ఫైల్లు ఎక్కువగా సాఫ్ట్వేర్ డాక్యుమెంటేషన్ కోసం ఉపయోగించబడుతున్నాయని, అక్కడ కోడింగ్ ఏజెంట్లు వాటిని అనుసరిస్తాయని llmstxt.org సైట్ చెబుతుంది. మేము సమీక్షించిన క్రాలర్ డాక్యుమెంటేషన్లో OpenAI, Anthropic, Google, Perplexity తమ సెర్చ్ క్రాలర్లు ఉపయోగించే సిగ్నల్లలో llms.txtను పేర్కొనవు.
Google తన సొంత Search ఫీచర్ల విషయంలో ఇంకా ముందుకు వెళ్తుంది. AI Overviews, AI Modeలో కనిపించడానికి కొత్త మెషిన్-రీడబుల్ ఫైల్లు, AI టెక్స్ట్ ఫైల్లు లేదా మార్కప్ సృష్టించాల్సిన అవసరం లేదని AI Overviews, AI Modeపై దాని మార్గదర్శకాలు చెబుతాయి. Google Search కోసం llms.txtకు ప్రకటించిన పాత్ర ఏదీ లేదు.
కాబట్టి నిజాయితీగల జవాబు: కొన్ని AI టూల్స్, ఎక్కువగా ఒక సైట్ వైపు చూపబడిన కోడింగ్ అసిస్టెంట్లు, ఏజెంట్లు, దాన్ని చదవవచ్చు. AI సెర్చ్ మీ పేజీని ఉటంకిస్తుందా లేదా అని నిర్ణయించే క్రాలర్లు మీ HTML ఆధారంగానే పనిచేస్తాయి.
మీ ఫైల్ను ఏదైనా చదువుతోందో లేదో మీరే చూడవచ్చు. మీ సర్వర్ లేదా CDN లాగ్లలో /llms.txtకు వచ్చిన అభ్యర్థనల కోసం వెతికి, యూజర్ ఏజెంట్లను చూడండి. కొన్ని వారాల్లో ఏ అభ్యర్థనలూ కనిపించకపోతే, ఏ సాధారణ వాదన కంటే అదే మీ సైట్కు దాని విలువ గురించి ఎక్కువ చెబుతుంది.
అయినా ఒకటి జోడించాలా?
చాలా సైట్లకు ఇది తక్కువ ఖర్చుతో కూడిన, అనిశ్చితమైన చేర్పు. దీనికి కొన్ని నిమిషాలు పడుతుంది, ఇది మీ సెర్చ్ విజిబిలిటీకి హాని చేయదు, దాని కోసం చూసే ఏజెంట్లకు సహాయపడవచ్చు. డాక్యుమెంటేషన్, డెవలపర్ టూల్స్, చాలా రిఫరెన్స్ మెటీరియల్ ఉన్న ప్రోడక్ట్లకు ఇది అత్యంత ఉపయోగకరం.
ఇది చేయలేనిది యాక్సెస్ సమస్యలను సరిచేయడం. ఫైర్వాల్ AI క్రాలర్లను బ్లాక్ చేస్తే, మీ robots.txt వాటిని నిషేధిస్తే, లేదా JavaScript నడిచిన తర్వాతే మీ కంటెంట్ కనిపిస్తే, llms.txt దేన్నీ మార్చదు. ముందు వాటిని సరిచేయండి.
మంచి llms.txtను ఎలా రాయాలి?
- దాన్ని
https://yourdomain.com/llms.txtవద్ద ఉంచి, HTML పేజీగా కాకుండా స్టేటస్ 200తో సాధారణ టెక్స్ట్గా అందించండి. - కొత్త సహోద్యోగికి సైట్ను రెండు వాక్యాల్లో వివరించినట్లు సారాంశం రాయండి: అది ఏమిటి, ఎవరి కోసం.
- నిజమైన ప్రశ్నలకు జవాబిచ్చే పేజీలను జాబితా చేయండి: ప్రోడక్ట్, ధరలు, డాక్యుమెంటేషన్, విధానాలు. ట్యాగ్ పేజీలను, ఆర్కైవ్లను వదిలేయండి.
- పూర్తి (absolute) URLలను ఉపయోగించి, ఉపయోగకరంగా ఉండేంత చిన్నగా జాబితాను ఉంచండి; చాలా సైట్లకు కొన్ని డజన్ల లింక్లు చాలు.
- దాన్ని తాజాగా ఉంచండి. తొలగించిన పేజీలకు లింక్ ఇచ్చే ఫైల్ అసలు ఫైల్ లేకపోవడం కంటే అధ్వాన్నం.
- అనుమతులను చెప్పడానికి దీన్ని ఉపయోగించకండి. యాక్సెస్ నియమాలు robots.txtలో ఉండాలి.
AISeeWhy llms.txtను ఎలా పరిగణిస్తుంది?
మీ సైట్కు llms.txt ఉందో లేదో, ఆడిట్ చేసిన పేజీ అందులో ఉందో లేదో AISeeWhy తనిఖీ చేస్తుంది. ఈ రోజు AI క్రాలర్లు దాన్ని అరుదుగా చదువుతాయి కాబట్టి, ఫైల్ లేకపోవడం అత్యల్ప ప్రాధాన్యత అయిన P3 అంశం, రిపోర్ట్లో మీ పేజీ టైటిల్, వివరణ, sitemap ఆధారంగా తయారైన ముసాయిదా ఉంటుంది, దాన్ని మీరు సవరించి ప్రచురించవచ్చు.
ఈ సమస్యకు పరిష్కారాలు
- ఏజెంట్ డిస్కవరీ ఫైల్ను చదవలేకపోయాం
- ఏజెంట్ల కోసం Markdown వెర్షన్ పాడైంది
- Vary: Accept లేని Markdown జవాబు
- AI ఏజెంట్ల కోసం Markdown వెర్షన్ లేదు
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- llms.txt చెకర్, వ్యాలిడేటర్
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
llms.txt అధికారిక ప్రమాణమా?
కాదు. ఇది llmstxt.orgలో ప్రచురించిన కమ్యూనిటీ ప్రతిపాదన. ఇది IETF లేదా W3C ప్రమాణం కాదు, దాన్ని చదవాల్సిన బాధ్యత ఏ AI సంస్థకూ లేదు.
llms.txt AI ట్రైనింగ్ను బ్లాక్ చేస్తుందా?
లేదు. ఇది లింక్ల జాబితా, అనుమతుల సమితి కాదు. ట్రైనింగ్ నుంచి వైదొలగడానికి robots.txtలో GPTBot, ClaudeBot లేదా Google-Extended వంటి ట్రైనింగ్ టోకెన్లను ఉపయోగించండి.
Google AI Overviewsలో కనిపించడానికి llms.txt అవసరమా?
అవసరం లేదు. AI Overviews లేదా AI Modeలో కనిపించడానికి AI టెక్స్ట్ ఫైల్లు గానీ ప్రత్యేక మార్కప్ గానీ అవసరం లేదని Google చెబుతుంది. పేజీ ఇండెక్స్ అయి ఉండాలి, స్నిప్పెట్ చూపడానికి అర్హత కలిగి ఉండాలి.
llms.txt సబ్ఫోల్డర్లో ఉండవచ్చా?
ప్రతిపాదన ప్రస్తుత వెర్షన్ /docs/llms.txt వంటి సబ్పాత్లో, ఆ పాత్ కింది పేజీలను కవర్ చేసే ఫైల్ను అనుమతిస్తుంది. చాలా సైట్లకు రూట్లో ఒక్క ఫైల్ చాలు.
మూలాలు
- llmstxt.org: /llms.txt ఫైల్
- Google Search Central: AI ఫీచర్లు, మీ వెబ్సైట్
- OpenAI: OpenAI క్రాలర్ల అవలోకనం