llms.txt என்றால் என்ன, அதைச் சேர்ப்பது பயனுள்ளதா?
llms.txt என்பது /llms.txt-இல் வைக்கப்படும் முன்மொழியப்பட்ட Markdown கோப்பு; அது AI கருவிகளுக்கு உங்கள் தளத்தின் சுருக்கமான விவரத்தையும் அதன் மிகப் பயனுள்ள பக்கங்களுக்கான இணைப்புகளின் பட்டியலையும் தருகிறது. இது தரநிலை அல்ல, சமூக முன்மொழிவு; முக்கிய AI தேடல் கிராலர்கள் அதைப் பயன்படுத்துவதாகக் கூறவில்லை. சேர்ப்பது எளிது, ஆனால் கிரால் செய்யக்கூடிய HTML-க்கு அது மாற்றாகாது.
llms.txt நிறையக் கவனத்தைப் பெறுகிறது, பெரும்பாலும் AI-க்கான robots.txt என்று முன்வைக்கப்படுகிறது. அது வேறு ஒன்று: கிராலர்கள் எதைப் பெறலாம் என்பதை robots.txt கூறுகிறது, llms.txt படிக்கத் தகுந்த உள்ளடக்கத்துக்கு AI கருவிகளை வழிநடத்தும் வாசிப்பு வழிகாட்டி. இந்த முன்மொழிவு என்ன கூறுகிறது, அதன் பயன்பாடு பற்றி என்ன தெரியும், அதை எப்படி எழுதுவது என்பது இங்கே.
இந்தப் பக்கத்தில்
llms.txt எங்கிருந்து வருகிறது?
செப்டம்பர் 2024-இல் Jeremy Howard /llms.txt கோப்பை முன்மொழிந்தார்; அந்த முன்மொழிவு llmstxt.org-இல் பராமரிக்கப்படுகிறது. பயிற்சிக்காக அல்லாமல், inference நேரத்தில் மொழி மாடல்களும் ஏஜென்ட்களும் ஒரு இணையதளத்தைப் பயன்படுத்த உதவும் ஒரு கோப்பைத் தரப்படுத்துவதே அதன் நோக்கம்; உதாரணமாக, ஒரு coding உதவியாளருக்கு ஒரு library-இன் ஆவணங்கள் தேவைப்படும்போது.
இந்த யோசனை ஒரு உண்மையான சிக்கலுக்குப் பதிலளிக்கிறது. வலைப் பக்கங்களில் navigation, scripts, banners, layout ஆகியவை உள்ளன. முக்கியப் பக்கங்களின் சுத்தமான பதிப்புகளுக்கான இணைப்புகளுடன் கூடிய சுருக்கமான, தேர்ந்தெடுக்கப்பட்ட Markdown கோப்பு, வரம்புக்குட்பட்ட context window-க்குள் ஒரு மாடல் பயன்படுத்த எளிதானது.
llms.txt கோப்பில் என்ன இருக்கும்?
கோப்பு நிலையான வரிசையுடன் கூடிய Markdown. முதல் உறுப்பு மட்டுமே கட்டாயம்:
- தளம் அல்லது திட்டத்தின் பெயருடன் ஒரு H1 (கட்டாயம்).
- தளம் என்ன என்பதன் சுருக்கமான விவரத்துடன் ஒரு blockquote.
- தலைப்புகள் இல்லாமல், கூடுதல் விவரங்களுடன் விருப்பத்தேர்வுப் பத்திகள் அல்லது பட்டியல்கள்.
- H2 பிரிவுகள், ஒவ்வொன்றிலும்
[name](url)வடிவத்தில் Markdown இணைப்புகளின் பட்டியல், விருப்பத்தேர்வாக ஒரு colon-உம் குறிப்பும் தொடர்ந்து. - குறைந்த context தேவைப்படும்போது ஒரு கருவி தவிர்க்கக்கூடிய இரண்டாம் நிலை இணைப்புகளுக்கு
Optionalஎன்ற விருப்பத்தேர்வுப் பிரிவு.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) கருவிகள் சுத்தமான உரையைப் பெற, பக்கங்களின் Markdown பதிப்புகளை அதே URL-இல் .md சேர்த்து வழங்கவும் முன்மொழிவு பரிந்துரைக்கிறது, உதாரணமாக page.html.md.
இன்று உண்மையில் llms.txt-ஐ யார் படிக்கிறார்கள்?
இங்குதான் கவனமாக இருப்பது பலன் தரும். இந்தக் கோப்புகள் மென்பொருள் ஆவணங்களுக்கே அதிகம் பயன்படுத்தப்படுவதாகவும், coding ஏஜென்ட்கள் அவற்றைப் பின்பற்றுவதாகவும் llmstxt.org தளம் கூறுகிறது. நாங்கள் பார்த்த கிராலர் ஆவணங்களில், OpenAI, Anthropic, Google, Perplexity ஆகியவை தங்கள் தேடல் கிராலர்கள் பயன்படுத்தும் signals-இல் llms.txt-ஐப் பட்டியலிடவில்லை.
தன் சொந்த Search அம்சங்களுக்கு Google இன்னும் ஒரு படி மேலே செல்கிறது. AI Overviews மற்றும் AI Mode-இல் தோன்ற புதிய machine-readable கோப்புகள், AI உரைக் கோப்புகள் அல்லது markup எதையும் உருவாக்கத் தேவையில்லை என்று அதன் வழிகாட்டல் கூறுகிறது. Google Search-க்கு llms.txt-க்கு அறிவிக்கப்பட்ட பங்கு எதுவும் இல்லை.
எனவே நேர்மையான பதில்: சில AI கருவிகள், பெரும்பாலும் ஒரு தளத்தை நோக்கி இயக்கப்படும் coding உதவியாளர்களும் ஏஜென்ட்களும், அதைப் படிக்கலாம். AI தேடல் உங்கள் பக்கத்தை மேற்கோள் காட்டுமா என்பதைத் தீர்மானிக்கும் கிராலர்கள் உங்கள் HTML-ஐக் கொண்டே செயல்படுகின்றன.
உங்கள் கோப்பை ஏதாவது படிக்கிறதா என்பதை நீங்களே பார்க்கலாம். உங்கள் சர்வர் அல்லது CDN logs-இல் /llms.txt-க்கான கோரிக்கைகளைத் தேடி user agents-ஐப் பாருங்கள். சில வாரங்களில் எந்தக் கோரிக்கையும் இல்லையெனில், எந்தப் பொதுவான கூற்றையும்விட அது உங்கள் தளத்துக்கு அதன் மதிப்பைப் பற்றி அதிகம் சொல்கிறது.
எப்படியிருந்தாலும் ஒன்றைச் சேர்க்க வேண்டுமா?
பெரும்பாலான தளங்களுக்கு இது குறைந்த செலவும் குறைந்த உறுதியும் கொண்ட சேர்க்கை. இதற்குச் சில நிமிடங்களே ஆகும், உங்கள் தேடல் தெரிவுநிலையைப் பாதிக்காது, அதைத் தேடும் ஏஜென்ட்களுக்கு உதவலாம். ஆவணங்கள், டெவலப்பர் கருவிகள், நிறைய குறிப்புப் பொருட்கள் கொண்ட தயாரிப்புகளுக்கு இது மிகப் பயனுள்ளது.
அதனால் செய்ய முடியாதது அணுகல் சிக்கல்களைச் சரிசெய்வது. ஃபயர்வால் AI கிராலர்களைத் தடுத்தாலோ, உங்கள் robots.txt அவற்றைத் தடுத்தாலோ, அல்லது JavaScript இயங்கிய பிறகே உங்கள் உள்ளடக்கம் தோன்றினாலோ, llms.txt எதையும் மாற்றாது. முதலில் அவற்றைச் சரிசெய்யுங்கள்.
நல்ல llms.txt-ஐ எப்படி எழுதுவது?
- அதை
https://yourdomain.com/llms.txt-இல் வைத்து, HTML பக்கமாக அல்லாமல் நிலை 200 உடன் சாதாரண உரையாக வழங்குங்கள். - ஒரு புதிய சக ஊழியருக்கு இரண்டு வாக்கியங்களில் தளத்தை விளக்குவது போலச் சுருக்கத்தை எழுதுங்கள்: அது என்ன, யாருக்கானது.
- உண்மையான கேள்விகளுக்குப் பதிலளிக்கும் பக்கங்களைப் பட்டியலிடுங்கள்: தயாரிப்பு, விலை, ஆவணங்கள், கொள்கைகள். Tag பக்கங்களையும் காப்பகங்களையும் தவிருங்கள்.
- முழுமையான (absolute) URL-களைப் பயன்படுத்தி, பட்டியல் பயனுள்ளதாக இருக்கும் அளவுக்குச் சுருக்கமாக வையுங்கள்; பெரும்பாலான தளங்களுக்குச் சில டஜன் இணைப்புகள் போதும்.
- அதைப் புதுப்பித்த நிலையில் வையுங்கள். நீக்கப்பட்ட பக்கங்களுக்கு இணைப்பு தரும் கோப்பு, கோப்பே இல்லாததைவிட மோசமானது.
- அனுமதிகளைத் தெரிவிக்க அதைப் பயன்படுத்தாதீர்கள். அணுகல் விதிகள் robots.txt-இல் இருக்க வேண்டும்.
AISeeWhy llms.txt-ஐ எப்படிக் கையாள்கிறது?
உங்கள் தளத்தில் llms.txt உள்ளதா, தணிக்கை செய்யப்பட்ட பக்கம் அதில் பட்டியலிடப்பட்டுள்ளதா என்று AISeeWhy சரிபார்க்கிறது. இன்று AI கிராலர்கள் அதை அரிதாகவே படிப்பதால், கோப்பு இல்லாதது மிகக் குறைந்த முன்னுரிமையான P3 கண்டறிதல்; உங்கள் பக்கத் தலைப்பு, விளக்கம், sitemap ஆகியவற்றிலிருந்து உருவாக்கப்பட்ட, நீங்கள் திருத்தி வெளியிடக்கூடிய வரைவையும் அறிக்கை சேர்க்கிறது.
இந்தச் சிக்கலுக்கான திருத்தங்கள்
- ஏஜென்ட் கண்டறிதல் கோப்பு ஒன்றைப் படிக்க முடியவில்லை
- ஏஜென்ட்களுக்கான Markdown பதிப்பு உடைந்துள்ளது
- Vary: Accept இல்லாத Markdown பதில்
- AI ஏஜென்ட்களுக்கான Markdown பதிப்பு இல்லை
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- llms.txt checker, validator
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
llms.txt அதிகாரப்பூர்வத் தரநிலையா?
இல்லை. இது llmstxt.org-இல் வெளியிடப்பட்ட சமூக முன்மொழிவு. இது IETF அல்லது W3C தரநிலை அல்ல; எந்த AI நிறுவனமும் அதைப் படிக்கக் கட்டுப்பட்டதல்ல.
llms.txt AI பயிற்சியைத் தடுக்குமா?
இல்லை. இது இணைப்புகளின் பட்டியல், அனுமதிகளின் தொகுப்பு அல்ல. பயிற்சியிலிருந்து விலக, robots.txt-இல் GPTBot, ClaudeBot அல்லது Google-Extended போன்ற பயிற்சி டோக்கன்களைப் பயன்படுத்துங்கள்.
Google AI Overviews-இல் தோன்ற llms.txt தேவையா?
இல்லை. AI Overviews அல்லது AI Mode-இல் தோன்ற AI உரைக் கோப்புகளோ சிறப்பு markup-ஓ தேவையில்லை என்று Google கூறுகிறது. பக்கம் குறியிடப்பட்டு snippet காட்டத் தகுதியுடையதாக இருக்க வேண்டும்.
llms.txt துணைக் கோப்புறையில் இருக்கலாமா?
முன்மொழிவின் தற்போதைய பதிப்பு /docs/llms.txt போன்ற subpath-இல் உள்ள கோப்பை அனுமதிக்கிறது; அது அந்தப் பாதையின் கீழ் உள்ள பக்கங்களை உள்ளடக்கும். பெரும்பாலான தளங்களுக்கு root-இல் ஒரு கோப்பு மட்டுமே தேவை.
மூலங்கள்
- llmstxt.org: /llms.txt கோப்பு
- Google Search Central: AI அம்சங்களும் உங்கள் இணையதளமும்
- OpenAI: OpenAI கிராலர்களின் கண்ணோட்டம்