llms.txt என்றால் என்ன, அதைச் சேர்ப்பது பயனுள்ளதா?

வெளியிடப்பட்டது

சுருக்கமான பதில்

llms.txt என்பது /llms.txt-இல் வைக்கப்படும் முன்மொழியப்பட்ட Markdown கோப்பு; அது AI கருவிகளுக்கு உங்கள் தளத்தின் சுருக்கமான விவரத்தையும் அதன் மிகப் பயனுள்ள பக்கங்களுக்கான இணைப்புகளின் பட்டியலையும் தருகிறது. இது தரநிலை அல்ல, சமூக முன்மொழிவு; முக்கிய AI தேடல் கிராலர்கள் அதைப் பயன்படுத்துவதாகக் கூறவில்லை. சேர்ப்பது எளிது, ஆனால் கிரால் செய்யக்கூடிய HTML-க்கு அது மாற்றாகாது.

llms.txt நிறையக் கவனத்தைப் பெறுகிறது, பெரும்பாலும் AI-க்கான robots.txt என்று முன்வைக்கப்படுகிறது. அது வேறு ஒன்று: கிராலர்கள் எதைப் பெறலாம் என்பதை robots.txt கூறுகிறது, llms.txt படிக்கத் தகுந்த உள்ளடக்கத்துக்கு AI கருவிகளை வழிநடத்தும் வாசிப்பு வழிகாட்டி. இந்த முன்மொழிவு என்ன கூறுகிறது, அதன் பயன்பாடு பற்றி என்ன தெரியும், அதை எப்படி எழுதுவது என்பது இங்கே.

இந்தப் பக்கத்தில்
  1. llms.txt எங்கிருந்து வருகிறது?
  2. llms.txt கோப்பில் என்ன இருக்கும்?
  3. இன்று உண்மையில் llms.txt-ஐ யார் படிக்கிறார்கள்?
  4. எப்படியிருந்தாலும் ஒன்றைச் சேர்க்க வேண்டுமா?
  5. நல்ல llms.txt-ஐ எப்படி எழுதுவது?
  6. AISeeWhy llms.txt-ஐ எப்படிக் கையாள்கிறது?

llms.txt எங்கிருந்து வருகிறது?

செப்டம்பர் 2024-இல் Jeremy Howard /llms.txt கோப்பை முன்மொழிந்தார்; அந்த முன்மொழிவு llmstxt.org-இல் பராமரிக்கப்படுகிறது. பயிற்சிக்காக அல்லாமல், inference நேரத்தில் மொழி மாடல்களும் ஏஜென்ட்களும் ஒரு இணையதளத்தைப் பயன்படுத்த உதவும் ஒரு கோப்பைத் தரப்படுத்துவதே அதன் நோக்கம்; உதாரணமாக, ஒரு coding உதவியாளருக்கு ஒரு library-இன் ஆவணங்கள் தேவைப்படும்போது.

இந்த யோசனை ஒரு உண்மையான சிக்கலுக்குப் பதிலளிக்கிறது. வலைப் பக்கங்களில் navigation, scripts, banners, layout ஆகியவை உள்ளன. முக்கியப் பக்கங்களின் சுத்தமான பதிப்புகளுக்கான இணைப்புகளுடன் கூடிய சுருக்கமான, தேர்ந்தெடுக்கப்பட்ட Markdown கோப்பு, வரம்புக்குட்பட்ட context window-க்குள் ஒரு மாடல் பயன்படுத்த எளிதானது.

llms.txt கோப்பில் என்ன இருக்கும்?

கோப்பு நிலையான வரிசையுடன் கூடிய Markdown. முதல் உறுப்பு மட்டுமே கட்டாயம்:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

கருவிகள் சுத்தமான உரையைப் பெற, பக்கங்களின் Markdown பதிப்புகளை அதே URL-இல் .md சேர்த்து வழங்கவும் முன்மொழிவு பரிந்துரைக்கிறது, உதாரணமாக page.html.md.

இன்று உண்மையில் llms.txt-ஐ யார் படிக்கிறார்கள்?

இங்குதான் கவனமாக இருப்பது பலன் தரும். இந்தக் கோப்புகள் மென்பொருள் ஆவணங்களுக்கே அதிகம் பயன்படுத்தப்படுவதாகவும், coding ஏஜென்ட்கள் அவற்றைப் பின்பற்றுவதாகவும் llmstxt.org தளம் கூறுகிறது. நாங்கள் பார்த்த கிராலர் ஆவணங்களில், OpenAI, Anthropic, Google, Perplexity ஆகியவை தங்கள் தேடல் கிராலர்கள் பயன்படுத்தும் signals-இல் llms.txt-ஐப் பட்டியலிடவில்லை.

தன் சொந்த Search அம்சங்களுக்கு Google இன்னும் ஒரு படி மேலே செல்கிறது. AI Overviews மற்றும் AI Mode-இல் தோன்ற புதிய machine-readable கோப்புகள், AI உரைக் கோப்புகள் அல்லது markup எதையும் உருவாக்கத் தேவையில்லை என்று அதன் வழிகாட்டல் கூறுகிறது. Google Search-க்கு llms.txt-க்கு அறிவிக்கப்பட்ட பங்கு எதுவும் இல்லை.

எனவே நேர்மையான பதில்: சில AI கருவிகள், பெரும்பாலும் ஒரு தளத்தை நோக்கி இயக்கப்படும் coding உதவியாளர்களும் ஏஜென்ட்களும், அதைப் படிக்கலாம். AI தேடல் உங்கள் பக்கத்தை மேற்கோள் காட்டுமா என்பதைத் தீர்மானிக்கும் கிராலர்கள் உங்கள் HTML-ஐக் கொண்டே செயல்படுகின்றன.

உங்கள் கோப்பை ஏதாவது படிக்கிறதா என்பதை நீங்களே பார்க்கலாம். உங்கள் சர்வர் அல்லது CDN logs-இல் /llms.txt-க்கான கோரிக்கைகளைத் தேடி user agents-ஐப் பாருங்கள். சில வாரங்களில் எந்தக் கோரிக்கையும் இல்லையெனில், எந்தப் பொதுவான கூற்றையும்விட அது உங்கள் தளத்துக்கு அதன் மதிப்பைப் பற்றி அதிகம் சொல்கிறது.

எப்படியிருந்தாலும் ஒன்றைச் சேர்க்க வேண்டுமா?

பெரும்பாலான தளங்களுக்கு இது குறைந்த செலவும் குறைந்த உறுதியும் கொண்ட சேர்க்கை. இதற்குச் சில நிமிடங்களே ஆகும், உங்கள் தேடல் தெரிவுநிலையைப் பாதிக்காது, அதைத் தேடும் ஏஜென்ட்களுக்கு உதவலாம். ஆவணங்கள், டெவலப்பர் கருவிகள், நிறைய குறிப்புப் பொருட்கள் கொண்ட தயாரிப்புகளுக்கு இது மிகப் பயனுள்ளது.

அதனால் செய்ய முடியாதது அணுகல் சிக்கல்களைச் சரிசெய்வது. ஃபயர்வால் AI கிராலர்களைத் தடுத்தாலோ, உங்கள் robots.txt அவற்றைத் தடுத்தாலோ, அல்லது JavaScript இயங்கிய பிறகே உங்கள் உள்ளடக்கம் தோன்றினாலோ, llms.txt எதையும் மாற்றாது. முதலில் அவற்றைச் சரிசெய்யுங்கள்.

நல்ல llms.txt-ஐ எப்படி எழுதுவது?

AISeeWhy llms.txt-ஐ எப்படிக் கையாள்கிறது?

உங்கள் தளத்தில் llms.txt உள்ளதா, தணிக்கை செய்யப்பட்ட பக்கம் அதில் பட்டியலிடப்பட்டுள்ளதா என்று AISeeWhy சரிபார்க்கிறது. இன்று AI கிராலர்கள் அதை அரிதாகவே படிப்பதால், கோப்பு இல்லாதது மிகக் குறைந்த முன்னுரிமையான P3 கண்டறிதல்; உங்கள் பக்கத் தலைப்பு, விளக்கம், sitemap ஆகியவற்றிலிருந்து உருவாக்கப்பட்ட, நீங்கள் திருத்தி வெளியிடக்கூடிய வரைவையும் அறிக்கை சேர்க்கிறது.

இந்தச் சிக்கலுக்கான திருத்தங்கள்

இலவசக் கருவிகள்

அடுத்த படிகள்

இந்தக் கட்டுரையில் உள்ள கிராலர்கள்

அடிக்கடி கேட்கப்படும் கேள்விகள்

llms.txt அதிகாரப்பூர்வத் தரநிலையா?

இல்லை. இது llmstxt.org-இல் வெளியிடப்பட்ட சமூக முன்மொழிவு. இது IETF அல்லது W3C தரநிலை அல்ல; எந்த AI நிறுவனமும் அதைப் படிக்கக் கட்டுப்பட்டதல்ல.

llms.txt AI பயிற்சியைத் தடுக்குமா?

இல்லை. இது இணைப்புகளின் பட்டியல், அனுமதிகளின் தொகுப்பு அல்ல. பயிற்சியிலிருந்து விலக, robots.txt-இல் GPTBot, ClaudeBot அல்லது Google-Extended போன்ற பயிற்சி டோக்கன்களைப் பயன்படுத்துங்கள்.

Google AI Overviews-இல் தோன்ற llms.txt தேவையா?

இல்லை. AI Overviews அல்லது AI Mode-இல் தோன்ற AI உரைக் கோப்புகளோ சிறப்பு markup-ஓ தேவையில்லை என்று Google கூறுகிறது. பக்கம் குறியிடப்பட்டு snippet காட்டத் தகுதியுடையதாக இருக்க வேண்டும்.

llms.txt துணைக் கோப்புறையில் இருக்கலாமா?

முன்மொழிவின் தற்போதைய பதிப்பு /docs/llms.txt போன்ற subpath-இல் உள்ள கோப்பை அனுமதிக்கிறது; அது அந்தப் பாதையின் கீழ் உள்ள பக்கங்களை உள்ளடக்கும். பெரும்பாலான தளங்களுக்கு root-இல் ஒரு கோப்பு மட்டுமே தேவை.

மூலங்கள்

மேலும் கட்டுரைகள்