llms-full.txt என்றால் என்ன, llms.txt-உடன் அதையும் வெளியிட வேண்டுமா?
llms-full.txt என்பது ஒரு தளத்தின் ஆவணங்களின் முழு உரையை, பொதுவாக Markdown-இல், கொண்ட ஒற்றை உரைக் கோப்பு; சுருக்கமான /llms.txt index-க்கு அருகில் வெளியிடப்படுகிறது. அது llmstxt.org-இல் உள்ள llms.txt முன்மொழிவின் பகுதி அல்ல; ஆவணத் தளங்கள் ஏற்றுக்கொண்ட ஒரு வழக்கம். agent-கள் மொத்தமாக ஏற்றும் டெவலப்பர் ஆவணங்களை நீங்கள் நடத்தினால் ஒன்றை வெளியிடுங்கள்; பெரும்பாலான வணிகத் தளங்களுக்கு நல்ல llms.txt-உம் சுத்தமான பக்கங்களும் போதும்.
llms.txt என்றால் என்ன என்ற எங்கள் கட்டுரை index கோப்பையே விளக்குகிறது: அதன் வடிவம், அது எங்கிருந்து வருகிறது, யார் அதைப் படிக்கிறார்கள். இது அதன் பெரிய உடன்பிறப்பைப் பற்றியது. ஒரு ஆவணத் தளத்தில் llms-full.txt-ஐப் பார்த்திருந்தால், அல்லது உங்களிடம் அது உள்ளதா என்று ஒரு checker கேட்டிருந்தால், அந்தக் கோப்பு என்ன, முன்மொழிவு எதைச் சொல்கிறது, எதைச் சொல்லவில்லை, அது உழைப்புக்குத் தகுந்ததா என்பது இங்கே.
இந்தப் பக்கத்தில்
- llms-full.txt, llms.txt விவரக்குறிப்பின் பகுதியா?
- llms-full.txt, llms.txt, .md பக்கங்களிலிருந்து எப்படி வேறுபடுகிறது?
- llms-full.txt-ஐ யார் வெளியிடுகிறார்கள்?
- AI கிராலர்கள் llms.txt அல்லது llms-full.txt-ஐப் படிக்கின்றனவா?
- llms-full.txt எவ்வளவு பெரிதாக இருக்கலாம்?
- llms-full.txt-ஐ எப்படி உருவாக்கிச் சரிபார்ப்பது?
- llms-full.txt முன்னுரிமையாக இருக்க வேண்டுமா?
llms-full.txt, llms.txt விவரக்குறிப்பின் பகுதியா?
இல்லை. இப்போது பதிப்பு 2-இல் உள்ள (10 ஆகஸ்ட் 2026 அன்று மாற்றப்பட்ட) llmstxt.org முன்மொழிவு, llms.txt என்ற பெயருடைய கோப்புகளை மட்டுமே வரையறுக்கிறது; அவை தளத்தின் root-இலோ எந்த path-இலோ இருக்கலாம், ஒரு கோப்பு அதன் path-இன் கீழ் உள்ள பக்கங்களை உள்ளடக்குகிறது. தனிப் பக்கங்களின் Markdown பதிப்புகளையும் அது முன்மொழிகிறது: பக்க URL-உடன் .md சேர்த்து (page.html.md) அல்லது நீட்டிப்பை மாற்றி (page.md), கோப்புப் பெயர் இல்லாத URL-களுக்கு index.html.md அல்லது index.md.
எல்லா உள்ளடக்கமும் கொண்ட ஒற்றைக் கோப்பு விவரக்குறிப்பில் எங்கும் இல்லை. பதிப்பு 1, ஒரு llms.txt-ஐ ஒரே context கோப்பாக விரிவாக்கும் llms_txt2ctx என்ற கருவியை விவரித்தது. பதிப்பு 2 அந்தக் கருவியை முன்மொழிவிலிருந்து நீக்கி, அதற்குப் பதிலாக எதிர்பார்க்கப்படும் பயன்பாட்டைச் சொல்கிறது: agent-கள் llms.txt-ஐப் படிக்கின்றன அல்லது தேடுகின்றன, பிறகு தேவையான இணைப்புகளைப் பின்தொடர்கின்றன. முன்மொழிவின் சொந்த உதாரணமான FastHTML ஆவணம் இன்னும் llms-ctx-full.txt என்ற விரிவாக்கப்பட்ட கோப்பை வழங்குகிறது.
எனவே llms-full.txt ஒரு பெயரிடும் வழக்கம். "எல்லாப் பக்கங்களும், ஒன்றன் பின் ஒன்றாக" என்பதைத் தாண்டி ஒப்புக்கொள்ளப்பட்ட வடிவம் இல்லை.
llms-full.txt, llms.txt, .md பக்கங்களிலிருந்து எப்படி வேறுபடுகிறது?
முன்மொழிவின் பதிப்பு 2, HTTP header-இலோ பக்கத்தின் HTML-இலோ standard link relations-ஐப் பயன்படுத்தி, ஒரு பக்கத்தின் Markdown பதிப்பையும் அதை உள்ளடக்கும் llms.txt-ஐயும் agent-கள் கண்டுபிடிக்க ஒரு வழியைச் சேர்க்கிறது:
llms.txtஒரு index: ஒரு தலைப்பு, ஒரு சுருக்கம், இணைப்புப் பட்டியல்கள். அது ஒரு மாடலின் context-இல் பொருந்தும் அளவுக்குச் சிறியதாக இருக்க வேண்டும் என்று முன்மொழிவு கூறுகிறது..mdபக்கங்கள் தனிப் பக்கங்களின் சுத்தமான நகல்கள். அவை முன்மொழிவின் பகுதி; agent தனக்குத் தேவையானவற்றை மட்டுமே பெறுகிறது.llms-full.txtஎல்லாப் பக்கங்களும் ஒரே கோப்பில் இணைக்கப்பட்டது. ஒரே கோரிக்கை agent-க்கு எல்லாவற்றையும் தருகிறது, அளவின் விலையில்.
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txt-க்கு அதற்கு இணையான link relation இல்லை. அதை வெளியிடும் தளங்கள் பொதுவாகத் தங்கள் llms.txt-இலிருந்து அதற்கு இணைப்பு தருகின்றன.
llms-full.txt-ஐ யார் வெளியிடுகிறார்கள்?
பெரும்பாலும் டெவலப்பர் ஆவணத் தளங்கள். 17 நவம்பர் 2026 அன்று நாங்கள் சரிபார்த்தபோது, இந்தக் கோப்புகள் நேரலையில் இருந்தன:
- Cloudflare:
developers.cloudflare.com/llms-full.txt, சுமார் 71 MB. அதன் root llms.txt 17 KB, ஒவ்வொரு தயாரிப்புக்கும் தனி llms.txt-க்கு இணைப்பு தருகிறது. - Anthropic:
platform.claude.com/llms-full.txt, சுமார் 53 MB. 102 KB llms.txt இறுதியில் அதற்கு இணைப்பு தருகிறது. - OpenAI:
developers.openai.com/llms-full.txt, சுமார் 9.7 MB; கோப்பில் அது ஒற்றைக் கோப்பு Markdown ஏற்றுமதி என்று விவரிக்கப்பட்டுள்ளது. அதன் llms.txt 6 KB. - Perplexity:
docs.perplexity.ai/llms-full.txt, சுமார் 4 MB, ஒவ்வொரு பக்கத்தின் URL-ஐயும் தரும்Source:வரியுடன். அதன் llms.txt 46 KB.
நான்கும் API மற்றும் தயாரிப்பு ஆவணங்கள், டெவலப்பர்களும் coding agent-களும் படிப்பவை. மிகப் பிரபலமான 1,000 domain-கள் பற்றிய எங்கள் நவம்பர் 2026 ஆய்வில் llms-full.txt-ஐ நாங்கள் எண்ணவில்லை; அவற்றில் 132 llms.txt-ஐ வெளியிட்டன, அவற்றில் 117 llmstxt.org வடிவத்தைப் பின்பற்றின.
AI கிராலர்கள் llms.txt அல்லது llms-full.txt-ஐப் படிக்கின்றனவா?
நாங்கள் கண்டுபிடிக்க முடிந்த எந்த ஆவணத்தின்படியும் இல்லை. OpenAI, Anthropic, Perplexity-இன் கிராலர் பக்கங்கள் தங்கள் bot-களையும் robots.txt டோக்கன்களையும் விவரிக்கின்றன; அந்தக் கிராலர்கள் பிற தளங்களில் llms.txt அல்லது llms-full.txt-ஐப் படிப்பதாக அவற்றில் எதுவும் சொல்லவில்லை. AI Overviews அல்லது AI Mode-இல் தோன்றப் புதிய இயந்திரம் படிக்கக்கூடிய கோப்புகள், AI உரைக் கோப்புகள் அல்லது markup உருவாக்கத் தேவையில்லை என்று Google கூறுகிறது.
தங்கள் சொந்த ஆவணங்களுக்கு இந்தக் கோப்புகளை வெளியிடுவது உங்களுடையதைப் படிப்பதற்குச் சமம் அல்ல. இந்தக் கோப்புகள் மென்பொருள் ஆவணங்களுக்கே அதிகம் பயன்படுகின்றன, அங்கே coding agent-கள் அவற்றைப் பின்தொடர்கின்றன என்று llmstxt.org கூறுகிறது. Chrome-இன் Lighthouse-இல் llms.txt audit உள்ளது, ஆனால் அது /llms.txt-ஐப் பெறும்போது சர்வர் பிழையை மட்டுமே குறிக்கிறது; கோப்பு இல்லாதது பொருந்தாது என்று எண்ணப்படுகிறது, audit llms-full.txt-ஐக் குறிப்பிடவில்லை.
உங்கள் சொந்தத் தளத்துக்குச் சான்று வேண்டுமெனில், உங்கள் server log-களில் /llms-full.txt-க்கான கோரிக்கைகளைத் தேடி, user agent-களைப் பாருங்கள்.
llms-full.txt எவ்வளவு பெரிதாக இருக்கலாம்?
எந்த வரம்பும் ஆவணப்படுத்தப்படவில்லை, ஏனெனில் எந்த விவரக்குறிப்பும் கோப்பை வரையறுக்கவில்லை. நடைமுறை வரம்பு படிப்பவர்தான். context windows முன்பை விடப் பெரியதாக இருந்தாலும், பெரும்பாலான இணையதளங்களை முழுமையாகக் கொள்ள இன்னும் சிறியவை என்று llmstxt.org குறிப்பிடுகிறது. பல megabytes கொண்ட கோப்பை ஒரே முறையில் படிக்க முடியாது, எனவே agent அதைத் தேட வேண்டும் அல்லது பகுதிகளாகப் படிக்க வேண்டும்; llms.txt index-உம் .md பக்கங்களும் ஏற்கெனவே அதை அனுமதிக்கின்றன.
எப்படியும் ஒன்றை வெளியிட்டால்:
- ஒரு பெரிய கோப்பை அனுப்புவதற்குப் பதிலாக, Cloudflare தன் தயாரிப்புவாரியான llms.txt கோப்புகளுடன் செய்வது போல, பெரிய ஆவணங்களைத் தயாரிப்பு அல்லது பிரிவு வாரியாகப் பிரியுங்கள்.
- ஒவ்வொரு பக்கத்துக்கும் மேலே மூல URL-ஐ வையுங்கள்; அப்போது கோப்பிலிருந்து உருவாக்கப்பட்ட பதில் இன்னும் சரியான பக்கத்தைச் சுட்ட முடியும்.
- பொது உள்ளடக்கத்தை மட்டுமே சேருங்கள். கோப்பை முழுமையாக நகலெடுப்பது எளிது; பயிற்சி கிராலர் தடைகள் உட்பட robots.txt விதிகள் மற்ற எந்த URL-க்கும் போலவே அதற்கும் பொருந்தும்.
- ஒவ்வொரு deploy-இலும் அதை மீண்டும் உருவாக்குங்கள். பழைய முழு நகல் இல்லாததை விட மோசம், ஏனெனில் அது காலாவதியான தகவல்களை ஒரே வசதியான இடத்தில் மீண்டும் சொல்கிறது.
llms-full.txt-ஐ எப்படி உருவாக்கிச் சரிபார்ப்பது?
செல்லுபடியான llms.txt-இலிருந்தும் உங்கள் பக்கங்களின் Markdown பதிப்புகளிலிருந்தும் தொடங்குங்கள்; அதன் பிறகு llms-full.txt ஒரு build படி. இந்த script உங்கள் llms.txt-ஐப் படித்து, இணைக்கப்பட்ட ஒவ்வொரு .md பக்கத்தையும் பெற்று, ஒவ்வொன்றுக்கும் ஒரு மூல வரியுடன் அவற்றை இணைக்கிறது:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") பிறகு முடிவைச் சரிபாருங்கள். கோப்பு HTML பக்கமாக அல்ல, text/plain அல்லது text/markdown-ஆக status 200 தர வேண்டும்; அதன் பக்க எண்ணிக்கை உங்கள் llms.txt-இல் உள்ள இணைப்புகளுடன் பொருந்த வேண்டும். இலவச AISeeWhy llms.txt ஜெனரேட்டர் index-ஐ எழுத உதவுகிறது; இலவச llms.txt validator அதை llmstxt.org வடிவத்துக்கு எதிராகச் சரிபார்க்கிறது: தலைப்பு, சுருக்கம், பிரிவுகள், இணைப்புகள், ஒவ்வொரு சிக்கலுக்கும் வரி எண்களுடன். llms-full.txt-க்குச் சரிபார்க்க வடிவம் இல்லை, எனவே மேலே உள்ள சரிபார்ப்புகளே பயனுள்ளவை.
llms-full.txt முன்னுரிமையாக இருக்க வேண்டுமா?
பெரும்பாலான தளங்களுக்கு, இல்லை. ஒரு வாசகர் உங்கள் பக்கங்களை அடைய முடிந்த பிறகே இரண்டு கோப்புகளும் உதவுகின்றன. இலவச AISeeWhy சரிபார்ப்பு ஒரு பக்கத்தை ஒரு உலாவியுடன் சேர்த்து 16 AI மற்றும் தேடல் கிராலர்களாகப் பெற்று, robots.txt, ஃபயர்வால் அல்லது JavaScript அவற்றை நிறுத்துகிறதா என்று காட்டுகிறது; AI தெரிவுநிலையை இரண்டு உரைக் கோப்புகளை விடவும் அதுவே அதிகம் தீர்மானிக்கிறது.
இந்தச் சிக்கலுக்கான திருத்தங்கள்
- llms.txt இல்லை
- llms.txt ஒரு தலைப்புடன் தொடங்கவில்லை
- பக்கம் llms.txt-இல் பட்டியலிடப்படவில்லை
- llms.txt மிகப் பெரியது: 1200 KB
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- llms.txt checker, validator
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
அடிக்கடி கேட்கப்படும் கேள்விகள்
llms.txt முன்மொழிவு llms-full.txt-ஐக் கோருகிறதா?
இல்லை. முன்மொழிவு llms.txt-ஐயும் பக்கங்களின் Markdown பதிப்புகளையும் வரையறுக்கிறது. llms-full.txt சில ஆவணத் தளங்கள் பின்பற்றும் வழக்கம்.
llm.txt-க்கும் llms.txt-க்கும் என்ன வேறுபாடு?
முன்மொழிவின் கோப்புப் பெயர் s உடன் llms.txt. /llm.txt-இல் உள்ள கோப்பு முன்மொழிவைப் பின்பற்றவில்லை; llms.txt-ஐத் தேடும் கருவிகள் அதைக் கண்டுபிடிக்காது.
llms-full.txt எங்கே இருக்க வேண்டும்?
எந்த விவரக்குறிப்பும் சொல்லவில்லை. மேலே உள்ள உதாரணங்கள் அதை ஆவணத் தளத்தின் root-இல் llms.txt-க்கு அருகில் வைத்து, வாசகர்கள் கண்டுபிடிக்க llms.txt-இலிருந்து அதற்கு இணைப்பு தருகின்றன.
llms-full.txt Google AI Overviews-க்கு உதவுகிறதா?
AI Overviews அல்லது AI Mode-இல் தோன்றப் புதிய இயந்திரம் படிக்கக்கூடிய கோப்புகளோ AI உரைக் கோப்புகளோ தேவையில்லை என்று Google கூறுகிறது. பக்கங்கள் குறியிடப்பட்டு snippet காட்டத் தகுதியுடையவையாக இருக்க வேண்டும்.
llms.txt checker மூலம் llms-full.txt-ஐச் சரிபார்க்க முடியுமா?
ஓரளவு மட்டுமே. llms.txt checker index வடிவத்தைச் சரிபார்க்கிறது; முழு உள்ளடக்கக் கோப்பு அதைப் பின்பற்றுவதில்லை. llms-full.txt-க்கு status code, content type, அளவு, அது உங்கள் தற்போதைய பக்கங்களுடன் பொருந்துகிறதா என்பதைச் சரிபாருங்கள்.
மூலங்கள்
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: AI கிராலர் அணுகல் அறிக்கை, 2026-11