llms-full.txt কী, আর llms.txt-এর পাশে কি এটি প্রকাশ করা উচিত?
llms-full.txt হলো একটি মাত্র টেক্সট ফাইল, যাতে একটি সাইটের ডকুমেন্টেশনের পুরো টেক্সট থাকে, সাধারণত Markdown-এ, আর এটি ছোট /llms.txt ইনডেক্সের পাশে প্রকাশ করা হয়। এটি llmstxt.org-এর llms.txt প্রস্তাবের অংশ নয়, বরং ডকুমেন্টেশন সাইটগুলোর গ্রহণ করা একটি প্রথা। এজেন্টরা একসঙ্গে লোড করে এমন ডেভেলপার ডকুমেন্টেশন চালালে এটি প্রকাশ করুন; বেশিরভাগ ব্যবসায়িক সাইটের জন্য একটি ভালো llms.txt ও পরিষ্কার পেজই যথেষ্ট।
llms.txt কী, তা নিয়ে আমাদের আর্টিকেল ইনডেক্স ফাইলটি নিয়ে: এর ফরম্যাট, এটি কোথা থেকে এসেছে আর কে এটি পড়ে। এই আর্টিকেল এর বড় ভাইকে নিয়ে। কোনো ডকুমেন্টেশন সাইটে llms-full.txt দেখে থাকলে, বা কোনো চেকার জিজ্ঞেস করে থাকলে আপনার আছে কি না, এখানে জানুন ফাইলটি কী, প্রস্তাবটি কী বলে ও কী বলে না, আর এতে পরিশ্রম করা সার্থক কি না।
এই পেজে
llms-full.txt কি llms.txt স্পেসিফিকেশনের অংশ?
না। llmstxt.org-এর প্রস্তাব, এখন সংস্করণ 2-এ (10 আগস্ট 2026-এ পরিবর্তিত), শুধু llms.txt নামের ফাইল সংজ্ঞায়িত করে, সাইটের রুটে বা যেকোনো পাথে, যেখানে একটি ফাইল তার পাথের নিচের পেজগুলো ধরে। এটি আলাদা আলাদা পেজের Markdown সংস্করণও প্রস্তাব করে, পেজের URL-এ .md যোগ করে (page.html.md) বা এক্সটেনশন বদলে (page.md), আর ফাইলের নাম ছাড়া URL-এর জন্য index.html.md বা index.md।
সব কনটেন্টসহ একটি মাত্র ফাইল স্পেসিফিকেশনের কোথাও নেই। সংস্করণ 1-এ llms_txt2ctx নামের একটি টুলের বর্ণনা ছিল, যা একটি llms.txt-কে একটি কনটেক্সট ফাইলে বিস্তৃত করত। সংস্করণ 2 সেই টুলিং প্রস্তাব থেকে সরিয়ে দিয়ে প্রত্যাশিত ব্যবহারের কথা বলে: এজেন্টরা llms.txt পড়ে বা তাতে সার্চ করে, তারপর দরকারি লিংকগুলো অনুসরণ করে। প্রস্তাবের নিজের উদাহরণ FastHTML ডকুমেন্টেশন এখনো llms-ctx-full.txt নামের একটি বিস্তৃত ফাইল দেয়।
তাই llms-full.txt একটি নামকরণের প্রথা। “সব পেজ, একটির পর একটি” ছাড়া এর কোনো সম্মত ফরম্যাট নেই।
llms-full.txt কীভাবে llms.txt ও .md পেজ থেকে আলাদা?
প্রস্তাবের সংস্করণ 2 এজেন্টদের জন্য একটি পেজের Markdown সংস্করণ এবং সেটিকে ধরে এমন llms.txt খুঁজে পাওয়ার একটি উপায় যোগ করে, HTTP হেডারে বা পেজের HTML-এ স্ট্যান্ডার্ড লিংক রিলেশন ব্যবহার করে:
llms.txtএকটি ইনডেক্স: একটি শিরোনাম, একটি সারাংশ এবং লিংকের তালিকা। প্রস্তাব বলে, এটি এত ছোট থাকা উচিত যাতে একটি মডেলের কনটেক্সটে আঁটে।.mdপেজ হলো আলাদা আলাদা পেজের পরিষ্কার কপি। এগুলো প্রস্তাবের অংশ, আর একটি এজেন্ট শুধু দরকারিগুলোই আনে।llms-full.txtহলো সব পেজ একটি ফাইলে জোড়া। একটি রিকোয়েস্টেই এজেন্ট সব পায়, আকারের বিনিময়ে।
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txt-এর জন্য সমতুল্য কোনো লিংক রিলেশন নেই। যেসব সাইট এটি প্রকাশ করে, তারা সাধারণত তাদের llms.txt থেকে এতে লিংক দেয়।
কারা llms-full.txt প্রকাশ করে?
বেশিরভাগই ডেভেলপার ডকুমেন্টেশন সাইট। 17 নভেম্বর 2026-এ আমরা যখন চেক করি, এই ফাইলগুলো চালু ছিল:
- Cloudflare:
developers.cloudflare.com/llms-full.txt, প্রায় 71 MB। এর রুট llms.txt 17 KB এবং প্রতিটি প্রোডাক্টের জন্য আলাদা llms.txt-এ লিংক দেয়। - Anthropic:
platform.claude.com/llms-full.txt, প্রায় 53 MB। 102 KB-এর llms.txt একেবারে শেষে এতে লিংক দেয়। - OpenAI:
developers.openai.com/llms-full.txt, প্রায় 9.7 MB, ফাইলের ভেতরে একক-ফাইলের Markdown এক্সপোর্ট হিসেবে বর্ণিত। এর llms.txt 6 KB। - Perplexity:
docs.perplexity.ai/llms-full.txt, প্রায় 4 MB, প্রতিটি পেজের URL দেওয়া একটিSource:লাইনসহ। এর llms.txt 46 KB।
চারটিই API ও প্রোডাক্ট ডকুমেন্টেশন, যা ডেভেলপার ও কোডিং এজেন্টরা পড়ে। সবচেয়ে জনপ্রিয় 1,000টি ডোমেইন নিয়ে আমাদের নভেম্বর 2026-এর গবেষণায় আমরা llms-full.txt গুনিনি; এদের 132টি llms.txt প্রকাশ করেছিল, আর তার 117টি llmstxt.org ফরম্যাট মেনেছিল।
AI ক্রলার কি llms.txt বা llms-full.txt পড়ে?
আমরা যত ডকুমেন্টেশন খুঁজে পেয়েছি, তার কোনোটি অনুযায়ী নয়। OpenAI, Anthropic ও Perplexity-র ক্রলার পেজগুলো তাদের বট ও robots.txt টোকেন বর্ণনা করে, আর কোনোটিই বলে না যে সেই ক্রলাররা অন্য সাইটের llms.txt বা llms-full.txt পড়ে। Google বলে, AI Overviews বা AI Mode-এ আসতে নতুন মেশিনে-পড়ার-মতো ফাইল, AI টেক্সট ফাইল বা মার্কআপ বানানোর দরকার নেই।
নিজেদের ডকুমেন্টেশনের জন্য এই ফাইল প্রকাশ করা আর আপনারটা পড়া এক জিনিস নয়। llmstxt.org বলে, ফাইলগুলো সবচেয়ে বেশি ব্যবহার হয় সফটওয়্যার ডকুমেন্টেশনে, যেখানে কোডিং এজেন্টরা এগুলো অনুসরণ করে। Chrome-এর Lighthouse-এ একটি llms.txt অডিট আছে, তবে এটি শুধু /llms.txt আনার সময় সার্ভার এরর চিহ্নিত করে; ফাইল না থাকলে তা প্রযোজ্য নয় হিসেবে ধরা হয়, আর অডিটে llms-full.txt-এর উল্লেখ নেই।
নিজের সাইটের প্রমাণ চাইলে আপনার সার্ভার লগে /llms-full.txt-এর রিকোয়েস্ট খুঁজুন এবং ইউজার এজেন্টগুলো দেখুন।
llms-full.txt কত বড় হতে পারে?
কোনো সীমা নথিভুক্ত নেই, কারণ কোনো স্পেসিফিকেশন ফাইলটি সংজ্ঞায়িত করে না। বাস্তব সীমা হলো পাঠক। llmstxt.org জানায়, কনটেক্সট উইন্ডো আগের চেয়ে বড় হলেও বেশিরভাগ ওয়েবসাইট পুরোটা ধরার জন্য এখনো খুব ছোট। কয়েক মেগাবাইটের ফাইল এক বারে পড়া যায় না, তাই একটি এজেন্টকে এতে সার্চ করতে বা অংশে অংশে পড়তে হয়, যা llms.txt ইনডেক্স ও .md পেজ আগে থেকেই সম্ভব করে।
তবুও যদি প্রকাশ করেন:
- একটি বিশাল ফাইলের বদলে বড় ডকুমেন্টেশন প্রোডাক্ট বা অংশ অনুযায়ী ভাগ করুন, যেমন Cloudflare প্রতিটি প্রোডাক্টের আলাদা llms.txt দিয়ে করে।
- প্রতিটি পেজের ওপরে একটি উৎস URL দিন, যাতে ফাইল থেকে তৈরি উত্তরও সঠিক পেজের দিকে নির্দেশ করতে পারে।
- শুধু পাবলিক কনটেন্ট রাখুন। ফাইলটি পুরোটা কপি করা সহজ, আর অন্য যেকোনো URL-এর মতো এর ক্ষেত্রেও robots.txt রুল প্রযোজ্য, ট্রেনিং ক্রলার ব্লকসহ।
- প্রতিটি ডিপ্লয়ে এটি নতুন করে তৈরি করুন। পুরোনো পূর্ণ কপি না থাকার চেয়েও খারাপ, কারণ এটি এক সুবিধাজনক জায়গায় পুরোনো তথ্যের পুনরাবৃত্তি করে।
llms-full.txt কীভাবে তৈরি ও চেক করব?
একটি বৈধ llms.txt ও আপনার পেজগুলোর Markdown সংস্করণ দিয়ে শুরু করুন; তখন llms-full.txt একটি বিল্ড ধাপ মাত্র। এই স্ক্রিপ্ট আপনার llms.txt পড়ে, লিংক করা প্রতিটি .md পেজ আনে এবং প্রতিটির জন্য একটি উৎসের লাইনসহ সেগুলো জোড়ে:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") তারপর ফলাফল চেক করুন। ফাইলটির HTML পেজ নয়, text/plain বা text/markdown হিসেবে 200 স্ট্যাটাস ফেরত দেওয়া উচিত, আর এর পেজের সংখ্যা আপনার llms.txt-এর লিংকের সঙ্গে মেলা উচিত। ফ্রি AISeeWhy llms.txt জেনারেটর ইনডেক্স লিখতে সাহায্য করে, আর ফ্রি llms.txt ভ্যালিডেটর এটিকে llmstxt.org ফরম্যাটের সঙ্গে মিলিয়ে দেখে: শিরোনাম, সারাংশ, সেকশন ও লিংক, প্রতিটি সমস্যার লাইন নম্বরসহ। llms-full.txt-এর যাচাই করার মতো কোনো ফরম্যাট নেই, তাই ওপরের চেকগুলোই কাজের।
llms-full.txt কি অগ্রাধিকার পাওয়া উচিত?
বেশিরভাগ সাইটের জন্য, না। দুটি ফাইলই তখনই সাহায্য করে, যখন একজন পাঠক আপনার পেজে পৌঁছাতে পারে। ফ্রি AISeeWhy চেক একটি ব্রাউজারের পাশাপাশি 16টি AI ও সার্চ ক্রলার হিসেবে একটি পেজ আনে এবং দেখায় robots.txt, ফায়ারওয়াল বা JavaScript তাদের থামায় কি না, যা AI-তে দৃশ্যমানতার জন্য এই দুই টেক্সট ফাইলের যেকোনোটির চেয়ে বেশি গুরুত্বপূর্ণ।
এই সমস্যার সমাধান
- কোনো llms.txt নেই
- llms.txt কোনো টাইটেল দিয়ে শুরু হয়নি
- পেজটি llms.txt-এ তালিকাভুক্ত নয়
- llms.txt খুব বড়: 1200 KB
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- llms.txt চেকার ও ভ্যালিডেটর
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
প্রশ্নোত্তর
llms.txt প্রস্তাবে কি llms-full.txt বাধ্যতামূলক?
না। প্রস্তাব llms.txt ও পেজের Markdown সংস্করণ সংজ্ঞায়িত করে। llms-full.txt একটি প্রথা, যা কিছু ডকুমেন্টেশন সাইট মানে।
llm.txt আর llms.txt-এর মধ্যে পার্থক্য কী?
প্রস্তাবের ফাইলের নাম llms.txt, একটি s-সহ। /llm.txt-এর ফাইল প্রস্তাব মানে না, আর llms.txt খোঁজে এমন টুল এটি খুঁজে পাবে না।
llms-full.txt কোথায় রাখা উচিত?
কোনো স্পেসিফিকেশন তা বলে না। ওপরের উদাহরণগুলো এটিকে ডকুমেন্টেশন সাইটের রুটে llms.txt-এর পাশে রাখে, আর llms.txt থেকে এতে লিংক দেয় যাতে পাঠকেরা এটি খুঁজে পান।
llms-full.txt কি Google AI Overviews-এ সাহায্য করে?
Google বলে, AI Overviews বা AI Mode-এ আসতে নতুন মেশিনে-পড়ার-মতো ফাইল বা AI টেক্সট ফাইলের দরকার নেই। পেজগুলোকে ইনডেক্সড এবং স্নিপেট দেখানোর যোগ্য হতে হবে।
llms.txt চেকার দিয়ে কি llms-full.txt চেক করা যায়?
শুধু আংশিকভাবে। llms.txt চেকার ইনডেক্সের ফরম্যাট যাচাই করে, যা পূর্ণ কনটেন্টের ফাইল মানে না। llms-full.txt-এর জন্য স্ট্যাটাস কোড, কনটেন্ট টাইপ, আকার এবং এটি আপনার বর্তমান পেজের সঙ্গে মেলে কি না তা চেক করুন।
উৎস
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: AI ক্রলার অ্যাক্সেস রিপোর্ট, 2026-11