llms-full.txt কী, আর llms.txt-এর পাশে কি এটি প্রকাশ করা উচিত?

প্রকাশিত

সংক্ষিপ্ত উত্তর

llms-full.txt হলো একটি মাত্র টেক্সট ফাইল, যাতে একটি সাইটের ডকুমেন্টেশনের পুরো টেক্সট থাকে, সাধারণত Markdown-এ, আর এটি ছোট /llms.txt ইনডেক্সের পাশে প্রকাশ করা হয়। এটি llmstxt.org-এর llms.txt প্রস্তাবের অংশ নয়, বরং ডকুমেন্টেশন সাইটগুলোর গ্রহণ করা একটি প্রথা। এজেন্টরা একসঙ্গে লোড করে এমন ডেভেলপার ডকুমেন্টেশন চালালে এটি প্রকাশ করুন; বেশিরভাগ ব্যবসায়িক সাইটের জন্য একটি ভালো llms.txt ও পরিষ্কার পেজই যথেষ্ট।

llms.txt কী, তা নিয়ে আমাদের আর্টিকেল ইনডেক্স ফাইলটি নিয়ে: এর ফরম্যাট, এটি কোথা থেকে এসেছে আর কে এটি পড়ে। এই আর্টিকেল এর বড় ভাইকে নিয়ে। কোনো ডকুমেন্টেশন সাইটে llms-full.txt দেখে থাকলে, বা কোনো চেকার জিজ্ঞেস করে থাকলে আপনার আছে কি না, এখানে জানুন ফাইলটি কী, প্রস্তাবটি কী বলে ও কী বলে না, আর এতে পরিশ্রম করা সার্থক কি না।

এই পেজে
  1. llms-full.txt কি llms.txt স্পেসিফিকেশনের অংশ?
  2. llms-full.txt কীভাবে llms.txt ও .md পেজ থেকে আলাদা?
  3. কারা llms-full.txt প্রকাশ করে?
  4. AI ক্রলার কি llms.txt বা llms-full.txt পড়ে?
  5. llms-full.txt কত বড় হতে পারে?
  6. llms-full.txt কীভাবে তৈরি ও চেক করব?
  7. llms-full.txt কি অগ্রাধিকার পাওয়া উচিত?

llms-full.txt কি llms.txt স্পেসিফিকেশনের অংশ?

না। llmstxt.org-এর প্রস্তাব, এখন সংস্করণ 2-এ (10 আগস্ট 2026-এ পরিবর্তিত), শুধু llms.txt নামের ফাইল সংজ্ঞায়িত করে, সাইটের রুটে বা যেকোনো পাথে, যেখানে একটি ফাইল তার পাথের নিচের পেজগুলো ধরে। এটি আলাদা আলাদা পেজের Markdown সংস্করণও প্রস্তাব করে, পেজের URL-এ .md যোগ করে (page.html.md) বা এক্সটেনশন বদলে (page.md), আর ফাইলের নাম ছাড়া URL-এর জন্য index.html.md বা index.md।

সব কনটেন্টসহ একটি মাত্র ফাইল স্পেসিফিকেশনের কোথাও নেই। সংস্করণ 1-এ llms_txt2ctx নামের একটি টুলের বর্ণনা ছিল, যা একটি llms.txt-কে একটি কনটেক্সট ফাইলে বিস্তৃত করত। সংস্করণ 2 সেই টুলিং প্রস্তাব থেকে সরিয়ে দিয়ে প্রত্যাশিত ব্যবহারের কথা বলে: এজেন্টরা llms.txt পড়ে বা তাতে সার্চ করে, তারপর দরকারি লিংকগুলো অনুসরণ করে। প্রস্তাবের নিজের উদাহরণ FastHTML ডকুমেন্টেশন এখনো llms-ctx-full.txt নামের একটি বিস্তৃত ফাইল দেয়।

তাই llms-full.txt একটি নামকরণের প্রথা। “সব পেজ, একটির পর একটি” ছাড়া এর কোনো সম্মত ফরম্যাট নেই।

llms-full.txt কীভাবে llms.txt ও .md পেজ থেকে আলাদা?

প্রস্তাবের সংস্করণ 2 এজেন্টদের জন্য একটি পেজের Markdown সংস্করণ এবং সেটিকে ধরে এমন llms.txt খুঁজে পাওয়ার একটি উপায় যোগ করে, HTTP হেডারে বা পেজের HTML-এ স্ট্যান্ডার্ড লিংক রিলেশন ব্যবহার করে:

# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"

# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt">

llms-full.txt-এর জন্য সমতুল্য কোনো লিংক রিলেশন নেই। যেসব সাইট এটি প্রকাশ করে, তারা সাধারণত তাদের llms.txt থেকে এতে লিংক দেয়।

কারা llms-full.txt প্রকাশ করে?

বেশিরভাগই ডেভেলপার ডকুমেন্টেশন সাইট। 17 নভেম্বর 2026-এ আমরা যখন চেক করি, এই ফাইলগুলো চালু ছিল:

চারটিই API ও প্রোডাক্ট ডকুমেন্টেশন, যা ডেভেলপার ও কোডিং এজেন্টরা পড়ে। সবচেয়ে জনপ্রিয় 1,000টি ডোমেইন নিয়ে আমাদের নভেম্বর 2026-এর গবেষণায় আমরা llms-full.txt গুনিনি; এদের 132টি llms.txt প্রকাশ করেছিল, আর তার 117টি llmstxt.org ফরম্যাট মেনেছিল।

AI ক্রলার কি llms.txt বা llms-full.txt পড়ে?

আমরা যত ডকুমেন্টেশন খুঁজে পেয়েছি, তার কোনোটি অনুযায়ী নয়। OpenAI, Anthropic ও Perplexity-র ক্রলার পেজগুলো তাদের বট ও robots.txt টোকেন বর্ণনা করে, আর কোনোটিই বলে না যে সেই ক্রলাররা অন্য সাইটের llms.txt বা llms-full.txt পড়ে। Google বলে, AI Overviews বা AI Mode-এ আসতে নতুন মেশিনে-পড়ার-মতো ফাইল, AI টেক্সট ফাইল বা মার্কআপ বানানোর দরকার নেই।

নিজেদের ডকুমেন্টেশনের জন্য এই ফাইল প্রকাশ করা আর আপনারটা পড়া এক জিনিস নয়। llmstxt.org বলে, ফাইলগুলো সবচেয়ে বেশি ব্যবহার হয় সফটওয়্যার ডকুমেন্টেশনে, যেখানে কোডিং এজেন্টরা এগুলো অনুসরণ করে। Chrome-এর Lighthouse-এ একটি llms.txt অডিট আছে, তবে এটি শুধু /llms.txt আনার সময় সার্ভার এরর চিহ্নিত করে; ফাইল না থাকলে তা প্রযোজ্য নয় হিসেবে ধরা হয়, আর অডিটে llms-full.txt-এর উল্লেখ নেই।

নিজের সাইটের প্রমাণ চাইলে আপনার সার্ভার লগে /llms-full.txt-এর রিকোয়েস্ট খুঁজুন এবং ইউজার এজেন্টগুলো দেখুন।

llms-full.txt কত বড় হতে পারে?

কোনো সীমা নথিভুক্ত নেই, কারণ কোনো স্পেসিফিকেশন ফাইলটি সংজ্ঞায়িত করে না। বাস্তব সীমা হলো পাঠক। llmstxt.org জানায়, কনটেক্সট উইন্ডো আগের চেয়ে বড় হলেও বেশিরভাগ ওয়েবসাইট পুরোটা ধরার জন্য এখনো খুব ছোট। কয়েক মেগাবাইটের ফাইল এক বারে পড়া যায় না, তাই একটি এজেন্টকে এতে সার্চ করতে বা অংশে অংশে পড়তে হয়, যা llms.txt ইনডেক্স ও .md পেজ আগে থেকেই সম্ভব করে।

তবুও যদি প্রকাশ করেন:

llms-full.txt কীভাবে তৈরি ও চেক করব?

একটি বৈধ llms.txt ও আপনার পেজগুলোর Markdown সংস্করণ দিয়ে শুরু করুন; তখন llms-full.txt একটি বিল্ড ধাপ মাত্র। এই স্ক্রিপ্ট আপনার llms.txt পড়ে, লিংক করা প্রতিটি .md পেজ আনে এবং প্রতিটির জন্য একটি উৎসের লাইনসহ সেগুলো জোড়ে:

import re
import urllib.request

SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}


def get(url):
    req = urllib.request.Request(url, headers=HEADERS)
    with urllib.request.urlopen(req, timeout=20) as resp:
        return resp.read().decode("utf-8", "replace")


index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)

parts = [index.strip()]
for title, url in links:
    if not url.endswith(".md"):
        continue  # include only pages that have a clean Markdown version
    parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")

with open("llms-full.txt", "w", encoding="utf-8") as f:
    f.write("\n\n---\n\n".join(parts) + "\n")

print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters")

তারপর ফলাফল চেক করুন। ফাইলটির HTML পেজ নয়, text/plain বা text/markdown হিসেবে 200 স্ট্যাটাস ফেরত দেওয়া উচিত, আর এর পেজের সংখ্যা আপনার llms.txt-এর লিংকের সঙ্গে মেলা উচিত। ফ্রি AISeeWhy llms.txt জেনারেটর ইনডেক্স লিখতে সাহায্য করে, আর ফ্রি llms.txt ভ্যালিডেটর এটিকে llmstxt.org ফরম্যাটের সঙ্গে মিলিয়ে দেখে: শিরোনাম, সারাংশ, সেকশন ও লিংক, প্রতিটি সমস্যার লাইন নম্বরসহ। llms-full.txt-এর যাচাই করার মতো কোনো ফরম্যাট নেই, তাই ওপরের চেকগুলোই কাজের।

llms-full.txt কি অগ্রাধিকার পাওয়া উচিত?

বেশিরভাগ সাইটের জন্য, না। দুটি ফাইলই তখনই সাহায্য করে, যখন একজন পাঠক আপনার পেজে পৌঁছাতে পারে। ফ্রি AISeeWhy চেক একটি ব্রাউজারের পাশাপাশি 16টি AI ও সার্চ ক্রলার হিসেবে একটি পেজ আনে এবং দেখায় robots.txt, ফায়ারওয়াল বা JavaScript তাদের থামায় কি না, যা AI-তে দৃশ্যমানতার জন্য এই দুই টেক্সট ফাইলের যেকোনোটির চেয়ে বেশি গুরুত্বপূর্ণ।

এই সমস্যার সমাধান

ফ্রি টুল

পরবর্তী ধাপ

প্রশ্নোত্তর

llms.txt প্রস্তাবে কি llms-full.txt বাধ্যতামূলক?

না। প্রস্তাব llms.txt ও পেজের Markdown সংস্করণ সংজ্ঞায়িত করে। llms-full.txt একটি প্রথা, যা কিছু ডকুমেন্টেশন সাইট মানে।

llm.txt আর llms.txt-এর মধ্যে পার্থক্য কী?

প্রস্তাবের ফাইলের নাম llms.txt, একটি s-সহ। /llm.txt-এর ফাইল প্রস্তাব মানে না, আর llms.txt খোঁজে এমন টুল এটি খুঁজে পাবে না।

llms-full.txt কোথায় রাখা উচিত?

কোনো স্পেসিফিকেশন তা বলে না। ওপরের উদাহরণগুলো এটিকে ডকুমেন্টেশন সাইটের রুটে llms.txt-এর পাশে রাখে, আর llms.txt থেকে এতে লিংক দেয় যাতে পাঠকেরা এটি খুঁজে পান।

llms-full.txt কি Google AI Overviews-এ সাহায্য করে?

Google বলে, AI Overviews বা AI Mode-এ আসতে নতুন মেশিনে-পড়ার-মতো ফাইল বা AI টেক্সট ফাইলের দরকার নেই। পেজগুলোকে ইনডেক্সড এবং স্নিপেট দেখানোর যোগ্য হতে হবে।

llms.txt চেকার দিয়ে কি llms-full.txt চেক করা যায়?

শুধু আংশিকভাবে। llms.txt চেকার ইনডেক্সের ফরম্যাট যাচাই করে, যা পূর্ণ কনটেন্টের ফাইল মানে না। llms-full.txt-এর জন্য স্ট্যাটাস কোড, কনটেন্ট টাইপ, আকার এবং এটি আপনার বর্তমান পেজের সঙ্গে মেলে কি না তা চেক করুন।

উৎস

আরও আর্টিকেল