llms.txt কী, আর এটি যোগ করা কি সার্থক?
llms.txt হলো /llms.txt ঠিকানায় একটি প্রস্তাবিত Markdown ফাইল, যা AI টুলগুলোকে আপনার সাইটের একটি সংক্ষিপ্ত সারাংশ এবং সবচেয়ে কাজের পেজগুলোর লিংকের তালিকা দেয়। এটি একটি কমিউনিটি প্রস্তাব, স্ট্যান্ডার্ড নয়, এবং বড় AI সার্চ ক্রলাররা বলে না যে তারা এটি ব্যবহার করে। এটি যোগ করা সস্তা, তবে ক্রল করা যায় এমন HTML-এর বিকল্প নয়।
llms.txt অনেক মনোযোগ পায়, প্রায়ই একে AI-এর robots.txt হিসেবে উপস্থাপন করা হয়। এটি আসলে আলাদা জিনিস: robots.txt জানায় ক্রলাররা কী আনতে পারবে, আর llms.txt একটি পড়ার নির্দেশিকা, যা AI টুলগুলোকে পড়ার মতো কনটেন্টের দিকে নির্দেশ করে। এখানে দেখুন প্রস্তাবটি কী বলে, এর ব্যবহার সম্পর্কে কী জানা আছে, এবং কীভাবে একটি লিখবেন।
এই পেজে
llms.txt কোথা থেকে এসেছে?
Jeremy Howard 2024 সালের সেপ্টেম্বরে /llms.txt ফাইলের প্রস্তাব দেন, এবং প্রস্তাবটি llmstxt.org-এ রক্ষণাবেক্ষণ করা হয়। এর লক্ষ্য এমন একটি ফাইলকে স্ট্যান্ডার্ড করা, যা ট্রেনিংয়ের জন্য নয়, বরং ইনফারেন্সের সময় ভাষা মডেল ও এজেন্টদের একটি ওয়েবসাইট ব্যবহারে সাহায্য করে, যেমন যখন একটি কোডিং অ্যাসিস্ট্যান্টের কোনো লাইব্রেরির ডকুমেন্টেশন দরকার।
ধারণাটি একটি বাস্তব সমস্যার জবাব। ওয়েব পেজে থাকে নেভিগেশন, স্ক্রিপ্ট, ব্যানার ও লেআউট। মূল পেজগুলোর পরিষ্কার সংস্করণের লিংকসহ একটি ছোট, বাছাই করা Markdown ফাইল সীমিত কনটেক্সট উইন্ডোর মধ্যে একটি মডেলের জন্য কাজ করা সহজ করে।
llms.txt ফাইলে কী থাকে?
ফাইলটি একটি নির্দিষ্ট ক্রমে লেখা Markdown। শুধু প্রথম উপাদানটি বাধ্যতামূলক:
- সাইট বা প্রজেক্টের নামসহ একটি H1 (বাধ্যতামূলক)।
- সাইটটি কী, তার সংক্ষিপ্ত সারাংশসহ একটি blockquote।
- আরও বিস্তারিত তথ্যসহ ঐচ্ছিক অনুচ্ছেদ বা তালিকা, হেডিং ছাড়া।
- H2 সেকশন, প্রতিটিতে
[name](url)আকারে Markdown লিংকের একটি তালিকা, ইচ্ছা হলে পরে একটি কোলন ও নোট। Optionalনামে একটি ঐচ্ছিক সেকশন, গৌণ লিংকের জন্য, যা কম কনটেক্সট দরকার হলে একটি টুল বাদ দিতে পারে।
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) প্রস্তাবটি আরও পরামর্শ দেয়, একই URL-এ .md যোগ করে পেজের Markdown সংস্করণ দিতে, যেমন page.html.md, যাতে টুলগুলো পরিষ্কার টেক্সট আনতে পারে।
আজ আসলে কারা llms.txt পড়ে?
এখানেই সতর্ক থাকা দরকার। llmstxt.org সাইট বলে, ফাইলগুলো সবচেয়ে বেশি ব্যবহার হয় সফটওয়্যার ডকুমেন্টেশনে, যেখানে কোডিং এজেন্টরা এগুলো অনুসরণ করে। আমরা যে ক্রলার ডকুমেন্টেশন দেখেছি, তাতে OpenAI, Anthropic, Google ও Perplexity তাদের সার্চ ক্রলারের ব্যবহৃত সিগন্যালের মধ্যে llms.txt-এর নাম রাখে না।
Google তার নিজের Search ফিচারের ক্ষেত্রে আরও এক ধাপ এগিয়ে। AI Overviews ও AI Mode নিয়ে তার নির্দেশিকা বলে, সেগুলোতে দেখা যেতে আপনাকে নতুন মেশিন-রিডেবল ফাইল, AI টেক্সট ফাইল বা মার্কআপ তৈরি করতে হবে না। Google Search-এর জন্য llms.txt-এর কোনো ঘোষিত ভূমিকা নেই।
তাই সৎ উত্তর হলো: কিছু AI টুল, মূলত কোডিং অ্যাসিস্ট্যান্ট ও এমন এজেন্ট যাদের একটি সাইটের দিকে নির্দেশ করা হয়, এটি পড়তে পারে। AI সার্চ আপনার পেজ উদ্ধৃত করবে কি না যে ক্রলাররা ঠিক করে, তারা কাজ করে আপনার HTML থেকে।
কেউ আপনার ফাইল পড়ে কি না, তা আপনি নিজেই দেখতে পারেন। আপনার সার্ভার বা CDN লগে /llms.txt-এর অনুরোধ খুঁজুন এবং ইউজার এজেন্টগুলো দেখুন। কয়েক সপ্তাহে কোনো অনুরোধ না দেখা গেলে, আপনার সাইটের জন্য এর মূল্য সম্পর্কে তা যেকোনো সাধারণ দাবির চেয়ে বেশি বলে।
তবুও কি একটি যোগ করা উচিত?
বেশিরভাগ সাইটের জন্য এটি কম খরচের, কম নিশ্চয়তার একটি সংযোজন। এতে কয়েক মিনিট লাগে, এটি আপনার সার্চ দৃশ্যমানতার ক্ষতি করতে পারে না, এবং যেসব এজেন্ট এটি খোঁজে তাদের সাহায্য করতে পারে। ডকুমেন্টেশন, ডেভেলপার টুল এবং অনেক রেফারেন্স কনটেন্টসহ পণ্যের জন্য এটি সবচেয়ে কাজের।
যা এটি পারে না তা হলো অ্যাক্সেসের সমস্যা ঠিক করা। ফায়ারওয়াল AI ক্রলার ব্লক করলে, আপনার robots.txt তাদের নিষেধ করলে বা আপনার কনটেন্ট শুধু JavaScript চলার পরে দেখা গেলে llms.txt কিছুই বদলায় না। আগে সেগুলো ঠিক করুন।
কীভাবে একটি ভালো llms.txt লিখব?
- এটি
https://yourdomain.com/llms.txt-এ রাখুন এবং স্ট্যাটাস 200 দিয়ে সাধারণ টেক্সট হিসেবে দিন, HTML পেজ হিসেবে নয়। - সারাংশটি এমনভাবে লিখুন, যেভাবে একজন নতুন সহকর্মীকে দুই বাক্যে সাইটটি বোঝাতেন: এটি কী, কার জন্য।
- যে পেজগুলো বাস্তব প্রশ্নের উত্তর দেয় সেগুলো তালিকাভুক্ত করুন: পণ্য, মূল্য, ডকুমেন্টেশন, নীতি। ট্যাগ পেজ ও আর্কাইভ বাদ দিন।
- পূর্ণ URL ব্যবহার করুন এবং তালিকা কাজের থাকার মতো ছোট রাখুন; বেশিরভাগ সাইটের জন্য কয়েক ডজন লিংকই যথেষ্ট।
- এটি হালনাগাদ রাখুন। মুছে ফেলা পেজের লিংকসহ একটি ফাইল না থাকার চেয়েও খারাপ।
- অনুমতি জানাতে এটি ব্যবহার করবেন না। অ্যাক্সেসের রুল robots.txt-এর জায়গা।
AISeeWhy llms.txt-কে কীভাবে দেখে?
AISeeWhy চেক করে আপনার সাইটে একটি llms.txt আছে কি না এবং অডিট করা পেজটি তাতে তালিকাভুক্ত কি না। AI ক্রলাররা আজ খুব কমই এটি পড়ে, তাই ফাইল না থাকা একটি P3 পর্যবেক্ষণ, সবচেয়ে কম অগ্রাধিকার, আর রিপোর্টে আপনার পেজের শিরোনাম, ডেসক্রিপশন ও সাইটম্যাপ থেকে তৈরি একটি খসড়া থাকে, যা আপনি সম্পাদনা করে প্রকাশ করতে পারেন।
এই সমস্যার সমাধান
- এজেন্টদের একটি ডিসকভারি ফাইল পড়া যাচ্ছে না
- এজেন্টদের জন্য Markdown সংস্করণটি ভাঙা
- Vary: Accept ছাড়া Markdown উত্তর
- AI এজেন্টদের জন্য কোনো Markdown সংস্করণ নেই
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- llms.txt চেকার ও ভ্যালিডেটর
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
llms.txt কি একটি অফিশিয়াল স্ট্যান্ডার্ড?
না। এটি llmstxt.org-এ প্রকাশিত একটি কমিউনিটি প্রস্তাব। এটি IETF বা W3C স্ট্যান্ডার্ড নয়, এবং কোনো AI ভেন্ডর এটি পড়তে বাধ্য নয়।
llms.txt কি AI ট্রেনিং ব্লক করে?
না। এটি লিংকের একটি তালিকা, অনুমতির সেট নয়। ট্রেনিং থেকে অপ্ট-আউট করতে robots.txt-এ GPTBot, ClaudeBot বা Google-Extended-এর মতো ট্রেনিং টোকেন ব্যবহার করুন।
Google AI Overviews-এ দেখা যেতে কি llms.txt লাগে?
না। Google বলে, AI Overviews বা AI Mode-এ দেখা যেতে AI টেক্সট ফাইল বা বিশেষ মার্কআপ লাগে না। পেজটিকে ইনডেক্স হতে হবে এবং স্নিপেট দেখানোর যোগ্য হতে হবে।
llms.txt কি সাবফোল্ডারে রাখা যায়?
প্রস্তাবের বর্তমান সংস্করণ একটি সাবপাথে ফাইল রাখার অনুমতি দেয়, যেমন /docs/llms.txt, যা সেই পাথের নিচের পেজগুলো কভার করে। বেশিরভাগ সাইটের রুটে একটি ফাইলই যথেষ্ট।
উৎস
- llmstxt.org: /llms.txt ফাইল
- Google Search Central: AI ফিচার ও আপনার ওয়েবসাইট
- OpenAI: OpenAI ক্রলারের সংক্ষিপ্ত পরিচিতি