আপনার সাইটের ঠিকানা লিখুন, আমরা এর /llms.txt পড়ব, অথবা ফাইলটি পেস্ট করুন। আপনি পাবেন আমাদের পাওয়া কাঠামো এবং লাইন নম্বরসহ প্রতিটি সমস্যা।
llms.txt কী
llms.txt হলো সাইটের রুটে থাকা একটি ছোট Markdown ফাইল, যা AI অ্যাসিস্ট্যান্টকে জানায় সাইটটি কী এবং কোন পেজগুলো সবচেয়ে গুরুত্বপূর্ণ: একটি "# Title", একটি "> summary" এবং মূল পেজের লিংকসহ "## sections"। এটি robots.txt বা সাইটম্যাপের বিকল্প নয় এবং কিছুই ব্লক করে না। পূর্ণ AISeeWhy চেক এটাও জানায় আপনার গুরুত্বপূর্ণ পেজগুলো এতে তালিকাভুক্ত আছে কি না।
এই লেখাটি ইংরেজি থেকে মেশিনের মাধ্যমে অনুবাদ করা হয়েছে।
এই llms.txt চেকার কী যাচাই করে
আপনার সাইটের ঠিকানা লিখুন, ভ্যালিডেটর সেই হোস্টের রুট থেকে /llms.txt পড়বে, অথবা খসড়া পরীক্ষা করতে ফাইলটি পেস্ট করুন। এটি ফাইলটিকে llmstxt.org-এ প্রস্তাবিত ফরম্যাটের সঙ্গে মিলিয়ে দেখে: একটি # Title লাইন, একটি > উদ্ধৃতিতে এক লাইনের সারাংশ, এবং ## সেকশন যেগুলো পেজগুলোকে Markdown লিংক হিসেবে তালিকাভুক্ত করে, ঐচ্ছিক ছোট নোটসহ।
ফলাফলে দেখায় এটি যে শিরোনাম ও সারাংশ পেয়েছে, প্রতিটি সেকশন ও তার লিংকের সংখ্যা, এবং প্রতিটি সমস্যা ও তার লাইন নম্বর। সমস্যা হয় এরর বা ওয়ার্নিং। এরর মানে ফাইলটি একেবারেই ব্যবহারযোগ্য llms.txt নয়, যেমন এটি খালি, এটি একটি ওয়েব পেজ, অথবা শিরোনাম নেই। ওয়ার্নিং মানে ফাইলটি কাজ করে, কিন্তু কোনো টুলের পক্ষে ব্যবহার করা কঠিন।
একটি সঠিক llms.txt, লাইন ধরে ধরে
শিরোনাম হলো সাইট বা প্রোডাক্টের নাম। উদ্ধৃতিটি সেই একটি বাক্য যা একটি অ্যাসিস্ট্যান্টের প্রথমে জানা উচিত। এর পরের সাধারণ অনুচ্ছেদ প্রসঙ্গ যোগ করতে পারে। প্রতিটি ## সেকশন লিংকগুলোকে গ্রুপ করে, এবং প্রতিটি লিংক আইটেমে থাকে বন্ধনীতে পেজের নাম, প্রথম বন্ধনীতে পূর্ণ ঠিকানা এবং কোলনের পরে একটি ছোট নোট। ফরম্যাটটি Optional নামে একটি সেকশন সংরক্ষিত রাখে এমন লিংকের জন্য যা কোনো টুলের জায়গা কম থাকলে বাদ দেওয়া যায়।
# Example Inc
> Example Inc makes invoicing software for small agencies.
We answer support questions in English and German.
## Docs
- [Getting started](https://example.com/docs/start/): install and first invoice
- [API reference](https://example.com/docs/api/)
## Optional
- [Changelog](https://example.com/changelog/)
ফলাফল কীভাবে পড়বেন
সঠিক llms.txt: কোনো এরর পাওয়া যায়নি। তবুও ওয়ার্নিংগুলো পড়ুন; প্রতিটি কোন লাইন ঠিক করতে হবে তা বলে।
শিরোনাম ও সারাংশ: এগুলো যদি আপনার প্রত্যাশামতো না হয়, তবে ভ্যালিডেটর আপনার উদ্দেশ্যের চেয়ে ভিন্ন প্রথম হেডিং বা উদ্ধৃতি পেয়েছে।
সেকশন: 0টি লিংকওয়ালা সেকশনে সাধারণত এমন আইটেম থাকে যা Markdown লিংক হিসেবে লেখা নয়।
লাইন নম্বর ফাইলের লাইন নির্দেশ করে, 1 থেকে গোনা, তাই এডিটরে সরাসরি সেখানে যেতে পারেন।
সাধারণ ভুল, উদাহরণসহ
সার্ভার একটি ওয়েব পেজ দেয়। যে সাইট প্রতিটি অজানা ঠিকানায় তার হোম পেজ বা HTML-এ একটি 404 পেজ দিয়ে উত্তর দেয়, তার কোনো llms.txt নেই, যদিও ঠিকানাটি ব্রাউজারে খোলে।
শিরোনাম প্রথম লাইন নয়। # Title-এর ওপরে মন্তব্য, একটি ফাঁকা ফ্রন্ট ম্যাটার ব্লক বা লোগোর লাইন থাকলে কোনো টুলের পক্ষে ফাইলটি পড়া কঠিন হয়।
একাধিক # হেডিং। শুধু প্রথম লাইনটিই শিরোনাম; সেকশনের জন্য ## ব্যবহার করুন।
সারাংশ নেই। একটি > লাইন ছাড়া অ্যাসিস্ট্যান্টকে শুধু লিংক দেখে অনুমান করতে হয় সাইটটি কী।
আইটেম যেগুলো লিংক নয়। - Pricing page একটি টুলকে খোলার মতো কিছু দেয় না; লিখুন - [Pricing](https://example.com/pricing/): plans and limits।
রিলেটিভ লিংক। ফাইলটি প্রসঙ্গের বাইরে পড়া হলে /docs/-এর কোনো মানে থাকে না; https://example.com/docs/ ব্যবহার করুন।
পুরো সাইট কপি করা ফাইল। llms.txt একটি ছোট মানচিত্র, প্রতিটি পেজের স্তূপ নয়; বিস্তারিতের জন্য লিংক দিন। পূর্ণ টেক্সট দিতে চাইলে প্রচলিত রীতি হলো একটি আলাদা llms-full.txt।
এমন পেজের লিংক যেগুলো রিডাইরেক্ট করে, লগইন চায় বা এরর দেয়। ভ্যালিডেটর ফরম্যাট চেক করে, লক্ষ্য পেজ নয়, তাই আপনার মূল লিংকগুলো নিজে একবার খুলে দেখুন।
llms.txt কী করে এবং কী করে না
llms.txt একটি প্রস্তাব, এমন কোনো স্ট্যান্ডার্ড নয় যা AI ক্রলারদের মানতেই হবে, এবং কোনো বড় অ্যাসিস্ট্যান্ট বলেনি যে এর কারণে তারা পেজ র্যাঙ্ক বা উদ্ধৃত করে। এটি প্রকাশ করা সহজ এবং AI টুল ও কোডিং এজেন্টদের গুরুত্বপূর্ণ পেজগুলোর একটি পরিষ্কার তালিকা দেয়। এটি কিছু ব্লক করে না, robots.txt বা সাইটম্যাপের জায়গা নেয় না, এবং যে পেজ ক্রলাররা শুরু থেকেই আনতে পারে না তাকে সাহায্য করে না।
এটিকে একটি যত্নে রাখা সূচিপত্র হিসেবে দেখুন: নতুন কারো যে পেজগুলো পড়া উচিত সেগুলো তালিকায় দিন, নোটগুলো ছোট ও তথ্যভিত্তিক রাখুন, এবং মূল পেজ যোগ বা সরালে এটি আপডেট করুন।
ফাইলটি সঠিক হওয়ার পরে
চেক করুন আপনার তালিকার পেজগুলো AI ক্রলাররা আদৌ পড়তে পারে কি না: robots.txt-এ অনুমোদিত, ফায়ারওয়ালে ব্লক নয়, এবং মূল টেক্সট HTML-এ আছে। AISeeWhy-এর পূর্ণ চেক একটি পেজের জন্য তা পরীক্ষা করে এবং সেই পেজটি আপনার llms.txt-এ তালিকাভুক্ত কি না তাও জানায়। এখনো ফাইল না থাকলে llms.txt জেনারেটর দিয়ে শুরু করুন এবং ফলাফল এখানে যাচাই করুন।
প্রশ্নোত্তর
ChatGPT, Claude বা Perplexity-র জন্য কি llms.txt বাধ্যতামূলক?
না। কোনোটিই এটি বাধ্যতামূলক করে না, এবং কোনোটিই বলে না যে কী উদ্ধৃত করবে তা ঠিক করতে ফাইলটি ব্যবহার করে। এটি একটি ঐচ্ছিক গাইড; এতে লিংক করা পেজগুলো তবুও ক্রলারদের পড়ার উপযোগী হতে হবে।
ফাইলটি কোথায় রাখতে হয়?
হোস্টের রুটে, সাধারণ টেক্সট হিসেবে: https://example.com/llms.txt। docs.example.com-এর মতো একটি সাবডোমেইনের নিজস্ব ফাইল থাকতে পারে।
এরর ও ওয়ার্নিংয়ের মধ্যে পার্থক্য কী?
এরর মানে ফাইলটি llms.txt হিসেবে ব্যবহার করা যায় না, যেমন এটি খালি, একটি ওয়েব পেজ বা এর শিরোনাম নেই। ওয়ার্নিং এমন কিছু দেখায় যা কাজ করে কিন্তু ফাইলটিকে কম পরিষ্কার করে, যেমন অনুপস্থিত সারাংশ বা একটি রিলেটিভ লিংক।
ভ্যালিডেটর কি আমার ফাইলের লিংকগুলো খোলে?
না। এটি কাঠামো এবং প্রতিটি লিংকের গঠন চেক করে। সবচেয়ে গুরুত্বপূর্ণ লিংকগুলো নিজে খুলুন, অথবা সেই পেজগুলো পূর্ণ চেক দিয়ে চেক করুন।
আমার কি llms-full.txt-ও প্রকাশ করা উচিত?
শুধু যদি আপনার ডকুমেন্টেশনের পূর্ণ টেক্সট একটি ফাইলে দিতে চান। এটি একটি আলাদা রীতি; llms.txt নিজে ছোট থাকা উচিত।