কতগুলো সাইট llms.txt প্রকাশ করে? আমরা 10,000 ডোমেইন যাচাই করেছি
সবচেয়ে জনপ্রিয় 10,000 ডোমেইনের মধ্যে 12.4% (1,240টি) llms.txt প্রকাশ করে; যাদের হোম পেজ HTML দিয়ে সাড়া দেয়, তাদের মধ্যে এই হার 16.7%। বড় সাইটগুলো বেশি প্রকাশ করে। যেসব সাইট এটি প্রকাশ করে তারা 1.4% ক্ষেত্রে AI সার্চ ক্রলার ব্লক করে, আর যারা করে না তাদের ক্ষেত্রে এই হার 15.0%। এটি শুধু প্রকাশের হিসাব: কোনো AI অ্যাসিস্ট্যান্ট ফাইলটি পড়ে কি না, তা এতে বোঝা যায় না।
llms.txt AI সার্চের সবচেয়ে আলোচিত ফাইলগুলোর একটি, অথচ এ নিয়ে পরিমাপ সবচেয়ে কম। আমরা আগেই শীর্ষ 10,000 ডোমেইনের robots.txt পড়েছি, এবং সেই একই ধাপে প্রতিটি ডোমেইনের কাছে /llms.txt চেয়েছি। ফলাফল এখানে।
এই পেজে
আমরা কীভাবে যাচাই করেছি?
আমরা Tranco তালিকার শীর্ষ 10,000 ডোমেইন নিয়েছি (তালিকার ID JZWZY)। 2026 সালের 21 নভেম্বর হোম পেজ পড়ে এবং মূল হোস্টে রিডাইরেক্ট অনুসরণ করার পর AISeeWhy-এর নিজস্ব user agent দিয়ে প্রতিটি ডোমেইন থেকে একবার করে /llms.txt চেয়েছি।
কোনো ডোমেইন তখনই llms.txt প্রকাশ করছে বলে ধরা হয়েছে, যখন /llms.txt নিজেই 200 দিয়ে সাড়া দেয়, বডি ফাঁকা নয় এমন টেক্সট হয় যা HTML পেজ নয়, এবং লগইন বা হোম পেজের মতো অন্য কোনো পেজে রিডাইরেক্ট করে না। এই রানে আমরা ফাইলের ফরম্যাট যাচাই করিনি।
আমরা কী পেয়েছি?
- 10,000 ডোমেইনের মধ্যে 1,240টি (12.4%)
llms.txtপ্রকাশ করে। - তালিকায় CDN এবং API হোস্টও আছে, যেগুলো কোনো ওয়েবসাইট চালায় না। যে 7,367 ডোমেইনের হোম পেজ HTML দিয়ে সাড়া দিয়েছে, তাদের মধ্যে 1,233টি (16.7%) এটি প্রকাশ করে।
- প্রায় সবগুলোই robots.txt-ও দেয়: 1,240টির মধ্যে 1,229টি।
বড় সাইটগুলো কি বেশি প্রকাশ করে?
হ্যাঁ, স্পষ্ট ব্যবধানে। আমরা ওয়েবসাইটগুলোকে (যে ডোমেইনের হোম পেজ HTML দিয়ে সাড়া দেয়) Tranco র্যাঙ্ক অনুযায়ী ভাগ করেছি:
- র্যাঙ্ক 1 থেকে 1,000: 22.6% llms.txt প্রকাশ করে (658টি ওয়েবসাইটের মধ্যে 149টি)।
- র্যাঙ্ক 1,001 থেকে 3,000: 18.2% (1,449টির মধ্যে 264টি)।
- র্যাঙ্ক 3,001 থেকে 10,000: 15.6% (5,260টির মধ্যে 820টি)।
কারা এটি প্রকাশ করে?
যে 6,192 ডোমেইন robots.txt দেয়, তাদের মধ্যে যারা llms.txt প্রকাশ করে তারা বাকিদের থেকে আলাদা:
- তারা অন্তত একটি AI ট্রেনিং ক্রলার ব্লক করে 11.8% ক্ষেত্রে, আর llms.txt ছাড়া ডোমেইনগুলো করে 26.0% ক্ষেত্রে।
- তারা অন্তত একটি AI সার্চ বা ইউজার ক্রলার ব্লক করে 1.4% ক্ষেত্রে, আর অন্যরা করে 15.0% ক্ষেত্রে।
- তারা
Content-Signalলাইন ব্যবহার করে 12.9% ক্ষেত্রে, আর অন্যরা করে 4.9% ক্ষেত্রে।
অর্থাৎ, যেসব সাইট llms.txt প্রকাশের কষ্ট করে, তারা বেশিরভাগই আগে থেকেই AI ক্রলারদের ঢুকতে দেয়।
এটি কী দেখায় না?
এটি একটি সম্পর্ক দেখায়, কারণ নয়। যে সাইট AI দৃশ্যমানতাকে গুরুত্ব দেয়, সে হয়তো llms.txt প্রকাশ করে এবং robots.txt-ও খোলা রাখে; এর মানে এই নয় যে ফাইলটিই পার্থক্য তৈরি করেছে। এই গণনা শুধু প্রকাশের হিসাব। কোনো AI অ্যাসিস্ট্যান্ট ফাইলটি পড়ে কি না তা এতে বোঝা যায় না, এবং প্রধান AI সার্চ ক্রলারগুলো বলে না যে তারা এটি ব্যবহার করে।
সংখ্যাগুলো একটি নির্দিষ্ট দিনে, সবচেয়ে জনপ্রিয় ডোমেইনগুলোর হোম পেজের নিয়ম এবং একটি নির্দিষ্ট ঠিকানার ফাইল বর্ণনা করে। ছোট সাইটগুলোর চিত্র আলাদা হতে পারে।
আপনার কি এটি প্রকাশ করা উচিত?
এটি সস্তা এবং নিরীহ: আপনার সাইটের একটি ছোট Markdown সারসংক্ষেপ এবং সবচেয়ে কাজের পেজগুলোর তালিকা। এটি নির্ভুল রাখুন এবং লিংকগুলো চালু রাখুন। ক্রলারদের ঢুকতে দেওয়ার বিকল্প হিসেবে একে ভাববেন না: যে সাইটের ফায়ারওয়াল ক্রলারকে ফিরিয়ে দেয়, বা যার robots.txt তাকে নিষিদ্ধ করে, সেখানে llms.txt কারও কাজে আসে না।
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- llms.txt চেকার ও ভ্যালিডেটর
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
প্রশ্নোত্তর
কত শতাংশ ওয়েবসাইটে llms.txt আছে?
আমাদের যাচাই করা সবচেয়ে জনপ্রিয় 10,000 ডোমেইনের মধ্যে 12.4% এটি প্রকাশ করে। যাদের হোম পেজ HTML দিয়ে সাড়া দেয়, তাদের মধ্যে হার 16.7%, আর সবচেয়ে বড় সাইটগুলোর ক্ষেত্রে আরও বেশি: শীর্ষ 1,000-এ 22.6%।
llms.txt আছে এমন সাইটগুলো কি AI ক্রলারদের বেশি অনুমতি দেয়?
আমাদের ডেটায় হ্যাঁ: তারা 1.4% ক্ষেত্রে AI সার্চ ও ইউজার ক্রলার ব্লক করে, আর llms.txt ছাড়া সাইটগুলো করে 15.0% ক্ষেত্রে। এটি একটি সম্পর্ক মাত্র। ফাইলটি ক্রলারদের আচরণ বদলায়, এমন প্রমাণ এতে নেই।
llms.txt কি AI অ্যাসিস্ট্যান্টে আমার সাইটের উল্লেখ পেতে সাহায্য করে?
আমাদের ডেটা তা বলতে পারে না। এটি গোনে কোন সাইট ফাইলটি প্রকাশ করে, কোনো অ্যাসিস্ট্যান্ট এটি ব্যবহার করে কি না তা নয়, এবং প্রধান AI সার্চ ক্রলারগুলো জানায় না যে তারা এটি পড়ে। ক্রল করা যায় এমন পেজ এবং খোলা অ্যাক্সেস বেশি গুরুত্বপূর্ণ।
কোনো সাইটের llms.txt আসল কি না, কীভাবে বুঝব?
/llms.txt চেয়ে দেখুন যে ওই ঠিকানাতেই 200 দিয়ে সাড়া আসে এবং বডি এমন টেক্সট যা HTML পেজ নয়। হোম পেজ বা লগইন পেজে রিডাইরেক্ট হলে সেটি llms.txt নয়।
উৎস
- llmstxt.org: /llms.txt ফাইল
- AISeeWhy: AI ক্রলার অ্যাক্সেস রিপোর্ট, 2026-11
- Tranco: গবেষণাভিত্তিক শীর্ষ সাইটের র্যাঙ্কিং
- Google Search Central: AI ফিচার এবং আপনার ওয়েবসাইট
- OpenAI: OpenAI ক্রলারের পরিচিতি