সবচেয়ে জনপ্রিয় ১০,০০০ সাইটের robots.txt পড়লাম। AI ক্রলার নিয়ে তারা কী করে, দেখুন
Tranco-র শীর্ষ ১০,০০০ ডোমেনের মধ্যে যে ৬,১৯২টি ডোমেন robots.txt সরবরাহ করে, তাদের ২৩.২% অন্তত একটি AI ট্রেনিং ক্রলার ব্লক করে এবং ১২.৩% অন্তত একটি AI সার্চ বা ইউজার ক্রলার ব্লক করে। যেসব সাইট ট্রেনিং ব্লক করে, তাদের ৫১.৬% AI সার্চও ব্লক করে। মাত্র ১১.২% ট্রেনিং থেকে বেরিয়ে থাকে, অথচ প্রতিটি AI সার্চ ক্রলারকে অনুমতি দেয়।
নভেম্বরে আমরা সবচেয়ে জনপ্রিয় ১,০০০ ডোমেনের robots.txt পড়েছিলাম। এবার একই পদ্ধতিতে ১০,০০০ ডোমেন পড়লাম, আর সাইট ছোট হলে চিত্র কীভাবে বদলায় তা-ও দেখলাম। মূল ফলাফল একই থাকে: ট্রেনিং ব্লক করা আর সার্চ ব্লক করাকে একটি সিদ্ধান্ত হিসেবে দেখা হয়, অথচ এ দুটি আলাদা।
এই পেজে
আমরা কীভাবে মাপলাম?
আমরা Tranco তালিকার (list ID JZWZY) শীর্ষ ১০,০০০ ডোমেন নিয়েছি। ২০২৬ সালের ২১ নভেম্বর AISeeWhy-র নিজস্ব user agent দিয়ে প্রতিটি ডোমেনের হোম পেজ, robots.txt এবং llms.txt একবার করে সংগ্রহ করেছি। হোম পেজের (/) জন্য এবং ১৬টি AI ও সার্চ ক্রলারের জন্য প্রতিটি robots.txt RFC 9309 অনুযায়ী যাচাই করেছি।
১০,০০০ ডোমেনের মধ্যে ৬,১৯২টি robots.txt সরবরাহ করেছে (সফল উত্তর, যা HTML পেজ নয়)। ১,১২১টি 4xx উত্তর দিয়েছে, অর্থাৎ কোনো নিয়ম নেই এবং সব ক্রলারের অনুমতি আছে। ২,৬৮৭টি কোনো robots.txt সরবরাহ করেনি (HTTPS সাইট নেই, ত্রুটি, টাইমআউট, বা তার বদলে HTML পেজ)। নিচের প্রতিটি শতাংশ ৬,১৯২-এর হিসাবে। তালিকায় CDN ও API আছে, যেগুলো কোনো ওয়েবসাইট চালায় না।
আমরা কী পেলাম?
- ২৩.২% (১,৪৩৭টি ডোমেন) অন্তত একটি AI ট্রেনিং ক্রলার ব্লক করে।
- ১২.৩% (৭৬২টি) অন্তত একটি AI সার্চ বা ইউজার ক্রলার ব্লক করে, অর্থাৎ এর ওপর নির্ভরশীল উত্তরে তাদের পেজ ব্যবহার বা উদ্ধৃত করা উচিত নয়।
- যেসব ডোমেন ট্রেনিং ক্রলার ব্লক করে, তাদের ৫১.৬% (১,৪৩৭-এর মধ্যে ৭৪২টি) অন্তত একটি AI সার্চ বা ইউজার ক্রলারও ব্লক করে।
- মাত্র ১১.২% (৬৯৫টি) নির্বাচিত পথ নেয়: ট্রেনিং ক্রলার ব্লক করে এবং প্রতিটি AI সার্চ ও ইউজার ক্রলারকে অনুমতি দেয়।
- ৬.৫% (৪০১টি)
Content-Signalদিয়ে AI-সংক্রান্ত পছন্দ জানায়। - মোট ১০,০০০ ডোমেনের ১২.৪% (১,২৪০টি) একটি
llms.txtপ্রকাশ করে। - তুলনার জন্য, ২.০% (১২৪টি) হোম পেজে
Googlebotব্লক করে।
কোন ক্রলার সবচেয়ে বেশি ব্লক হয়?
৬,১৯২টি ডোমেনের মধ্যে যাদের robots.txt ওই ক্রলারের জন্য হোম পেজ নিষিদ্ধ করে, তার অনুপাত:
Bytespider১৮.৭%,CCBot১৮.৫%,GPTBot১৭.৪%,ClaudeBot১৬.৫%।Meta-ExternalAgent১৫.৫%,Google-Extended১৪.৯%,Applebot-Extended১৪.৬%।PerplexityBot১০.৪% হলো সবচেয়ে বেশি ব্লক হওয়া AI সার্চ ক্রলার, এরপরOAI-SearchBot৭.০% এবংClaude-SearchBot৭.০%।- কেউ প্রশ্ন করলে যেসব ক্রলার পেজ খোলে:
ChatGPT-User৮.৯%,Perplexity-User৭.৭%,Claude-User৭.৪%।
বড় সাইটগুলো কি বেশি ব্লক করে?
হ্যাঁ, এবং তারা ট্রেনিং ও সার্চকে আরও বেশি গুলিয়ে ফেলে। আমরা তালিকাটি র্যাঙ্ক অনুযায়ী ভাগ করেছি:
- র্যাঙ্ক ১ থেকে ১,০০০ (robots.txt আছে এমন ৫৬০টি ডোমেন): ২৮.৬% ট্রেনিং ব্লক করে, ১৮.৬% AI সার্চ ব্লক করে, আর ট্রেনিং ব্লককারীদের ৬৩.১% AI সার্চও ব্লক করে।
- র্যাঙ্ক ১,০০১ থেকে ৩,০০০ (১,২৫৬টি ডোমেন): ২৩.৫%, ১৩.৫% এবং ৫৫.৬%।
- র্যাঙ্ক ৩,০০১ থেকে ১০,০০০ (৪,৩৭৬টি ডোমেন): ২২.৪%, ১১.২% এবং ৪৮.৬%।
নির্বাচিত পথ প্রতিটি আকারেই বিরল: তিনটি গ্রুপের ডোমেনের যথাক্রমে ১০.৫%, ১০.৪% এবং ১১.৫%।
আমাদের ১২ নভেম্বরের রিপোর্টের পর কিছু বদলেছে কি?
একই তালিকা নিয়ে আমরা প্রথম ১,০০০ ডোমেন আবার চালিয়েছি। ফলাফল প্রায় এক শতাংশ-পয়েন্টের মধ্যে স্থিতিশীল: ২৮.৬% ট্রেনিং ব্লক করে (১২ নভেম্বরে ছিল ২৯.৯%), ১৮.৬% AI সার্চ ব্লক করে (১৯.৫%), আর ট্রেনিং ব্লককারীদের ৬৩.১% AI সার্চও ব্লক করে (৬৩.২%)। হরের (ডিনোমিনেটর) সামান্য তফাত আছে (এখন robots.txt আছে ৫৬০টি ডোমেনের, তখন ছিল ৫১৮টির), কারণ এবার সংগ্রহের আগে ডোমেনের রিডাইরেক্ট অনুসরণ করে মূল হোস্টে যাওয়া হয়েছে।
আপনার robots.txt-এর জন্য এর মানে কী?
বেশিরভাগ AI কোম্পানি ট্রেনিং ও সার্চের জন্য আলাদা ক্রলার নথিভুক্ত করে এবং বলে যে সেটিংগুলো স্বাধীন। GPTBot নিষিদ্ধ করলে OAI-SearchBot প্রভাবিত হয় না, আর ClaudeBot নিষিদ্ধ করলে Claude-SearchBot প্রভাবিত হয় না। ট্রেনিং থেকে বেরিয়ে থেকেও উদ্ধৃত হতে চাইলে ট্রেনিং টোকেন ব্লক করুন, সার্চ ও ইউজার টোকেনকে অনুমতি দিন, এবং প্রতিটি গ্রুপে ব্যক্তিগত পাথগুলো আবার লিখুন, কারণ নামযুক্ত গ্রুপ * থেকে কিছু উত্তরাধিকার সূত্রে পায় না।
এই সংখ্যাগুলো কতটা নির্ভরযোগ্য?
এগুলো হোম পেজের জন্য robots.txt-এর নিয়ম, যা একটি পার্সার একদিনে পড়েছে। এগুলো ফায়ারওয়াল ব্লক মাপে না, যা robots.txt-এ অনুমোদিত ক্রলারকেও আটকে দিতে পারে। প্রতিটি সাইট কী চেয়েছিল তা এ থেকে বোঝা যায় না, আর Tranco তালিকায় এমন ডোমেনও আছে যা কোনো ওয়েবসাইট চালায় না। সার্চ ক্রলার ব্লক করার নিয়ম ভুলের প্রমাণ নয়, বরং এমন একটি পছন্দের প্রমাণ যা প্রায়ই পার্থক্য না জেনেই নেওয়া হয়। এই পেজের লিংকসহ আপনি পরিসংখ্যান উদ্ধৃত করতে পারেন।
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- llms.txt চেকার ও ভ্যালিডেটর
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
জনপ্রিয় সাইটগুলোর কত অংশ AI ক্রলার ব্লক করে?
Tranco-র শীর্ষ ১০,০০০ ডোমেনের মধ্যে যে ৬,১৯২টি robots.txt সরবরাহ করে, তাদের ২৩.২% অন্তত একটি AI ট্রেনিং ক্রলার ব্লক করে এবং ১২.৩% অন্তত একটি AI সার্চ বা ইউজার ক্রলার ব্লক করে।
যেসব সাইট AI ট্রেনিং ব্লক করে, তারা কি AI সার্চও ব্লক করে?
প্রায়ই করে। যেসব সাইট ট্রেনিং ক্রলার ব্লক করে, তাদের ৫১.৬% অন্তত একটি AI সার্চ বা ইউজার ক্রলারও ব্লক করে, যদিও প্রতিষ্ঠানগুলো এদের আলাদা ক্রলার হিসেবে এবং স্বাধীন সেটিংসহ নথিভুক্ত করে।
কোন AI ক্রলার সবচেয়ে বেশি ব্লক হয়?
ট্রেনিং ক্রলারের মধ্যে Bytespider (১৮.৭%) ও CCBot (১৮.৫%), তারপর GPTBot (১৭.৪%)। AI সার্চ ক্রলারের মধ্যে PerplexityBot সবচেয়ে বেশি ব্লক হয়, ১০.৪% ডোমেনে।
আপনাদের ১,০০০ সাইটের রিপোর্টের সঙ্গে সংখ্যা কেন আলাদা?
প্রথম ১,০০০ ডোমেন প্রায় একই শতাংশ দেয় (২৯.৯% ও ১৯.৫%-এর বিপরীতে ২৮.৬% ও ১৮.৬%)। ১০,০০০ সাইটের সংখ্যা কম, কারণ ছোট সাইটগুলো কম ব্লক করে।
উৎস
- AISeeWhy: AI ক্রলার অ্যাক্সেস রিপোর্ট, ২০২৬-১১
- Tranco: গবেষণাভিত্তিক শীর্ষ সাইটের র্যাঙ্কিং
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI ক্রলারের সংক্ষিপ্ত বিবরণ
- Anthropic: Anthropic কি ওয়েব থেকে ডেটা ক্রল করে, এবং সাইটের মালিকেরা কীভাবে ক্রলার ব্লক করতে পারেন?
- Perplexity: Perplexity ক্রলার