AI ট্রেনিং ব্লক করে কীভাবে AI সার্চের উত্তরে থাকবেন
বেশিরভাগ AI ভেন্ডর মডেল ট্রেনিং ও সার্চের জন্য robots.txt-এ আলাদা টোকেন ব্যবহার করে। GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent ও CCBot-এর মতো ট্রেনিং টোকেন নিষেধ করুন, আর OAI-SearchBot, Claude-SearchBot ও PerplexityBot-এর মতো সার্চ ও ইউজার টোকেনকে অনুমতি দিন। একই পছন্দ কথায় জানাতে একটি Content-Signal লাইন যোগ করুন।
অনেক সাইট মালিক একসঙ্গে দুটি জিনিস চান: তাঁদের কনটেন্ট দিয়ে AI মডেল ট্রেনিং হোক তা তাঁরা চান না, আবার AI অ্যাসিস্ট্যান্ট তাঁদের পেজ খুঁজে পাক, উদ্ধৃত করুক ও লিংক দিক তা চান। বড় ভেন্ডররা এখন এই কাজগুলো আলাদা ক্রলার বা টোকেনে ভাগ করে, তাই robots.txt দিয়ে দুটি পছন্দই জানানো যায়। সমস্যা হলো, ভেন্ডরভেদে নাম আলাদা, কয়েকটি ভেন্ডর এই ধাঁচে পড়ে না, এবং একটি ভুল লাইন আপনাকে ট্রেনিং ডেটার বদলে AI উত্তর থেকেই সরিয়ে দিতে পারে।
এই পেজে
ট্রেনিং ক্রলার আর সার্চ ক্রলারের মধ্যে পার্থক্য কী?
ট্রেনিং ক্রলার এমন পেজ সংগ্রহ করে যা AI মডেল তৈরি বা উন্নত করতে ব্যবহার হতে পারে। ট্রেনিং নিজে থেকে কোনো উদ্ধৃতি বা লিংক তৈরি করে না। সার্চ ক্রলার একটি ইনডেক্স তৈরি করে, যা দিয়ে একটি AI অ্যাসিস্ট্যান্ট উত্তরের উৎস খোঁজে, আর সেই উৎসগুলোই সে উদ্ধৃত করতে পারে। ব্যবহারকারীর চালু করা ফেচার লাইভ একটি পেজ খোলে, কারণ কেউ সেটি নিয়ে প্রশ্ন করেছেন।
ভেন্ডররা এই ভূমিকাগুলো আলাদাভাবে বর্ণনা করে এবং বলে যে সেটিংগুলো একে অপরের থেকে স্বাধীন। যেমন OpenAI বলে, তার ক্রলারদের প্রতিটি robots.txt সেটিং অন্যগুলো থেকে স্বাধীন। তাই ঠিকভাবে করা ট্রেনিং অপ্ট-আউট আপনার সার্চ দৃশ্যমানতায় হাত দেয় না।
কোন টোকেন ট্রেনিং আর কোনটি সার্চ নিয়ন্ত্রণ করে?
ভেন্ডরদের বর্ণিত টোকেনগুলো, তারা কী নিয়ন্ত্রণ করে সেই অনুযায়ী সাজানো:
- OpenAI:
GPTBotএমন কনটেন্ট ক্রল করে যা তার ফাউন্ডেশন মডেল ট্রেনিংয়ে ব্যবহার হতে পারে।OAI-SearchBotChatGPT সার্চের জন্য, আরChatGPT-Userব্যবহারকারীর কাজ সামলায়; OpenAI বলে এর ক্ষেত্রে robots.txt প্রযোজ্য নাও হতে পারে। - Anthropic:
ClaudeBotএমন কনটেন্ট সংগ্রহ করে যা ট্রেনিংয়ে কাজে লাগতে পারে।Claude-SearchBotClaude-এর সার্চ ফলাফল উন্নত করে, আরClaude-Userব্যবহারকারীদের জন্য পেজ আনে। Anthropic বলে তার বটগুলো robots.txt মেনে চলে। - Google:
Google-Extendedএকটি robots.txt টোকেন, যার নিজস্ব কোনো ক্রলার নেই। এটি ভবিষ্যতের Gemini মডেলের ট্রেনিং এবং Gemini Apps ও Vertex AI-এর গ্রাউন্ডিংয়ে ব্যবহার নিয়ন্ত্রণ করে। Google বলে এটি Google Search-এ অন্তর্ভুক্তি বা র্যাঙ্কিংকে প্রভাবিত করে না, যাGooglebotদিয়ে নিয়ন্ত্রিত হয়। - Apple:
Applebot-Extendedক্রল করে না; এটি নিয়ন্ত্রণ করেApplebot-এর ক্রল করা কনটেন্ট Apple-এর ফাউন্ডেশন মডেল ট্রেনিংয়ে ব্যবহার হবে কি না। Apple বলে, যেসব পেজ এটিকে নিষেধ করে সেগুলোও তার সার্চ ফলাফলে দেখা যেতে পারে। - Meta:
meta-externalagentফাউন্ডেশন মডেল ট্রেনিংয়ের মতো কাজের জন্য ক্রল করে, আরmeta-webindexerMeta AI-এর সার্চ ফলাফল উন্নত করে। - Common Crawl:
CCBotCommon Crawl-এর পাবলিক ওয়েব আর্কাইভ তৈরি করে। Cloudflare-এর managed robots.txt যেসব AI ট্রেনিং ক্রলার নিষেধ করে, তার তালিকায় এটি আছে। - Perplexity:
PerplexityBotওPerplexity-Userসার্চ ও ব্যবহারকারীর অনুরোধ সামলায়। Perplexity বলে এদের কোনোটিই ট্রেনিং ডেটা সংগ্রহে ব্যবহার হয় না, তাই ব্লক করার মতো Perplexity-র কোনো ট্রেনিং টোকেন নেই।
robots.txt দেখতে কেমন হবে?
RFC 9309 অনুযায়ী পরপর কয়েকটি User-agent লাইন মিলে একটি গ্রুপ হয়, তাই রুলগুলো এদের প্রত্যেকের ক্ষেত্রে প্রযোজ্য। এই ফাইলটি উপরের ট্রেনিং টোকেনগুলো থেকে অপ্ট-আউট করে, সার্চ ও ইউজার এজেন্টদের অনুমতি দেয় এবং একটি প্রাইভেট পাথ সবার জন্য বন্ধ রাখে:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml দুটি বিষয় গুরুত্বপূর্ণ। প্রথমত, নাম দেওয়া গ্রুপ * থেকে কিছু উত্তরাধিকারসূত্রে পায় না, তাই প্রাইভেট পাথগুলো সার্চ গ্রুপে আবার লিখতে হবে। দ্বিতীয়ত, ট্রেনিং গ্রুপে Googlebot বা Applebot যোগ করবেন না: এরাই সার্চ ক্রলার, আর এদের ব্লক করলে আপনি Google Search ও Apple-এর সার্চ ফিচার থেকে বাদ পড়বেন। পরিবর্তন তাৎক্ষণিক নয়: OpenAI সার্চের জন্য প্রায় 24 ঘণ্টার কথা বলে, আর Perplexity বলে 24 ঘণ্টা পর্যন্ত।
কতগুলো সাইট ইতিমধ্যে এটা করে?
আপনার ধারণার চেয়ে কম। 2026-11-12 তারিখে আমরা Tranco তালিকার সবচেয়ে জনপ্রিয় 1,000টি ডোমেইনের robots.txt পড়েছি। robots.txt দেওয়া 518টির মধ্যে 155টি (29.9%) অন্তত একটি AI ট্রেনিং ক্রলারের জন্য হোম পেজ নিষিদ্ধ করে। মাত্র 57টি (11.0%) বাছাই করা পথ নেয়: তারা ট্রেনিং ক্রলার ব্লক করে এবং আমাদের পরীক্ষা করা প্রতিটি AI সার্চ ও ইউজার ক্রলারকে অনুমতি দেয়। সব মিলিয়ে 101টি সাইট (19.5%) অন্তত একটি AI সার্চ বা ইউজার ক্রলার ব্লক করে।
ক্রলার ধরে ধরে সংখ্যাগুলোতেও একই বিভাজন দেখা যায়। GPTBot ব্লক 111টি সাইটে (21.4%) আর OAI-SearchBot 58টিতে (11.2%)। ClaudeBot ব্লক 110টিতে (21.2%) আর Claude-SearchBot 67টিতে (12.9%)। Google-Extended ব্লক 94টিতে (18.1%), Googlebot 14টিতে (2.7%)। মাত্র 18টি সাইট (3.5%) Content-Signal ব্যবহার করে।
গবেষণাটি শুধু হোম পেজের robots.txt রুল দেখে। এটি ফায়ারওয়াল ব্লক মাপে না, এবং প্রতিটি সাইটের উদ্দেশ্য কী ছিল তাও দেখায় না।
Content-Signal কী যোগ করে?
Content Signals হলো Cloudflare-এর প্রকাশিত একটি robots.txt এক্সটেনশন, contentsignals.org-এ। একটি Content-Signal লাইন জানায় কনটেন্ট কীভাবে ব্যবহার করা যাবে, তিনটি সিগন্যাল দিয়ে: search (সার্চ ইনডেক্স তৈরি এবং লিংক ও ছোট অংশ দেখানো), ai-input (রিয়েল টাইমে AI মডেলে কনটেন্ট দেওয়া, যেমন জেনারেটিভ উত্তরের জন্য গ্রাউন্ডিং বা রিট্রিভাল) এবং ai-train (মডেল ট্রেনিং বা ফাইন-টিউনিং)।
খেয়াল করুন, search-এর সংজ্ঞায় AI দিয়ে তৈরি সার্চ সারাংশ বাদ রাখা হয়েছে। AI উত্তরে দেখা যেতে চাইলে উপরের উদাহরণের মতো ai-input=yes-ও সেট করুন। Cloudflare-এর managed robots.txt ডিফল্টভাবে search=yes, ai-train=no যোগ করে; যে সিগন্যাল আপনি বাদ রাখেন, তা সেই ব্যবহারের অনুমতিও দেয় না, সীমাবদ্ধও করে না।
এগুলো ঘোষিত পছন্দ। Content Signals সাইট বলে, এগুলো টেকনিক্যাল স্তরে ক্রলিং আটকায় না, আর Cloudflare উল্লেখ করে যে robots.txt মানা স্বেচ্ছামূলক। আমরা যেসব OpenAI, Anthropic, Google বা Perplexity ক্রলার পেজ দেখেছি, তার কোনোটিই বলে না তারা Content-Signal পড়ে কি না, তাই এটিকে প্রতিটি ক্রলারের আলাদা গ্রুপের সংযোজন হিসেবে দেখুন, বিকল্প হিসেবে নয়।
কোথায় এই বিভাজন পরিষ্কারভাবে কাজ করে না?
কয়েকটি ক্ষেত্রে সতর্ক থাকতে হয়:
- Google AI Overviews ও AI Mode
Googlebot-এর তৈরি Search ইনডেক্স ব্যবহার করে, তাইGoogle-Extendedআপনাকে সেগুলো থেকে বাদ দেয় না। Google-এর Search Console সহায়তা আরও বলে,Google-ExtendedSearch-এর জেনারেটিভ AI ফিচারের পেছনের মডেলগুলোর ট্রেনিং সীমিত করে, যা তার ক্রলার ডকুমেন্টেশনে উল্লেখ নেই। Google এখন AI Overviews ও AI Mode থেকে একটি সাইট বাদ দেওয়ার জন্য আলাদা একটি Search Console সেটিং দেয়। - OpenAI বলে, কোনো সাইট
GPTBotওOAI-SearchBotদুটিকেই অনুমতি দিলে সে একটি ক্রলের ফলাফল দুই উদ্দেশ্যেই ব্যবহার করতে পারে। কনটেন্ট যে ট্রেনিংয়ে ব্যবহার করা উচিত নয়, তা জানায়GPTBot-কে নিষেধ করাই। - অপ্ট-আউট সামনের দিকে কাজ করে। যেমন Anthropic
ClaudeBot-কে নিষেধ করাকে বর্ণনা করে আপনার সাইটের ভবিষ্যৎ কনটেন্টকে ট্রেনিং ডেটাসেট থেকে বাদ দেওয়া হিসেবে। - ব্যবহারকারীর চালু করা ফেচারগুলো মাঝামাঝি অবস্থানে। OpenAI ও Perplexity বলে,
ChatGPT-User-এর ক্ষেত্রে robots.txt প্রযোজ্য নাও হতে পারে এবংPerplexity-User-এর ক্ষেত্রে সাধারণত প্রযোজ্য নয়। - ফায়ারওয়াল robots.txt পড়ে না। বট ব্লক করার একটি বিস্তৃত রুল আপনার অনুমতি দেওয়া সার্চ ক্রলারদেরও থামিয়ে দিতে পারে। ফায়ারওয়ালে ট্রেনিং ব্লক প্রয়োগ করলে ট্রেনিং এজেন্টদের নাম ধরে মেলান এবং তাদের প্রকাশিত IP রেঞ্জ দিয়ে যাচাই করুন।
বিভাজনটি কাজ করছে কি না কীভাবে চেক করব?
প্রতিটি ক্রলার যেভাবে পড়ে, সেভাবে আপনার robots.txt পড়ুন: তার নাম আছে এমন গ্রুপটি খুঁজুন, কোনোটি না থাকলে তবেই *-এ যান, এবং মিলে যাওয়া সবচেয়ে লম্বা রুলটি প্রয়োগ করুন। তারপর প্রতিটি সার্চ ক্রলারের ইউজার এজেন্ট দিয়ে একটি পেজ চেয়ে নিশ্চিত হোন যে সে পুরো কনটেন্টসহ 200 পায়, 403 বা চ্যালেঞ্জ পেজ নয়।
AISeeWhy 14টি ক্রলারের জন্য দুটিই করে, ট্রেনিং, সার্চ ও ইউজার এজেন্ট হিসেবে ভাগ করে, এবং সবচেয়ে সাধারণ ভুলটি চিহ্নিত করে: ট্রেনিং ব্লক করতে গিয়ে PerplexityBot বা Claude-SearchBot-এর মতো একটি সার্চ টোকেন ব্লক করা।
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- AI ক্রলারের IP চেক
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
GPTBot ব্লক করলে কি আমার সাইট ChatGPT-র উত্তর থেকে বাদ পড়বে?
না। OpenAI বলে GPTBot ট্রেনিংয়ের জন্য এবং প্রতিটি robots.txt সেটিং স্বাধীন। ChatGPT সার্চ OAI-SearchBot ব্যবহার করে; সেটি অনুমতি পেলে এবং আপনার ফায়ারওয়ালে ব্লক না হলে আপনার পেজগুলো যোগ্য থাকে।
Google-Extended ব্লক করলে কি আমি AI Overviews থেকে বাদ পড়ব?
Google-এর ডকুমেন্টেশন অনুযায়ী না। Google বলে Google-Extended Google Search-এ অন্তর্ভুক্তিকে প্রভাবিত করে না, আর AI Overviews Search ইনডেক্স ব্যবহার করে। AI Overviews ও AI Mode থেকে একটি সাইট বাদ দেওয়ার জন্য Google আলাদা একটি Search Console নিয়ন্ত্রণ দেয়।
সব AI ট্রেনিং ব্লক করার মতো একটিমাত্র লাইন আছে কি?
কোনো স্ট্যান্ডার্ড লাইন তা করে না। Content-Signal: ai-train=no সব ক্রলারের জন্য পছন্দটি জানায়, কিন্তু কোনো ক্রলার তা মানবে কি না তা নির্ভর করে পরিচালনাকারীর ওপর। প্রতিটি ট্রেনিং টোকেনের জন্য নাম দেওয়া গ্রুপই ডকুমেন্ট করা পদ্ধতি।
AI ট্রেনিং থামাতে কি Perplexity ব্লক করা উচিত?
Perplexity বলে তার এজেন্টরা ট্রেনিং ডেটা সংগ্রহে ব্যবহার হয় না। PerplexityBot ব্লক করলে ট্রেনিং অপ্ট-আউট হয় না, শুধু Perplexity-র সার্চ ফলাফলে আপনার দৃশ্যমানতা কমে।
উৎস
- OpenAI: OpenAI ক্রলারের সংক্ষিপ্ত পরিচিতি
- Anthropic: Anthropic কি ওয়েব থেকে ডেটা ক্রল করে, আর সাইট মালিকেরা কীভাবে ক্রলারটি ব্লক করবেন?
- Google: সাধারণ ক্রলার, Google-Extended সহ
- Google Search Console সহায়তা: Search-এর জেনারেটিভ AI নিয়ন্ত্রণ
- Apple: Applebot সম্পর্কে
- Meta: Meta-র ওয়েব ক্রলার
- Common Crawl: CCBot
- Perplexity: Perplexity ক্রলার
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt ও Content Signals
- AISeeWhy: AI ক্রলার অ্যাক্সেস রিপোর্ট, 2026-11