AI ট্রেনিং ব্লক করে কীভাবে AI সার্চের উত্তরে থাকবেন

প্রকাশিত

সংক্ষিপ্ত উত্তর

বেশিরভাগ AI ভেন্ডর মডেল ট্রেনিং ও সার্চের জন্য robots.txt-এ আলাদা টোকেন ব্যবহার করে। GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent ও CCBot-এর মতো ট্রেনিং টোকেন নিষেধ করুন, আর OAI-SearchBot, Claude-SearchBot ও PerplexityBot-এর মতো সার্চ ও ইউজার টোকেনকে অনুমতি দিন। একই পছন্দ কথায় জানাতে একটি Content-Signal লাইন যোগ করুন।

অনেক সাইট মালিক একসঙ্গে দুটি জিনিস চান: তাঁদের কনটেন্ট দিয়ে AI মডেল ট্রেনিং হোক তা তাঁরা চান না, আবার AI অ্যাসিস্ট্যান্ট তাঁদের পেজ খুঁজে পাক, উদ্ধৃত করুক ও লিংক দিক তা চান। বড় ভেন্ডররা এখন এই কাজগুলো আলাদা ক্রলার বা টোকেনে ভাগ করে, তাই robots.txt দিয়ে দুটি পছন্দই জানানো যায়। সমস্যা হলো, ভেন্ডরভেদে নাম আলাদা, কয়েকটি ভেন্ডর এই ধাঁচে পড়ে না, এবং একটি ভুল লাইন আপনাকে ট্রেনিং ডেটার বদলে AI উত্তর থেকেই সরিয়ে দিতে পারে।

এই পেজে
  1. ট্রেনিং ক্রলার আর সার্চ ক্রলারের মধ্যে পার্থক্য কী?
  2. কোন টোকেন ট্রেনিং আর কোনটি সার্চ নিয়ন্ত্রণ করে?
  3. robots.txt দেখতে কেমন হবে?
  4. কতগুলো সাইট ইতিমধ্যে এটা করে?
  5. Content-Signal কী যোগ করে?
  6. কোথায় এই বিভাজন পরিষ্কারভাবে কাজ করে না?
  7. বিভাজনটি কাজ করছে কি না কীভাবে চেক করব?

ট্রেনিং ক্রলার আর সার্চ ক্রলারের মধ্যে পার্থক্য কী?

ট্রেনিং ক্রলার এমন পেজ সংগ্রহ করে যা AI মডেল তৈরি বা উন্নত করতে ব্যবহার হতে পারে। ট্রেনিং নিজে থেকে কোনো উদ্ধৃতি বা লিংক তৈরি করে না। সার্চ ক্রলার একটি ইনডেক্স তৈরি করে, যা দিয়ে একটি AI অ্যাসিস্ট্যান্ট উত্তরের উৎস খোঁজে, আর সেই উৎসগুলোই সে উদ্ধৃত করতে পারে। ব্যবহারকারীর চালু করা ফেচার লাইভ একটি পেজ খোলে, কারণ কেউ সেটি নিয়ে প্রশ্ন করেছেন।

ভেন্ডররা এই ভূমিকাগুলো আলাদাভাবে বর্ণনা করে এবং বলে যে সেটিংগুলো একে অপরের থেকে স্বাধীন। যেমন OpenAI বলে, তার ক্রলারদের প্রতিটি robots.txt সেটিং অন্যগুলো থেকে স্বাধীন। তাই ঠিকভাবে করা ট্রেনিং অপ্ট-আউট আপনার সার্চ দৃশ্যমানতায় হাত দেয় না।

কোন টোকেন ট্রেনিং আর কোনটি সার্চ নিয়ন্ত্রণ করে?

ভেন্ডরদের বর্ণিত টোকেনগুলো, তারা কী নিয়ন্ত্রণ করে সেই অনুযায়ী সাজানো:

robots.txt দেখতে কেমন হবে?

RFC 9309 অনুযায়ী পরপর কয়েকটি User-agent লাইন মিলে একটি গ্রুপ হয়, তাই রুলগুলো এদের প্রত্যেকের ক্ষেত্রে প্রযোজ্য। এই ফাইলটি উপরের ট্রেনিং টোকেনগুলো থেকে অপ্ট-আউট করে, সার্চ ও ইউজার এজেন্টদের অনুমতি দেয় এবং একটি প্রাইভেট পাথ সবার জন্য বন্ধ রাখে:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

দুটি বিষয় গুরুত্বপূর্ণ। প্রথমত, নাম দেওয়া গ্রুপ * থেকে কিছু উত্তরাধিকারসূত্রে পায় না, তাই প্রাইভেট পাথগুলো সার্চ গ্রুপে আবার লিখতে হবে। দ্বিতীয়ত, ট্রেনিং গ্রুপে Googlebot বা Applebot যোগ করবেন না: এরাই সার্চ ক্রলার, আর এদের ব্লক করলে আপনি Google Search ও Apple-এর সার্চ ফিচার থেকে বাদ পড়বেন। পরিবর্তন তাৎক্ষণিক নয়: OpenAI সার্চের জন্য প্রায় 24 ঘণ্টার কথা বলে, আর Perplexity বলে 24 ঘণ্টা পর্যন্ত।

কতগুলো সাইট ইতিমধ্যে এটা করে?

আপনার ধারণার চেয়ে কম। 2026-11-12 তারিখে আমরা Tranco তালিকার সবচেয়ে জনপ্রিয় 1,000টি ডোমেইনের robots.txt পড়েছি। robots.txt দেওয়া 518টির মধ্যে 155টি (29.9%) অন্তত একটি AI ট্রেনিং ক্রলারের জন্য হোম পেজ নিষিদ্ধ করে। মাত্র 57টি (11.0%) বাছাই করা পথ নেয়: তারা ট্রেনিং ক্রলার ব্লক করে এবং আমাদের পরীক্ষা করা প্রতিটি AI সার্চ ও ইউজার ক্রলারকে অনুমতি দেয়। সব মিলিয়ে 101টি সাইট (19.5%) অন্তত একটি AI সার্চ বা ইউজার ক্রলার ব্লক করে।

ক্রলার ধরে ধরে সংখ্যাগুলোতেও একই বিভাজন দেখা যায়। GPTBot ব্লক 111টি সাইটে (21.4%) আর OAI-SearchBot 58টিতে (11.2%)। ClaudeBot ব্লক 110টিতে (21.2%) আর Claude-SearchBot 67টিতে (12.9%)। Google-Extended ব্লক 94টিতে (18.1%), Googlebot 14টিতে (2.7%)। মাত্র 18টি সাইট (3.5%) Content-Signal ব্যবহার করে।

গবেষণাটি শুধু হোম পেজের robots.txt রুল দেখে। এটি ফায়ারওয়াল ব্লক মাপে না, এবং প্রতিটি সাইটের উদ্দেশ্য কী ছিল তাও দেখায় না।

Content-Signal কী যোগ করে?

Content Signals হলো Cloudflare-এর প্রকাশিত একটি robots.txt এক্সটেনশন, contentsignals.org-এ। একটি Content-Signal লাইন জানায় কনটেন্ট কীভাবে ব্যবহার করা যাবে, তিনটি সিগন্যাল দিয়ে: search (সার্চ ইনডেক্স তৈরি এবং লিংক ও ছোট অংশ দেখানো), ai-input (রিয়েল টাইমে AI মডেলে কনটেন্ট দেওয়া, যেমন জেনারেটিভ উত্তরের জন্য গ্রাউন্ডিং বা রিট্রিভাল) এবং ai-train (মডেল ট্রেনিং বা ফাইন-টিউনিং)।

খেয়াল করুন, search-এর সংজ্ঞায় AI দিয়ে তৈরি সার্চ সারাংশ বাদ রাখা হয়েছে। AI উত্তরে দেখা যেতে চাইলে উপরের উদাহরণের মতো ai-input=yes-ও সেট করুন। Cloudflare-এর managed robots.txt ডিফল্টভাবে search=yes, ai-train=no যোগ করে; যে সিগন্যাল আপনি বাদ রাখেন, তা সেই ব্যবহারের অনুমতিও দেয় না, সীমাবদ্ধও করে না।

এগুলো ঘোষিত পছন্দ। Content Signals সাইট বলে, এগুলো টেকনিক্যাল স্তরে ক্রলিং আটকায় না, আর Cloudflare উল্লেখ করে যে robots.txt মানা স্বেচ্ছামূলক। আমরা যেসব OpenAI, Anthropic, Google বা Perplexity ক্রলার পেজ দেখেছি, তার কোনোটিই বলে না তারা Content-Signal পড়ে কি না, তাই এটিকে প্রতিটি ক্রলারের আলাদা গ্রুপের সংযোজন হিসেবে দেখুন, বিকল্প হিসেবে নয়।

কোথায় এই বিভাজন পরিষ্কারভাবে কাজ করে না?

কয়েকটি ক্ষেত্রে সতর্ক থাকতে হয়:

বিভাজনটি কাজ করছে কি না কীভাবে চেক করব?

প্রতিটি ক্রলার যেভাবে পড়ে, সেভাবে আপনার robots.txt পড়ুন: তার নাম আছে এমন গ্রুপটি খুঁজুন, কোনোটি না থাকলে তবেই *-এ যান, এবং মিলে যাওয়া সবচেয়ে লম্বা রুলটি প্রয়োগ করুন। তারপর প্রতিটি সার্চ ক্রলারের ইউজার এজেন্ট দিয়ে একটি পেজ চেয়ে নিশ্চিত হোন যে সে পুরো কনটেন্টসহ 200 পায়, 403 বা চ্যালেঞ্জ পেজ নয়।

AISeeWhy 14টি ক্রলারের জন্য দুটিই করে, ট্রেনিং, সার্চ ও ইউজার এজেন্ট হিসেবে ভাগ করে, এবং সবচেয়ে সাধারণ ভুলটি চিহ্নিত করে: ট্রেনিং ব্লক করতে গিয়ে PerplexityBot বা Claude-SearchBot-এর মতো একটি সার্চ টোকেন ব্লক করা।

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

প্রশ্নোত্তর

GPTBot ব্লক করলে কি আমার সাইট ChatGPT-র উত্তর থেকে বাদ পড়বে?

না। OpenAI বলে GPTBot ট্রেনিংয়ের জন্য এবং প্রতিটি robots.txt সেটিং স্বাধীন। ChatGPT সার্চ OAI-SearchBot ব্যবহার করে; সেটি অনুমতি পেলে এবং আপনার ফায়ারওয়ালে ব্লক না হলে আপনার পেজগুলো যোগ্য থাকে।

Google-Extended ব্লক করলে কি আমি AI Overviews থেকে বাদ পড়ব?

Google-এর ডকুমেন্টেশন অনুযায়ী না। Google বলে Google-Extended Google Search-এ অন্তর্ভুক্তিকে প্রভাবিত করে না, আর AI Overviews Search ইনডেক্স ব্যবহার করে। AI Overviews ও AI Mode থেকে একটি সাইট বাদ দেওয়ার জন্য Google আলাদা একটি Search Console নিয়ন্ত্রণ দেয়।

সব AI ট্রেনিং ব্লক করার মতো একটিমাত্র লাইন আছে কি?

কোনো স্ট্যান্ডার্ড লাইন তা করে না। Content-Signal: ai-train=no সব ক্রলারের জন্য পছন্দটি জানায়, কিন্তু কোনো ক্রলার তা মানবে কি না তা নির্ভর করে পরিচালনাকারীর ওপর। প্রতিটি ট্রেনিং টোকেনের জন্য নাম দেওয়া গ্রুপই ডকুমেন্ট করা পদ্ধতি।

AI ট্রেনিং থামাতে কি Perplexity ব্লক করা উচিত?

Perplexity বলে তার এজেন্টরা ট্রেনিং ডেটা সংগ্রহে ব্যবহার হয় না। PerplexityBot ব্লক করলে ট্রেনিং অপ্ট-আউট হয় না, শুধু Perplexity-র সার্চ ফলাফলে আপনার দৃশ্যমানতা কমে।

উৎস

আরও আর্টিকেল