robots.txt-এ Content-Signal কী, আর কেউ কি এটি মানে?
Content-Signal হলো Cloudflare-এর প্রকাশ করা robots.txt-এর একটি ঐচ্ছিক লাইন, যা জানায় আনার পর আপনার কনটেন্ট কীভাবে ব্যবহার করা যাবে: সার্চ ফলাফলের জন্য search, AI উত্তরে ইনপুট হিসেবে দেওয়ার জন্য ai-input এবং মডেল ট্রেনিংয়ের জন্য ai-train, প্রতিটির মান yes বা no, যেমন Content-Signal: search=yes, ai-input=yes, ai-train=no। এটি একটি পছন্দ প্রকাশ করে, কিছুই ব্লক করে না। নভেম্বর 2026 পর্যন্ত OpenAI, Anthropic, Google বা Perplexity-র কোনো ক্রলার পেজ বলে না যে তারা এটি পড়ে, অথচ বড় AI কোম্পানিগুলো এর বদলে শুধু ট্রেনিংয়ের জন্য একটি আলাদা টোকেন সমর্থন করেছে।
robots.txt তৈরি হয়েছিল ক্রলার কোথায় যেতে পারবে তা বলতে, যা পড়ে তা দিয়ে কী করা যাবে তা বলতে নয়। একই ফেচ যখন একটি সার্চ ইনডেক্স, একটি লাইভ AI উত্তর এবং একটি ট্রেনিং সেট সবকিছুতে কাজে লাগতে শুরু করল, এই ফাঁকটি গুরুত্বপূর্ণ হয়ে উঠল। এটি পূরণ করতে Cloudflare 24 সেপ্টেম্বর 2025-এ CC0 লাইসেন্সে Content Signals Policy প্রকাশ করে, এবং তখন বলে যে তার গ্রাহকরা ইতিমধ্যে 3.8 মিলিয়নের বেশি ডোমেইনে managed robots.txt চালু করেছেন, যে ফিচার এখন তাদের হয়ে লাইনটি যোগ করে।
এই পেজে
- search, ai-input ও ai-train মানে কী?
- robots.txt-এ Content-Signal লাইন কীভাবে লিখব?
- লাইনের ওপরের নীতির লেখা কী বলে?
- আমার robots.txt-এ কি ইতিমধ্যে Content-Signal আছে?
- AI ক্রলাররা কি Content-Signal মানে?
- আমার robots.txt-এ কি Content-Signal যোগ করা উচিত?
- আমার robots.txt প্রতিটি ক্রলারকে কী বলে, তা কীভাবে চেক করব?
search, ai-input ও ai-train মানে কী?
নীতিটি তিনটি সিগন্যাল সংজ্ঞায়িত করে। নিচের বর্ণনা contentsignals.org এবং Cloudflare-এর প্রকাশিত নীতির লেখা অনুসরণ করে:
search: একটি সার্চ ইনডেক্স তৈরি করা এবং সার্চ ফলাফল দেওয়া, যেমন আপনার পেজের হাইপারলিংক ও ছোট অংশ দেখানো। সংজ্ঞা অনুযায়ী search-এর মধ্যে AI-জেনারেটেড সার্চ সারাংশ পড়ে না।ai-input: এক বা একাধিক AI মডেলে কনটেন্ট ইনপুট দেওয়া, যেমন retrieval augmented generation, গ্রাউন্ডিং বা জেনারেটিভ AI সার্চ উত্তরের জন্য কনটেন্টের অন্য কোনো রিয়েল-টাইম ব্যবহার।ai-train: AI মডেল ট্রেনিং বা ফাইন-টিউনিং।
প্রতিটি সিগন্যালের মান yes বা no। নীতির ভাষায় yes মানে সেই কাজের জন্য কনটেন্ট সংগ্রহ করা যাবে, no মানে যাবে না, আর যে সিগন্যাল বাদ রাখেন তা সেই ব্যবহারের অনুমতিও দেয় না, সীমাবদ্ধও করে না। Cloudflare-এর ডিফল্ট search ও ai-train সেট করে এবং ai-input খালি রাখে, কারণ এটি বলে প্রত্যেক গ্রাহকের ওই সিগন্যালের পছন্দ সে জানে না এবং অনুমান করতে চায় না।
search আর ai-input-এর পার্থক্যটাই বেশিরভাগ মানুষ খেয়াল করেন না। আপনি যদি চান আপনার পেজ AI উত্তরে ব্যবহার হোক, শুধু search=yes তা বলে না। ai-input=yes বলে।
robots.txt-এ Content-Signal লাইন কীভাবে লিখব?
Content-Signal একটি ইউজার এজেন্ট গ্রুপের ভেতরে Allow ও Disallow-এর পাশে বসে, সিগন্যালগুলো কমা দিয়ে আলাদা করা। contentsignals.org একটি পাথ দিয়ে শুরু হওয়া রূপও দেখায়, যাতে সাইটের একটি অংশে বাকি অংশ থেকে ভিন্ন সিগন্যাল থাকতে পারে:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow ও Disallow আগের মতোই কাজ করে, আর Content-Signal এদের জায়গা নেয় না। RFC 9309 ক্রলারদের প্রোটোকলের অংশ নয় এমন রেকর্ড ব্যাখ্যা করার সুযোগ দেয়, যতক্ষণ তা সংজ্ঞায়িত রুলে বাধা না দেয়, তাই যে পার্সার লাইনটি চেনে না তার এটি এড়িয়ে যাওয়া উচিত।
দুটি বিষয় জানা দরকার। প্রথমত, লাইনটি একটি গ্রুপের অংশ। RFC 9309 অনুযায়ী যে ক্রলারের নিজের নামে গ্রুপ আছে, সে User-agent: * গ্রুপ পুরোপুরি উপেক্ষা করে, আর Content Signals-এর পেজগুলো এই লাইনের জন্য কোনো ব্যতিক্রম বর্ণনা করে না। আপনি যদি Googlebot বা OAI-SearchBot-কে নিজস্ব গ্রুপ দেন, সেখানে Content-Signal লাইনটি আবার লিখুন, যেমন contentsignals.org তার প্রতি-ক্রলার উদাহরণে করে। দ্বিতীয়ত, Google Search Console লাইনটির জন্য Syntax not understood দেখাতে পারে। Cloudflare-এর ডকুমেন্টেশন এর উল্লেখ করে এবং বলে ক্রলিং বা SEO-তে কোনো প্রভাব দেখা যায়নি। Google-এর robots.txt ডকুমেন্টেশন সমর্থিত ফিল্ড হিসেবে শুধু user-agent, allow, disallow ও sitemap-এর তালিকা দেয়।
লাইনের ওপরের নীতির লেখা কী বলে?
Content Signals Policy এক লাইনের চেয়ে বেশি। contentsignals.org-এ Cloudflare-এর জেনারেটর এবং এর managed robots.txt দুটোই সিগন্যালের ওপরে কমেন্টের একটি ব্লক রাখে। এটি শুরু হয় এই কথা দিয়ে যে ওয়েবসাইটে অ্যাক্সেসের শর্ত হিসেবে আপনি content signals মেনে চলতে সম্মত হচ্ছেন, তারপর তিনটি সিগন্যাল এবং yes, no ও অনুপস্থিত থাকার ক্ষেত্রগুলো সংজ্ঞায়িত করে।
এটি শেষ হয় বড় হাতের অক্ষরে লেখা একটি বাক্য দিয়ে, যাতে বলা হয় content signals দিয়ে প্রকাশ করা যেকোনো বিধিনিষেধ ডিজিটাল সিঙ্গেল মার্কেটে কপিরাইট নিয়ে EU Directive 2019/790-এর Article 4-এর অধীনে অধিকারের স্পষ্ট সংরক্ষণ। Cloudflare-এর ঘোষণা যোগ করে যে বিভিন্ন বিচারব্যবস্থায় সিগন্যালগুলোর আইনি গুরুত্ব থাকতে পারে।
contentsignals.org নিজেই সতর্ক করে যে আদালত ও নিয়ন্ত্রকরা এই সিদ্ধান্তে আসতে পারেন যে robots.txt ফাইল বলবৎযোগ্য আইনি বাধ্যবাধকতা আরোপ করে না, এবং একজন আইনজীবীর পরামর্শ নিতে বলে। কমেন্ট ব্লকটিকে চুক্তি নয়, আপনার অবস্থানের লিখিত বিবৃতি হিসেবে দেখুন।
আমার robots.txt-এ কি ইতিমধ্যে Content-Signal আছে?
আপনার সাইট Cloudflare-এ থাকলে থাকতে পারে, দুটি উপায়ের একটিতে:
- Managed robots.txt। Bot Preference Sync চালু থাকলে এবং অন্তত একটি AI Crawler and Agent access policy Block, Block on pages with ads বা, Training-এর ক্ষেত্রে, Disallow-এ সেট থাকলে Cloudflare আপনার সার্ভারের পাঠানো robots.txt-এর শুরুতে একটি managed ব্লক যোগ করে। এতে থাকে নীতির লেখা,
User-Agent: *-এর অধীনেContent-signal: search=yes, ai-train=no, use=reference, এবংAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotওmeta-externalagent-এর জন্যDisallow: /। - একেবারে কোনো robots.txt নেই। Cloudflare বলে, Free প্ল্যানের যেসব ডোমেইনের নিজস্ব robots.txt নেই এবং managed ফিচার ব্যবহার করে না, কোনো ক্রলার
/robots.txtচাইলে সেগুলো Content Signals Policy দেখায়। এই ভার্সনে সংজ্ঞাগুলো থাকে, কিন্তু কোনো পছন্দ জানানো থাকে না।
use=reference অংশটি নতুন। Cloudflare use-কে একটি ঐচ্ছিক চতুর্থ ফিল্ড হিসেবে বর্ণনা করে, যা এটি পরীক্ষা করছে, তিনটি মানসহ: immediate (ইন্টারঅ্যাক্ট করা, কিন্তু কিছু সংরক্ষণ বা পুনর্ব্যবহার না করা), reference (ইনডেক্স করা, অংশ উদ্ধৃত করা ও লিংক দেওয়া) এবং full (সারাংশ করা ও পুনরুৎপাদন)। এটি মূল তিনটি সিগন্যালের একটি নয়, আর আমরা যেসব ক্রলার ডকুমেন্টেশন চেক করেছি তার কোনোটিতে এর উল্লেখ নেই।
Cloudflare এই লাইনগুলো এজে যোগ করে বলে আপনার রিপোজিটরির ফাইল অপরিবর্তিত দেখাতে পারে, অথচ ক্রলাররা যে ফাইল পায় তা আলাদা। নিজের লাইন যোগ করার আগে লাইভ https://yourdomain.com/robots.txt আনুন, যাতে রেসপন্সে দুটি ভিন্ন নীতি না থাকে।
বড় সাইটগুলোতে ব্যবহার এখনো কম। সবচেয়ে জনপ্রিয় 1,000টি ডোমেইন নিয়ে আমাদের নভেম্বর 2026-এর গবেষণায়, robots.txt থাকা 518টি সাইটের 18টি (3.5%) Content-Signal ব্যবহার করেছিল।
AI ক্রলাররা কি Content-Signal মানে?
আমরা যে ডকুমেন্টেশন খুঁজে পেয়েছি তা অনুযায়ী নয়। 17 নভেম্বর 2026-এ আমরা OpenAI, Anthropic, Google ও Perplexity-র ক্রলার পেজ চেক করেছি, আর কোনোটিতেই Content-Signal-এর উল্লেখ নেই। Cloudflare নিজেই সিগন্যালগুলোকে স্ক্র্যাপিংয়ের বিরুদ্ধে প্রযুক্তিগত প্রতিরোধ নয়, বরং পছন্দ হিসেবে বর্ণনা করে, এবং বলে কিছু কোম্পানি হয়তো সেগুলো স্রেফ উপেক্ষা করবে।
এর বদলে AI কোম্পানিগুলো যা নথিভুক্ত করেছে তা হলো IETF-এর AI Preferences ওয়ার্কিং গ্রুপের কাজের ওপর ভিত্তি করে একটি আলাদা ব্যবস্থা: একটি পলিসি টোকেন, __usage_ai-training, যা সাধারণ User-Agent গ্রুপ হিসেবে লেখা হয়। এটি শুধু ট্রেনিং কভার করে, আর যে Internet-Draft এটি সংজ্ঞায়িত করে তা বলে User-Agent: * গ্রুপকে টোকেন ব্যবহার হিসেবে ধরা হয় না:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ সমর্থন অসমান এবং আংশিকভাবে এখনো আসেনি। Anthropic বলে, এটি 30 অক্টোবর 2026 থেকে একটি সাধারণ মেশিন-রিডেবল ট্রেনিং সিগন্যাল চেনে, ধাপে ধাপে চালু করছে, এবং ClaudeBot-এর নাম থাকা রুল এর চেয়ে অগ্রাধিকার পায়। Microsoft Bing-এর জন্য __usage_ai-training টোকেন নথিভুক্ত করে, যার নতুন পছন্দগুলো 1 ফেব্রুয়ারি 2027 থেকে পেজ ক্রল হওয়ার সঙ্গে সঙ্গে কার্যকর হবে। Google বলে, এটি 2027 সালে এই যৌথ নিয়ন্ত্রণ সমর্থন করতে চায় এবং সেই টোকেনের নাম না থাকলে এর মাধ্যমে ট্রেনিং অপ্ট-আউটকে Google-Extended-এর নিষেধ হিসেবে ধরার পরিকল্পনা করে। OpenAI একই দিনে একটি ঘোষণা প্রকাশ করে বলেছে যে এটি যৌথ সিগন্যাল মানবে, কোনো তারিখ ছাড়া।
তাই ai-train=no ও __usage_ai-training একই রকম কথা বলে, কিন্তু শুধু দ্বিতীয়টির পেছনে AI কোম্পানিগুলোর নথিভুক্ত সমর্থন আছে। GPTBot ও ClaudeBot-এর মতো প্রতি-ক্রলার টোকেনই এখনো প্রত্যেক ভেন্ডর আজ যে নিয়ন্ত্রণ প্রয়োগ করে।
আমার robots.txt-এ কি Content-Signal যোগ করা উচিত?
যোগ করুন, যদি চান আপনার ব্যবহার-নীতি এক জায়গায় লেখা থাকুক যা মেশিন ও মানুষ দুজনেই পড়তে পারে। এটি এক লাইনে সব ক্রলারের জন্য ai-input পছন্দও জানায়, যা ভেন্ডরদের টোকেন শুধু ক্রলার ধরে ধরে প্রকাশ করতে পারে। খরচ মাত্র এক লাইন, আর যে পার্সার এটি চেনে না সে এড়িয়ে যায়।
শুধু এর ওপর ভরসা করবেন না। কনটেন্ট ট্রেনিংয়ের বাইরে রাখতে নথিভুক্ত ট্রেনিং টোকেনগুলোও নিষেধ করুন এবং যৌথ ট্রেনিং টোকেনটি বিবেচনা করুন; AI সার্চে থেকে AI ট্রেনিং ব্লক করা নিয়ে আমাদের গাইডে ভেন্ডর অনুযায়ী টোকেনের তালিকা আছে। যা robots.txt উপেক্ষা করে, তার জন্য শুধু ফায়ারওয়াল রুলই ব্লক কার্যকর করে।
সবশেষে চেক করুন লাইনটি ফাইলের বাকি অংশের সঙ্গে মেলে কি না। OAI-SearchBot বা PerplexityBot-এর জন্য একটি Allow গ্রুপের পাশে ai-input=no পরস্পরবিরোধী বার্তা দেয়: আপনি AI সার্চ ক্রলারদের ঢুকতে দিচ্ছেন, অথচ বলছেন তাদের উত্তর আনা কনটেন্ট ব্যবহার করতে পারবে না।
আমার robots.txt প্রতিটি ক্রলারকে কী বলে, তা কীভাবে চেক করব?
AISeeWhy-এর ফ্রি robots.txt চেকার একটি পেজের ঠিকানা বা পেস্ট করা robots.txt নেয় এবং প্রতিটি AI ও সার্চ ক্রলারের জন্য দেখায় সেই পেজ আনা যাবে কি না, যাতে আপনি নিশ্চিত হতে পারেন যে লাইভ ফাইলটি, Cloudflare শুরুতে যা যোগ করেছে তা-সহ, আপনি যা বোঝাতে চেয়েছেন তা-ই বলে। ফ্রি robots.txt জেনারেটর আপনার বাছাই থেকে একটি ফাইল লিখে দেয়।
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
Content-Signal কি robots.txt স্ট্যান্ডার্ডের অংশ?
না। RFC 9309 User-agent, Allow ও Disallow সংজ্ঞায়িত করে এবং ক্রলারদের অন্য রেকর্ড ব্যাখ্যা করার সুযোগ দেয়। Content-Signal এসেছে Cloudflare-এর Content Signals Policy থেকে, যা CC0 লাইসেন্সে প্রকাশিত। আলাদাভাবে IETF-এর AI Preferences ওয়ার্কিং গ্রুপ robots.txt-এর জন্য নিজস্ব Content-Usage রুলের খসড়া তৈরি করছে, যা এখনো একটি Internet-Draft, স্ট্যান্ডার্ড নয়।
ai-train=no কি GPTBot বা ClaudeBot-কে থামায়?
ভেন্ডরদের ডকুমেন্টেশন অনুযায়ী নয়। OpenAI ও Anthropic GPTBot ও ClaudeBot-এর নাম দেওয়া robots.txt রুল দিয়ে নিয়ন্ত্রণের কথা বলে, আর কোনো ক্রলার পেজেই Content-Signal-এর উল্লেখ নেই। এদের যেকোনোটির ট্রেনিং থেকে অপ্ট আউট করতে টোকেনটির নাম দিয়ে নিষেধ করুন।
Content-Signal আর __usage_ai-training-এর পার্থক্য কী?
Content-Signal একটি গ্রুপের ভেতরের লাইন এবং সার্চ, AI ইনপুট ও ট্রেনিং কভার করে। __usage_ai-training একটি পলিসি টোকেন, যা নিজস্ব User-Agent গ্রুপ হিসেবে ব্যবহার হয় এবং শুধু ট্রেনিং কভার করে। Anthropic, Microsoft, Google ও OpenAI যৌথ ট্রেনিং সিগন্যাল নিয়ে বিবৃতি প্রকাশ করেছে; তাদের কেউই Content-Signal নথিভুক্ত করে না।
Google Search Console কেন Syntax not understood বলে?
Google-এর robots.txt ডকুমেন্টেশন শুধু user-agent, allow, disallow ও sitemap সমর্থন করে, তাই অন্য লাইন চিহ্নিত হতে পারে। Cloudflare বলে, এসব রিপোর্টের কারণে ক্রলিংয়ের হার বা SEO-তে কোনো প্রভাব দেখা যায়নি।
use=reference মানে কী?
এটি একটি চতুর্থ ফিল্ড, যা Cloudflare পরীক্ষা করছে। reference মানে ইনডেক্স করা, অংশ উদ্ধৃত করা ও লিংক দেওয়া। Cloudflare এটি managed robots.txt ফাইলে যোগ করে, আর আমরা যেসব ক্রলার ডকুমেন্টেশন চেক করেছি তার কোনোটিতে এর উল্লেখ নেই।
উৎস
- Content Signals (contentsignals.org)
- Cloudflare ব্লগ: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI ক্রলার ও এজেন্টের অ্যাক্সেস নীতি
- RFC 9309: Robots Exclusion Protocol
- Google: Google কীভাবে robots.txt স্পেসিফিকেশন ব্যাখ্যা করে
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Anthropic কি ওয়েব থেকে ডেটা ক্রল করে, আর সাইট মালিকেরা কীভাবে ক্রলারটি ব্লক করবেন?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: OpenAI ক্রলারের সংক্ষিপ্ত পরিচিতি
- Perplexity: Perplexity ক্রলার
- AISeeWhy: AI ক্রলার অ্যাক্সেস রিপোর্ট, 2026-11