কোন AI ক্রলার আপনার সাইট পড়তে পারবে বেছে নিন এবং তৈরি হওয়া robots.txt কপি করুন। একটি প্রচলিত পছন্দ হলো GPTBot ও ClaudeBot-এর মতো AI ট্রেনিং ক্রলার ব্লক করা, কিন্তু OAI-SearchBot ও PerplexityBot-এর মতো AI সার্চ ক্রলারকে অনুমতি দেওয়া, যাতে আপনার পেজ AI উত্তরে তবুও দেখা যায় ও উদ্ধৃত হয়।
ইউজারের অনুরোধে আসা ফেচার ব্লক করার প্রভাব সীমিত: কিছু কোম্পানি বলে এই এজেন্টগুলো robots.txt না-ও মানতে পারে, কারণ একজন মানুষ পেজটি চেয়েছেন। প্রকাশের আগে robots.txt চেকার দিয়ে ফলাফলটি পরীক্ষা করুন। AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার →
কীভাবে ব্যবহার করবেন
ফাইলটি আপনার ডোমেনের রুটে রাখুন (https://example.com/robots.txt)। অন্য ক্রলারের জন্য আগে থেকেই রুল থাকলে সেগুলো রেখে শুধু AI গ্রুপগুলো যোগ করুন। প্রতিটি ক্রলার পরের বার ফাইলটি পড়লে পরিবর্তন কার্যকর হয়, সাধারণত এক দিনের মধ্যে।
এই লেখাটি ইংরেজি থেকে মেশিনের মাধ্যমে অনুবাদ করা হয়েছে।
জেনারেটর কী লেখে
যে ক্রলাররা আপনার সাইট পড়তে পারবে সেগুলোতে টিক দিন এবং যেগুলো ব্লক করতে চান সেগুলোর টিক তুলে দিন। জেনারেটর প্রতিটি ব্লক করা ক্রলারের জন্য একটি গ্রুপসহ robots.txt লেখে, User-agent: <token> এবং তার পরে Disallow: /, তারপর একটি শেষ User-agent: * গ্রুপ যা বাকি সবকিছুর অনুমতি দেয়। একটি সাইটম্যাপ ঠিকানা দিলে এটি একটি Sitemap লাইন যোগ করে। Content-Signal অপশনে টিক দিলে এটি একটি Content-Signal লাইন যোগ করে যা জানায় আপনার কনটেন্ট কীভাবে ব্যবহার করা যাবে।
কিছুই আপনার ব্রাউজার ছেড়ে যায় না: আপনি ক্লিক করার সঙ্গে সঙ্গে ফাইলটি পেজেই তৈরি হয়, এবং আপনি আউটপুট বক্স থেকে এটি কপি করেন।
কোন প্রিসেট দিয়ে শুরু করবেন
সবাইকে অনুমতি: প্রতিটি ক্রলার প্রতিটি পেজ পড়তে পারে। যে বেশিরভাগ সাইট খুঁজে পাওয়া ও উদ্ধৃত হতে চায় তাদের জন্য সঠিক।
ট্রেনিং ব্লক, AI সার্চের অনুমতি: GPTBot, ClaudeBot, CCBot ও Google-Extended-এর মতো ট্রেনিং ক্রলার ব্লক থাকে; OAI-SearchBot, Claude-SearchBot, PerplexityBot ও ChatGPT-User-এর মতো সার্চ ও ইউজার ক্রলার অনুমোদিত থাকে। আপনার পেজ তবুও AI উত্তরে দেখা দিতে ও উদ্ধৃত হতে পারে।
সব AI ক্রলার ব্লক: তালিকার প্রতিটি AI ক্রলার ব্লক থাকে। সেই ক্রলাররা AI উত্তরের জন্য আপনার পেজ আনবে না, যার মানে সাধারণত কম উদ্ধৃতি এবং অ্যাসিস্ট্যান্ট থেকে কম ট্রাফিক।
একটি উদাহরণ: ট্রেনিং ব্লক, AI সার্চের অনুমতি
প্রতিটি ব্লক করা ক্রলারের নিজস্ব গ্রুপ আছে, তাই এর Disallow: / শুধু এর ওপরই প্রযোজ্য। OAI-SearchBot ও Googlebotসহ বাকি সব ক্রলার User-agent: *-এ পড়ে এবং সবকিছু পড়তে পারে। Content-Signal লাইনটি যে ক্রলাররা এটি পড়ে তাদের জন্য একই উদ্দেশ্য আবার জানায়: সার্চ ও রিয়েল-টাইম উত্তর হ্যাঁ, ট্রেনিং না।
মিলিয়ে নিন, প্রতিস্থাপন করবেন না। আপনার বর্তমান robots.txt-এ অ্যাডমিন এলাকা, কার্ট বা সার্চ পেজের রুল থাকলে সেগুলো নতুন ফাইলের User-agent: * গ্রুপে কপি করুন, নইলে সেই এলাকাগুলো সব ক্রলারের জন্য খুলে যাবে।
ফাইলটি প্রতিটি হোস্টের রুটে রাখুন: https://example.com/robots.txt। একটি সাবডোমেইনের নিজস্ব ফাইল লাগে।
এটি সাধারণ টেক্সট হিসেবে স্ট্যাটাস 200 দিয়ে পরিবেশন করুন। ওই ঠিকানায় HTML পেজ বা এরর robots.txt হিসেবে কাজ করে না।
ফলাফলটি robots.txt টেস্টারে পেস্ট করুন এবং আপনার কাছে গুরুত্বপূর্ণ ক্রলারদের জন্য কয়েকটি আসল পাথ চেক করুন।
মনে রাখবেন robots.txt একটি অনুরোধ। আপনি যে ক্রলারকে অনুমতি দেন তাকে কোনো ফায়ারওয়াল ব্লক করলে ফাইলটি তা ঠিক করতে পারে না; পূর্ণ চেক সেটি দেখায়।
সাধারণ ভুল
ট্রেনিং বন্ধ করতে OAI-SearchBot বা PerplexityBot ব্লক করা। এগুলো সার্চ ক্রলার; এদের ব্লক করলে আপনি উত্তর থেকে বাদ পড়েন।
শুধু একটিকে ব্লক করতে চাইলেও একটি Disallow: /-এর ওপরে কয়েকটি User-agent লাইন লেখা: একের পর এক থাকা লাইনগুলো একটি গ্রুপ তৈরি করে।
ChatGPT-User-এর মতো ব্যবহারকারীর অনুরোধে চলা ফেচার ব্লক মানবে বলে আশা করা। কিছু ভেন্ডর বলে যে কোনো ব্যক্তি পেজটি চাইলে এই এজেন্টরা robots.txt না-ও মানতে পারে।
Crawl-delay বা Noindex লাইন যোগ করা। এগুলো RFC 9309-এর অংশ নয় এবং Google দুটিই উপেক্ষা করে।
প্রশ্নোত্তর
GPTBot ব্লক করলে কি আমার সাইট ChatGPT থেকে সরে যাবে?
না। GPTBot ট্রেনিং ডেটা সংগ্রহ করে। ChatGPT সার্চ OAI-SearchBot ব্যবহার করে, আর ChatGPT-User মানুষের চাওয়া পেজ খোলে। উদ্ধৃত হতে চাইলে এগুলোকে অনুমতি দিয়ে রাখুন।
Content-Signal কী?
robots.txt-এর একটি লাইন যা জানায় আপনার কনটেন্ট কীভাবে ব্যবহার করা যাবে: search, ai-input (রিয়েল-টাইম উত্তর) ও ai-train (ট্রেনিং), প্রতিটি হ্যাঁ বা না। সমর্থন ভেন্ডর অনুযায়ী আলাদা; ক্রলার-নির্দিষ্ট গ্রুপগুলোই সেই রুল যা ক্রলাররা মেনে চলে।
Google-Extended কি Google Search-কে প্রভাবিত করে?
না। এটি শুধু robots.txt-এর একটি টোকেন যা নিয়ন্ত্রণ করে Google তার AI মডেলের জন্য আপনার পেজ ব্যবহার করতে পারবে কি না; এটি Google Search-এ ক্রলিং বা র্যাঙ্কিং বদলায় না।
আমার বাছাই কি কোথাও পাঠানো হয়?
না। জেনারেটর আপনার ব্রাউজারে চলে এবং আপনি ফাইলটি পরীক্ষা করতে না চাওয়া পর্যন্ত আমাদের সার্ভারে কিছুই পাঠানো হয় না।