AI ক্রলারের জন্য robots.txt জেনারেটর

কোন AI ক্রলার আপনার সাইট পড়তে পারবে বেছে নিন এবং তৈরি হওয়া robots.txt কপি করুন। একটি প্রচলিত পছন্দ হলো GPTBot ও ClaudeBot-এর মতো AI ট্রেনিং ক্রলার ব্লক করা, কিন্তু OAI-SearchBot ও PerplexityBot-এর মতো AI সার্চ ক্রলারকে অনুমতি দেওয়া, যাতে আপনার পেজ AI উত্তরে তবুও দেখা যায় ও উদ্ধৃত হয়।

যেখান থেকে শুরু করবেন
AI ট্রেনিং
AI সার্চ
ইউজারের অনুরোধে ফেচ
Content-Signal (ঐচ্ছিক): যা অনুমতি দিচ্ছেন তাতে টিক দিন

ইউজারের অনুরোধে আসা ফেচার ব্লক করার প্রভাব সীমিত: কিছু কোম্পানি বলে এই এজেন্টগুলো robots.txt না-ও মানতে পারে, কারণ একজন মানুষ পেজটি চেয়েছেন। প্রকাশের আগে robots.txt চেকার দিয়ে ফলাফলটি পরীক্ষা করুন। AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার →

কীভাবে ব্যবহার করবেন

ফাইলটি আপনার ডোমেনের রুটে রাখুন (https://example.com/robots.txt)। অন্য ক্রলারের জন্য আগে থেকেই রুল থাকলে সেগুলো রেখে শুধু AI গ্রুপগুলো যোগ করুন। প্রতিটি ক্রলার পরের বার ফাইলটি পড়লে পরিবর্তন কার্যকর হয়, সাধারণত এক দিনের মধ্যে।

পূর্ণ চেক চালান →

গাইড

robots.txt জেনারেটর কীভাবে ব্যবহার করবেন

এই লেখাটি ইংরেজি থেকে মেশিনের মাধ্যমে অনুবাদ করা হয়েছে।

জেনারেটর কী লেখে

যে ক্রলাররা আপনার সাইট পড়তে পারবে সেগুলোতে টিক দিন এবং যেগুলো ব্লক করতে চান সেগুলোর টিক তুলে দিন। জেনারেটর প্রতিটি ব্লক করা ক্রলারের জন্য একটি গ্রুপসহ robots.txt লেখে, User-agent: <token> এবং তার পরে Disallow: /, তারপর একটি শেষ User-agent: * গ্রুপ যা বাকি সবকিছুর অনুমতি দেয়। একটি সাইটম্যাপ ঠিকানা দিলে এটি একটি Sitemap লাইন যোগ করে। Content-Signal অপশনে টিক দিলে এটি একটি Content-Signal লাইন যোগ করে যা জানায় আপনার কনটেন্ট কীভাবে ব্যবহার করা যাবে।

কিছুই আপনার ব্রাউজার ছেড়ে যায় না: আপনি ক্লিক করার সঙ্গে সঙ্গে ফাইলটি পেজেই তৈরি হয়, এবং আপনি আউটপুট বক্স থেকে এটি কপি করেন।

কোন প্রিসেট দিয়ে শুরু করবেন

একটি উদাহরণ: ট্রেনিং ব্লক, AI সার্চের অনুমতি

প্রতিটি ব্লক করা ক্রলারের নিজস্ব গ্রুপ আছে, তাই এর Disallow: / শুধু এর ওপরই প্রযোজ্য। OAI-SearchBot ও Googlebotসহ বাকি সব ক্রলার User-agent: *-এ পড়ে এবং সবকিছু পড়তে পারে। Content-Signal লাইনটি যে ক্রলাররা এটি পড়ে তাদের জন্য একই উদ্দেশ্য আবার জানায়: সার্চ ও রিয়েল-টাইম উত্তর হ্যাঁ, ট্রেনিং না।

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

প্রকাশের আগে

সাধারণ ভুল

প্রশ্নোত্তর

GPTBot ব্লক করলে কি আমার সাইট ChatGPT থেকে সরে যাবে?

না। GPTBot ট্রেনিং ডেটা সংগ্রহ করে। ChatGPT সার্চ OAI-SearchBot ব্যবহার করে, আর ChatGPT-User মানুষের চাওয়া পেজ খোলে। উদ্ধৃত হতে চাইলে এগুলোকে অনুমতি দিয়ে রাখুন।

Content-Signal কী?

robots.txt-এর একটি লাইন যা জানায় আপনার কনটেন্ট কীভাবে ব্যবহার করা যাবে: search, ai-input (রিয়েল-টাইম উত্তর) ও ai-train (ট্রেনিং), প্রতিটি হ্যাঁ বা না। সমর্থন ভেন্ডর অনুযায়ী আলাদা; ক্রলার-নির্দিষ্ট গ্রুপগুলোই সেই রুল যা ক্রলাররা মেনে চলে।

Google-Extended কি Google Search-কে প্রভাবিত করে?

না। এটি শুধু robots.txt-এর একটি টোকেন যা নিয়ন্ত্রণ করে Google তার AI মডেলের জন্য আপনার পেজ ব্যবহার করতে পারবে কি না; এটি Google Search-এ ক্রলিং বা র‍্যাঙ্কিং বদলায় না।

আমার বাছাই কি কোথাও পাঠানো হয়?

না। জেনারেটর আপনার ব্রাউজারে চলে এবং আপনি ফাইলটি পরীক্ষা করতে না চাওয়া পর্যন্ত আমাদের সার্ভারে কিছুই পাঠানো হয় না।

সম্পর্কিত টুল ও গাইড