AI ক্রলারের জন্য robots.txt: কী অনুমতি দেবেন, কী ব্লক করবেন

প্রকাশিত

সংক্ষিপ্ত উত্তর

যে AI ক্রলারগুলো আপনার কাছে গুরুত্বপূর্ণ, প্রতিটিকে নিজস্ব একটি User-agent গ্রুপ দিন। উদ্ধৃত হতে চাইলে OAI-SearchBot, Claude-SearchBot ও PerplexityBot-এর মতো সার্চ ক্রলারদের অনুমতি দিন, এবং GPTBot, ClaudeBot, Google-Extended ও Applebot-Extended-এর মতো ট্রেনিং টোকেন নিয়ে আলাদা করে সিদ্ধান্ত নিন। নাম দেওয়া একটি গ্রুপ সেই ক্রলারের জন্য * গ্রুপকে প্রতিস্থাপন করে।

robots.txt একটি সাধারণ টেক্সট ফাইল, যার শুরু 1994 সালে এবং যা 2022 সালে একটি আনুষ্ঠানিক স্ট্যান্ডার্ড, RFC 9309, হয়েছে। বেশিরভাগ AI ভেন্ডর বলে তাদের ক্রলার এটি মেনে চলে, এবং কয়েকটি সার্চ ও ট্রেনিংয়ের জন্য আলাদা টোকেন প্রকাশ করে। ফলে AI নিয়ে আপনার নীতি জানানোর সবচেয়ে সহজ জায়গা robots.txt, যদি রুলগুলোর অর্থ আপনি যা ভাবছেন তা-ই হয়।

এই পেজে
  1. AI ক্রলাররা কোন robots.txt টোকেন ব্যবহার করে?
  2. AI-এর জন্য একটি ভালো robots.txt দেখতে কেমন?
  3. কোন রুল প্রযোজ্য, ক্রলাররা তা কীভাবে বেছে নেয়?
  4. robots.txt-এর সবচেয়ে সাধারণ ভুলগুলো কী?
  5. allow ও disallow-এর বাইরে কি AI ব্যবহারের নীতি জানানো যায়?
  6. পরিবর্তন কার্যকর হতে কত সময় লাগে, আর কীভাবে চেক করব?

AI ক্রলাররা কোন robots.txt টোকেন ব্যবহার করে?

এগুলো ভেন্ডরদের ডকুমেন্ট করা টোকেন। RFC 9309 অনুযায়ী মেলানো হয় বড়-ছোট হাতের অক্ষর না দেখে।

AI-এর জন্য একটি ভালো robots.txt দেখতে কেমন?

এই উদাহরণ AI সার্চ ও ইউজার ফেচকে ঢুকতে দেয়, প্রধান ট্রেনিং টোকেনগুলো থেকে অপ্ট-আউট করে এবং একটি প্রাইভেট অংশ সবার জন্য বন্ধ রাখে:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

পরপর কয়েকটি User-agent লাইন মিলে একটি গ্রুপ হয়, তাই তাদের নিচের রুলগুলো ওই প্রতিটি ক্রলারের ক্ষেত্রে প্রযোজ্য। আপনি যদি চান আপনার কনটেন্ট ট্রেনিংয়ে ব্যবহার হোক, দ্বিতীয় গ্রুপটি বাদ দিলেই হবে। Google-Extended ব্লক করলে Google Search-এ প্রভাব পড়ে না: Google বলে এটি Search-এ অন্তর্ভুক্তিকে প্রভাবিত করে না এবং র‍্যাঙ্কিং সিগন্যাল নয়। একইভাবে Apple বলে, যেসব পেজ Applebot-Extended-কে নিষেধ করে, সেগুলোও তার সার্চ ফলাফলে দেখা যেতে পারে।

কোন রুল প্রযোজ্য, ক্রলাররা তা কীভাবে বেছে নেয়?

RFC 9309 এটি নির্ভুলভাবে সংজ্ঞায়িত করে, আর এর খুঁটিনাটিই বেশিরভাগ চমকের ব্যাখ্যা দেয়:

robots.txt-এর সবচেয়ে সাধারণ ভুলগুলো কী?

allow ও disallow-এর বাইরে কি AI ব্যবহারের নীতি জানানো যায়?

Cloudflare robots.txt-এর জন্য একটি Content-Signal লাইনের প্রস্তাব দিয়েছে, তিনটি সিগন্যালসহ: search (সার্চ ইনডেক্স তৈরি এবং লিংক ও ছোট অংশ দেখানো), ai-input (AI উত্তরের জন্য রিয়েল টাইমে কনটেন্ট ব্যবহার) এবং ai-train (মডেল ট্রেনিং বা ফাইন-টিউনিং)। Cloudflare-এর managed robots.txt এটি আপনার হয়ে যোগ করতে পারে।

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txt-এর সবকিছুর মতো এগুলোও পছন্দ, টেকনিক্যাল নিয়ন্ত্রণ নয়। Cloudflare নিজেই উল্লেখ করে, robots.txt মানা স্বেচ্ছামূলক। লাইনটি ঐচ্ছিক এবং কোনো ক্ষতি করে না, তবে উপরের প্রতিটি ক্রলারের আলাদা গ্রুপের বিকল্প নয়।

পরিবর্তন কার্যকর হতে কত সময় লাগে, আর কীভাবে চেক করব?

RFC 9309 বলে, ক্রলারদের 24 ঘণ্টার বেশি ক্যাশ করা robots.txt ব্যবহার করা উচিত নয়, আর OpenAI ও Perplexity দুজনেই বলে পরিবর্তন কার্যকর হতে প্রায় এক দিন লাগতে পারে। এটাও মনে রাখুন, robots.txt অ্যাক্সেস কন্ট্রোল নয়: আপনার রুল যে ক্রলারকে অনুমতি দেয়, ফায়ারওয়াল তবুও তাকে ব্লক করতে পারে।

AISeeWhy প্রতিটি পরীক্ষিত ক্রলারের জন্য RFC 9309 অনুযায়ী আপনার robots.txt পার্স করে, পৌঁছানো যায় না বা HTML হিসেবে দেওয়া ফাইল চিহ্নিত করে, দেখায় কোথায় আপনার রুল আর আপনার সার্ভার একমত নয়, এবং পরিবর্তনের জন্য একটি তৈরি diff দেয়।

এই সমস্যার সমাধান

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

প্রশ্নোত্তর

GPTBot বা ClaudeBot ব্লক করলে কি AI উত্তরে আমার দৃশ্যমানতা কমে?

সরাসরি নয়। দুই ভেন্ডরই সার্চের জন্য আলাদা সার্চ ক্রলার ব্যবহার করে, OAI-SearchBot ও Claude-SearchBot। ট্রেনিং ক্রলার ব্লক করা একটি নীতিগত সিদ্ধান্ত।

Google-Extended কি AI Overviews বন্ধ করে?

না। Google বলে, Search-এর AI ফিচার Googlebot এবং nosnippet ও noindex-এর মতো সাধারণ Search নিয়ন্ত্রণ ব্যবহার করে। Google-Extended অন্য Google পণ্যে Gemini ট্রেনিং ও গ্রাউন্ডিং কভার করে এবং Search-কে প্রভাবিত করে না।

AI ক্রলাররা কি Crawl-delay সমর্থন করে?

এটি RFC 9309-এর অংশ নয়। Anthropic বলে সে একটি নন-স্ট্যান্ডার্ড এক্সটেনশন হিসেবে Crawl-delay সমর্থন করে; অন্য ভেন্ডরদের জন্য তাদের ডকুমেন্টেশন দেখুন।

robots.txt কোথায় রাখতে হয়?

প্রতিটি হোস্টের রুটে, যেমন https://example.com/robots.txt। সাবফোল্ডারের ফাইল উপেক্ষা করা হয়, আর প্রতিটি সাবডোমেইনের নিজস্ব ফাইল লাগে।

উৎস

আরও আর্টিকেল