AI ক্রলারের জন্য robots.txt: কী অনুমতি দেবেন, কী ব্লক করবেন
যে AI ক্রলারগুলো আপনার কাছে গুরুত্বপূর্ণ, প্রতিটিকে নিজস্ব একটি User-agent গ্রুপ দিন। উদ্ধৃত হতে চাইলে OAI-SearchBot, Claude-SearchBot ও PerplexityBot-এর মতো সার্চ ক্রলারদের অনুমতি দিন, এবং GPTBot, ClaudeBot, Google-Extended ও Applebot-Extended-এর মতো ট্রেনিং টোকেন নিয়ে আলাদা করে সিদ্ধান্ত নিন। নাম দেওয়া একটি গ্রুপ সেই ক্রলারের জন্য * গ্রুপকে প্রতিস্থাপন করে।
robots.txt একটি সাধারণ টেক্সট ফাইল, যার শুরু 1994 সালে এবং যা 2022 সালে একটি আনুষ্ঠানিক স্ট্যান্ডার্ড, RFC 9309, হয়েছে। বেশিরভাগ AI ভেন্ডর বলে তাদের ক্রলার এটি মেনে চলে, এবং কয়েকটি সার্চ ও ট্রেনিংয়ের জন্য আলাদা টোকেন প্রকাশ করে। ফলে AI নিয়ে আপনার নীতি জানানোর সবচেয়ে সহজ জায়গা robots.txt, যদি রুলগুলোর অর্থ আপনি যা ভাবছেন তা-ই হয়।
এই পেজে
AI ক্রলাররা কোন robots.txt টোকেন ব্যবহার করে?
এগুলো ভেন্ডরদের ডকুমেন্ট করা টোকেন। RFC 9309 অনুযায়ী মেলানো হয় বড়-ছোট হাতের অক্ষর না দেখে।
- OpenAI:
OAI-SearchBot(ChatGPT সার্চ),GPTBot(ট্রেনিং),ChatGPT-User(ব্যবহারকারীর অনুরোধে ভিজিট; OpenAI বলে robots.txt প্রযোজ্য নাও হতে পারে)। - Anthropic:
Claude-SearchBot(সার্চ),ClaudeBot(ট্রেনিং),Claude-User(ব্যবহারকারীর অনুরোধে ভিজিট)। - Perplexity:
PerplexityBot(সার্চ),Perplexity-User(ব্যবহারকারীর অনুরোধে ভিজিট; Perplexity বলে এটি সাধারণত robots.txt উপেক্ষা করে)। - Google:
Googlebot(Search, এর AI ফিচারসহ) এবংGoogle-Extended, নিজস্ব ক্রলার ছাড়া একটি টোকেন, যা Gemini ট্রেনিং ও গ্রাউন্ডিংয়ে ব্যবহার নিয়ন্ত্রণ করে। - Apple:
Applebot(Spotlight, Siri, Safari সার্চ) এবংApplebot-Extended, যা ক্রল করে না, তবে Apple-এর ফাউন্ডেশন মডেল ট্রেনিংয়ে ব্যবহার নিয়ন্ত্রণ করে। - Meta:
meta-externalagent(ট্রেনিং ও প্রোডাক্ট ইনডেক্সিং) এবংmeta-webindexer(Meta AI সার্চ)। - Common Crawl:
CCBot, যা Common Crawl-এর ওয়েব ডেটার ফ্রি পাবলিক আর্কাইভ তৈরি করে।
AI-এর জন্য একটি ভালো robots.txt দেখতে কেমন?
এই উদাহরণ AI সার্চ ও ইউজার ফেচকে ঢুকতে দেয়, প্রধান ট্রেনিং টোকেনগুলো থেকে অপ্ট-আউট করে এবং একটি প্রাইভেট অংশ সবার জন্য বন্ধ রাখে:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml পরপর কয়েকটি User-agent লাইন মিলে একটি গ্রুপ হয়, তাই তাদের নিচের রুলগুলো ওই প্রতিটি ক্রলারের ক্ষেত্রে প্রযোজ্য। আপনি যদি চান আপনার কনটেন্ট ট্রেনিংয়ে ব্যবহার হোক, দ্বিতীয় গ্রুপটি বাদ দিলেই হবে। Google-Extended ব্লক করলে Google Search-এ প্রভাব পড়ে না: Google বলে এটি Search-এ অন্তর্ভুক্তিকে প্রভাবিত করে না এবং র্যাঙ্কিং সিগন্যাল নয়। একইভাবে Apple বলে, যেসব পেজ Applebot-Extended-কে নিষেধ করে, সেগুলোও তার সার্চ ফলাফলে দেখা যেতে পারে।
কোন রুল প্রযোজ্য, ক্রলাররা তা কীভাবে বেছে নেয়?
RFC 9309 এটি নির্ভুলভাবে সংজ্ঞায়িত করে, আর এর খুঁটিনাটিই বেশিরভাগ চমকের ব্যাখ্যা দেয়:
- ক্রলার এমন গ্রুপ খোঁজে যার
User-agentবড়-ছোট হাতের অক্ষর না দেখে তার প্রোডাক্ট টোকেনের সঙ্গে মেলে। একাধিক গ্রুপ মিললে তাদের রুলগুলো একসঙ্গে মিলিয়ে একটি করা হয়। - কোনো গ্রুপ না মিললে তবেই ক্রলার
User-agent: *গ্রুপ মেনে চলে। নাম দেওয়া গ্রুপ*থেকে কিছুই উত্তরাধিকারসূত্রে পায় না। - গ্রুপের মধ্যে সবচেয়ে লম্বা মিলে যাওয়া পাথের রুলটি জেতে।
/blog/post-এর জন্যAllow: /blog/জেতেDisallow: /-এর বিরুদ্ধে। - একটি
Allowও একটিDisallowরুল সমান দৈর্ঘ্যে মিললেAllowব্যবহার করা উচিত। - পাথে
*যেকোনো অক্ষরের সঙ্গে মেলে এবং$শেষ চিহ্নিত করে, তাইDisallow: /*.pdf$প্রতিটি PDF কভার করে।
robots.txt-এর সবচেয়ে সাধারণ ভুলগুলো কী?
- আশা করা যে নাম দেওয়া গ্রুপ
*থেকে রুল পাবে। শুধুAllow: /থাকা একটিOAI-SearchBotগ্রুপ প্রতিটি পাথ খুলে দেয়,*-এর অধীনে নিষিদ্ধ করা পাথসহ। - এমন robots.txt ঠিকানা, যা একটি HTML পেজ ফেরত দেয়, প্রায়ই স্ট্যাটাস 200 দিয়ে পাঠানো একটি 404 পেজ। ক্রলাররা এতে কোনো বৈধ রুল পায় না।
- এমন robots.txt, যা সার্ভার এরর ফেরত দেয়। RFC 9309 বলে, তখন ক্রলারকে ধরে নিতে হয় যে পুরো সাইটই নিষিদ্ধ। 404 আলাদা: এর মানে কোনো বিধিনিষেধ নেই।
- ট্রেনিং ব্লক করতে গিয়ে একটি সার্চ টোকেন ব্লক করা, যেমন মডেল ট্রেনিং এড়াতে
PerplexityBotবাClaude-SearchBot-কে নিষেধ করা। - ব্যবহারকারীর অনুরোধে আনা থামাতে robots.txt-এর ওপর নির্ভর করা। OpenAI ও Perplexity দুজনেই বলে তাদের ইউজার এজেন্ট এটি নাও মানতে পারে।
- সাবডোমেইনের কথা ভুলে যাওয়া। প্রতিটি হোস্টের নিজস্ব robots.txt থাকে; Anthropic-এর ডকুমেন্টেশন সাইট মালিকদের প্রতিটি সাবডোমেইনের জন্য রুল যোগ করার কথা মনে করিয়ে দেয়।
allow ও disallow-এর বাইরে কি AI ব্যবহারের নীতি জানানো যায়?
Cloudflare robots.txt-এর জন্য একটি Content-Signal লাইনের প্রস্তাব দিয়েছে, তিনটি সিগন্যালসহ: search (সার্চ ইনডেক্স তৈরি এবং লিংক ও ছোট অংশ দেখানো), ai-input (AI উত্তরের জন্য রিয়েল টাইমে কনটেন্ট ব্যবহার) এবং ai-train (মডেল ট্রেনিং বা ফাইন-টিউনিং)। Cloudflare-এর managed robots.txt এটি আপনার হয়ে যোগ করতে পারে।
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txt-এর সবকিছুর মতো এগুলোও পছন্দ, টেকনিক্যাল নিয়ন্ত্রণ নয়। Cloudflare নিজেই উল্লেখ করে, robots.txt মানা স্বেচ্ছামূলক। লাইনটি ঐচ্ছিক এবং কোনো ক্ষতি করে না, তবে উপরের প্রতিটি ক্রলারের আলাদা গ্রুপের বিকল্প নয়।
পরিবর্তন কার্যকর হতে কত সময় লাগে, আর কীভাবে চেক করব?
RFC 9309 বলে, ক্রলারদের 24 ঘণ্টার বেশি ক্যাশ করা robots.txt ব্যবহার করা উচিত নয়, আর OpenAI ও Perplexity দুজনেই বলে পরিবর্তন কার্যকর হতে প্রায় এক দিন লাগতে পারে। এটাও মনে রাখুন, robots.txt অ্যাক্সেস কন্ট্রোল নয়: আপনার রুল যে ক্রলারকে অনুমতি দেয়, ফায়ারওয়াল তবুও তাকে ব্লক করতে পারে।
AISeeWhy প্রতিটি পরীক্ষিত ক্রলারের জন্য RFC 9309 অনুযায়ী আপনার robots.txt পার্স করে, পৌঁছানো যায় না বা HTML হিসেবে দেওয়া ফাইল চিহ্নিত করে, দেখায় কোথায় আপনার রুল আর আপনার সার্ভার একমত নয়, এবং পরিবর্তনের জন্য একটি তৈরি diff দেয়।
এই সমস্যার সমাধান
- robots.txt GPTBot-কে অনুমতি দেয়, কিন্তু সার্ভার ব্লক করে
- robots.txt OAI-SearchBot-কে নিষেধ করে
- robots.txt একটি HTML পেজ
- robots.txt-এ কোনো Content-Signal নেই
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
GPTBot বা ClaudeBot ব্লক করলে কি AI উত্তরে আমার দৃশ্যমানতা কমে?
সরাসরি নয়। দুই ভেন্ডরই সার্চের জন্য আলাদা সার্চ ক্রলার ব্যবহার করে, OAI-SearchBot ও Claude-SearchBot। ট্রেনিং ক্রলার ব্লক করা একটি নীতিগত সিদ্ধান্ত।
Google-Extended কি AI Overviews বন্ধ করে?
না। Google বলে, Search-এর AI ফিচার Googlebot এবং nosnippet ও noindex-এর মতো সাধারণ Search নিয়ন্ত্রণ ব্যবহার করে। Google-Extended অন্য Google পণ্যে Gemini ট্রেনিং ও গ্রাউন্ডিং কভার করে এবং Search-কে প্রভাবিত করে না।
AI ক্রলাররা কি Crawl-delay সমর্থন করে?
এটি RFC 9309-এর অংশ নয়। Anthropic বলে সে একটি নন-স্ট্যান্ডার্ড এক্সটেনশন হিসেবে Crawl-delay সমর্থন করে; অন্য ভেন্ডরদের জন্য তাদের ডকুমেন্টেশন দেখুন।
robots.txt কোথায় রাখতে হয়?
প্রতিটি হোস্টের রুটে, যেমন https://example.com/robots.txt। সাবফোল্ডারের ফাইল উপেক্ষা করা হয়, আর প্রতিটি সাবডোমেইনের নিজস্ব ফাইল লাগে।
উৎস
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI ক্রলারের সংক্ষিপ্ত পরিচিতি
- Google: সাধারণ ক্রলার, Google-Extended সহ
- Apple: Applebot সম্পর্কে
- Cloudflare: Managed robots.txt ও Content Signals