Anthropic-এর ক্রলার: ClaudeBot, Claude-SearchBot ও Claude-User

প্রকাশিত

সংক্ষিপ্ত উত্তর

Anthropic তিনটি এজেন্ট চালায়: ClaudeBot এমন কনটেন্ট সংগ্রহ করে যা তার মডেল ট্রেনিংয়ে ব্যবহার হতে পারে, Claude-SearchBot Claude-এর সার্চ ফলাফল উন্নত করতে ক্রল করে, আর Claude-User পেজ আনে যখন কোনো Claude ব্যবহারকারীর প্রশ্নে তা দরকার হয়। প্রতিটির নিজস্ব robots.txt টোকেন আছে, এবং Anthropic বলে তিনটিই robots.txt মেনে চলে। শুধু ClaudeBot ব্লক করলে সার্চ বা ইউজার ফেচ থামে না।

Anthropic তার ক্রলারদের কথা একটিমাত্র সহায়তা পেজে ডকুমেন্ট করে, আর কাঠামোটি অন্য AI ভেন্ডরদের মতোই: ট্রেনিংয়ের জন্য একটি এজেন্ট, সার্চের জন্য একটি, আর ব্যবহারকারীর হয়ে লাইভ ফেচের জন্য একটি। Claude আপনার পেজ খুঁজে পাক ও উদ্ধৃত করতে পারুক চাইলে শেষ দুটিই সবচেয়ে গুরুত্বপূর্ণ।

এই পেজে
  1. ClaudeBot কী করে?
  2. Claude-SearchBot কী করে?
  3. Claude-User কী করে?
  4. Claude-এর জন্য robots.txt রুল কীভাবে লিখব?
  5. Anthropic-এর সেটআপ OpenAI ও Perplexity-র সঙ্গে কেমন তুলনীয়?
  6. Anthropic-কে কি IP ঠিকানা দিয়ে ব্লক করা উচিত?
  7. তবুও Claude কেন আমার পেজ পড়তে ব্যর্থ হতে পারে?

ClaudeBot কী করে?

ClaudeBot এমন ওয়েব কনটেন্ট সংগ্রহ করে, যা Anthropic-এর জেনারেটিভ AI মডেল ট্রেনিংয়ে কাজে লাগতে পারে। Anthropic-এর মতে, একে নিষেধ করা জানায় যে আপনার সাইটের ভবিষ্যৎ কনটেন্ট ট্রেনিং ডেটাসেট থেকে বাদ রাখা উচিত।

Anthropic আরও বলে, সে একটি IETF খসড়ার ভিত্তিতে মেশিন-রিডেবল no-AI-training সিগন্যাল মানে, এবং robots.txt-এ ClaudeBot-এর নাম দেওয়া রুল সেই সাধারণ সেটিংয়ের চেয়ে অগ্রাধিকার পায়। অন্য ট্রেনিং ক্রলারের মতোই, এটি ব্লক করা একটি নীতিগত সিদ্ধান্ত।

Claude-SearchBot কী করে?

Claude-SearchBot Claude-এ সার্চ ফলাফলের প্রাসঙ্গিকতা ও নির্ভুলতা বাড়াতে ওয়েব ক্রল করে। Anthropic বলে, এটি ব্লক করলে আপনার কনটেন্ট সার্চের জন্য ইনডেক্স হয় না, যা ব্যবহারকারীদের সার্চ ফলাফলে আপনার দৃশ্যমানতা ও নির্ভুলতা কমাতে পারে।

কেউ প্রশ্ন করার আগেই Claude-এর সার্চ ফিচার আপনার পেজগুলো সম্পর্কে জানুক চাইলে এই এজেন্টকেই অনুমতি দিতে হবে। এটি সার্চ ক্রলার বলে যেকোনো সার্চ ক্রলারের মতো একই জিনিস থেকে উপকৃত হয়: robots.txt-এ উল্লেখ করা একটি সাইটম্যাপ, পরিষ্কার অভ্যন্তরীণ লিংক, এবং এমন পেজ যা প্রথম রেসপন্সেই তার কনটেন্ট ফেরত দেয়।

Claude-User কী করে?

Claude-User একটি ওয়েবসাইটে যায় যখন কোনো Claude ব্যবহারকারী এমন প্রশ্ন করেন যার জন্য তা দরকার, যেমন কেউ একটি URL শেয়ার করলে বা Claude-কে কিছু খুঁজে দেখতে বললে। Anthropic বলে, এটি ব্লক করলে ব্যবহারকারীর প্রশ্নের উত্তরে পেজ আনা বন্ধ হয়, যা ব্যবহারকারী-চালিত ওয়েব সার্চে আপনার দৃশ্যমানতা কমাতে পারে।

অন্য কিছু ভেন্ডরের সঙ্গে একটি পার্থক্য খেয়াল করুন। Anthropic জানায় তার বটগুলো robots.txt নির্দেশ মানে, এবং robots.txt দিয়ে Claude-User ব্লক করার কথা বর্ণনা করে। অন্যদিকে OpenAI ও Perplexity বলে, তাদের ব্যবহারকারীর অনুরোধে চলা ফেচার robots.txt নাও মানতে পারে।

Claude-এর জন্য robots.txt রুল কীভাবে লিখব?

প্রতিটি এজেন্টের নিজস্ব টোকেন আছে, এবং RFC 9309 অনুযায়ী একটি ক্রলারের নাম দেওয়া গ্রুপ সেই ক্রলারের জন্য * গ্রুপকে প্রতিস্থাপন করে। একটি সাধারণ পছন্দ হলো সার্চ ও ইউজার ফেচকে অনুমতি দেওয়া এবং ট্রেনিং থেকে অপ্ট-আউট করা:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic একটি নন-স্ট্যান্ডার্ড এক্সটেনশন হিসেবে Crawl-delay-ও সমর্থন করে, যেমন User-agent: ClaudeBot-এর নিচে Crawl-delay: 1, যদি আপনি ব্লক না করে ক্রলিং ধীর করতে চান। রুলগুলো প্রতিটি হোস্টের শীর্ষ ডিরেক্টরির robots.txt-এ থাকতে হবে, তাই যে সাবডোমেইনগুলো কভার করতে চান, প্রতিটিতে যোগ করুন।

Anthropic-এর সেটআপ OpenAI ও Perplexity-র সঙ্গে কেমন তুলনীয়?

তিন ভেন্ডরই ভিন্ন নামে একই ধাঁচ অনুসরণ করে, তাই সবার জন্য একটি robots.txt নিয়ে ভাবা সহজ। প্রধান পার্থক্য হলো, ব্যবহারকারীর অনুরোধে লাইভ ফেচের ক্ষেত্রে প্রত্যেকে robots.txt-কে কীভাবে দেখে।

তিনটির জন্য একটি robots.txt লিখলে সার্চ ও ইউজার টোকেনগুলো একটি গ্রুপে আর ট্রেনিং টোকেনগুলো আরেকটি গ্রুপে রাখুন। এতে নীতিটি পড়া সহজ থাকে এবং প্রতিটি উদ্দেশ্যের জন্য আপনি কী বেছে নিয়েছেন তা স্পষ্ট হয়।

Anthropic-কে কি IP ঠিকানা দিয়ে ব্লক করা উচিত?

Anthropic এর বিরুদ্ধে পরামর্শ দেয়। তার ডকুমেন্টেশন বলে, IP ঠিকানা ব্লক করা ঠিকভাবে কাজ নাও করতে পারে বা স্থায়ীভাবে অপ্ট-আউটের নিশ্চয়তা নাও দিতে পারে, কারণ এতে ক্রলার আপনার robots.txt-ও পড়তে পারে না। আপনার নীতি জানাতে robots.txt ব্যবহার করুন।

Anthropic তার ক্রলারের IP ঠিকানা claude.com/crawling/bots.json-এ প্রকাশ করে। সেই তালিকার কাজের ব্যবহার ব্লক করার উল্টো: আপনার ফায়ারওয়ালকে যাচাই করতে দিন যে নিজেকে Claude-SearchBot বা Claude-User দাবি করা অনুরোধটি সত্যিই Anthropic থেকে এসেছে, এবং তাকে ঢুকতে দিন।

তবুও Claude কেন আমার পেজ পড়তে ব্যর্থ হতে পারে?

robots.txt অনুমতি দিলেও আপনার ফায়ারওয়াল বা CDN Anthropic-এর এজেন্টদের 403 বা চ্যালেঞ্জ পেজ দিতে পারে। Anthropic বলে তার বটগুলো anti-circumvention প্রযুক্তিকে সম্মান করে এবং CAPTCHA এড়ানোর চেষ্টা করবে না, তাই একটি চ্যালেঞ্জ পেজ সোজাসুজি ভিজিটটি শেষ করে দেয়। যেসব পেজের টেক্সট শুধু JavaScript চলার পরে দেখা যায়, সেগুলোও প্রায় খালি অবস্থায় পৌঁছাতে পারে।

AISeeWhy একটি ব্রাউজারের পাশাপাশি ClaudeBot, Claude-SearchBot ও Claude-User হিসেবে আপনার পেজ চায় এবং প্রতিটির জন্য আপনার robots.txt রুল চেক করে, যাতে আপনি দেখতে পান আপনার লেখা নীতিটিই আপনার সার্ভার প্রয়োগ করছে কি না।

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

প্রশ্নোত্তর

ClaudeBot ব্লক করলে কি আমার সাইট Claude-এর উত্তর থেকে বাদ পড়ে?

শুধু এতে নয়। সার্চ ইনডেক্সিং ও ব্যবহারকারীর অনুরোধে ফেচ ব্যবহার করে Claude-SearchBot ও Claude-User, যাদের নিজস্ব robots.txt টোকেন আছে।

Claude-User কি robots.txt মানে?

Anthropic বলে তার বটগুলো robots.txt মানে এবং সেখানে Claude-User ব্লক করার কথা বর্ণনা করে, যার ফলে Claude ব্যবহারকারীর প্রশ্নের জন্য আপনার পেজ আনতে পারে না।

Anthropic-এর ক্রলাররা কি CAPTCHA সমাধান করবে?

না। Anthropic বলে তার বটগুলো anti-circumvention প্রযুক্তিকে সম্মান করে এবং CAPTCHA এড়ানোর চেষ্টা করবে না।

ClaudeBot ব্লক না করে কি ধীর করা যায়?

হ্যাঁ। Anthropic একটি নন-স্ট্যান্ডার্ড এক্সটেনশন হিসেবে Crawl-delay সমর্থন করে, যেমন আপনার robots.txt-এর ClaudeBot গ্রুপে Crawl-delay: 1।

একটি অনুরোধ সত্যিই Anthropic থেকে এসেছে কি না কীভাবে যাচাই করব?

উৎস IP-কে Anthropic-এর claude.com/crawling/bots.json-এ প্রকাশিত তালিকার সঙ্গে মেলান। শুধু ইউজার এজেন্ট যে কেউ নকল করতে পারে।

উৎস

আরও আর্টিকেল