Claude কি আমার ওয়েবসাইট দেখতে পায়? কীভাবে চেক করবেন

প্রকাশিত · আপডেট করা হয়েছে

সংক্ষিপ্ত উত্তর

Claude আপনার পেজ তখনই পড়তে পারে, যখন আপনার robots.txt Anthropic-এর এজেন্টদের অনুমতি দেয় এবং আপনার সার্ভার তাদের ব্রাউজারের মতো একই HTML পাঠায়। চেক করুন যে robots.txt Claude-SearchBot বা Claude-User-কে নিষেধ করে না, আপনার ফায়ারওয়াল তাদের 403 বা চ্যালেঞ্জ পেজ দেয় না, এবং মূল টেক্সট প্রাথমিক HTML-এই আছে। তারপর Claude-কেই পরীক্ষা করুন: ওয়েব সার্চ চালু রেখে একটি চ্যাটে আপনার URL পেস্ট করুন এবং আপনার ক্রেতাদের প্রশ্নগুলো করুন।

আপনি যদি Claude-কে আপনার প্রোডাক্ট সম্পর্কে জিজ্ঞেস করেন আর এটি অন্য সাইট উদ্ধৃত করে, তাহলে প্রথম প্রশ্ন হলো এটি আদৌ আপনার সাইটে পৌঁছাতে পারে কি না। এর উত্তর পরীক্ষা করে বের করা যায়। Anthropic তার এজেন্টদের robots.txt টোকেন এবং তারা যে IP ঠিকানা থেকে আসে তা প্রকাশ করে, আর Claude যে উৎসগুলো ব্যবহার করেছে তা দেখায়। তাই আপনি প্রতিটি ধাপ ক্রমানুসারে চেক করতে পারেন: আপনার robots.txt কী বলে, আপনার সার্ভার কী পাঠায়, আপনার লগে কী রেকর্ড হয়, এবং একটি পেজ দিলে Claude তা নিয়ে কী করে।

এই পেজে
  1. 5 মিনিটের চেক, ধাপে ধাপে
  2. Claude কীভাবে ওয়েবসাইট পড়ে?
  3. robots.txt-এ Claude আমার ওয়েবসাইটে অ্যাক্সেস পায় কি না কীভাবে চেক করব?
  4. Claude-এর এজেন্টরা আমার সার্ভার থেকে কী পায়, তা কীভাবে পরীক্ষা করব?
  5. Claude সত্যিই আমার সাইটে আসে কি না কীভাবে দেখব?
  6. আমার পেজ দিয়ে Claude-কে কীভাবে পরীক্ষা করব?
  7. Claude আমার পেজ পড়তে পারে কিন্তু তবুও উদ্ধৃত না করলে কী করব?
  8. AISeeWhy এটি কীভাবে চেক করে?

5 মিনিটের চেক, ধাপে ধাপে

  1. আপনার robots.txt খুলুন এবং নিশ্চিত করুন যে Claude-SearchBot, Claude-User বা User-agent: *-এর কোনো গ্রুপ পেজটি নিষেধ করে না। ClaudeBot শুধু ট্রেনিংয়ের জন্য গুরুত্বপূর্ণ।
  2. AISeeWhy-তে পেজটির একটি ফ্রি চেক চালান অথবা Claude-User ইউজার এজেন্ট দিয়ে একটি অনুরোধ পাঠান: এটিকে স্ট্যাটাস 200 এবং ব্রাউজার যে টেক্সট পায় সেটিই পেতে হবে।
  3. আপনার অ্যাক্সেস লগে Claude-SearchBot ও Claude-User খুঁজুন এবং তারা কোন স্ট্যাটাস কোড পেয়েছে তা দেখুন।
  4. ওয়েব সার্চ চালু রেখে Claude-এ আপনার URL পেস্ট করুন, পেজটির সারাংশ দিতে বলুন, তারপর আপনার ক্রেতারা করেন এমন একটি প্রশ্ন করুন এবং উদ্ধৃতিগুলো চেক করুন।

ধাপ 1 বা 2 ব্যর্থ হলে আগে অ্যাক্সেস ঠিক করুন; নিচের সেকশনগুলো দেখায় কীভাবে। Claude পেজটি পড়লেও উদ্ধৃত না করলে কনটেন্ট নিয়ে কাজ করুন।

Claude কীভাবে ওয়েবসাইট পড়ে?

Claude দুইভাবে ওয়েবে পৌঁছায়। ওয়েব সার্চ দিয়ে, কোনো প্রশ্নে সাম্প্রতিক তথ্য দরকার হলে এটি সার্চ করে, কয়েকটি উৎস পর্যালোচনা করে এবং উদ্ধৃতিসহ উত্তর দেয়। Anthropic-এর হেল্প সেন্টার বলে, ওয়েব সার্চ ব্যবহার করা প্রতিটি উত্তরে উদ্ধৃতি থাকে। কেউ Claude-কে নির্দিষ্ট লিংক দিলে এটি সেই পেজ সরাসরি খুলতে পারে।

এর জন্য Anthropic তিনটি এজেন্ট নথিভুক্ত করে, প্রত্যেকটির নিজস্ব robots.txt টোকেন আছে। Claude-SearchBot Claude-এর সার্চ ফলাফল উন্নত করতে ক্রল করে, Claude-User কোনো ব্যবহারকারীর প্রশ্নে দরকার হলে পেজ আনে, আর ClaudeBot এমন কনটেন্ট সংগ্রহ করে যা ট্রেনিংয়ে ব্যবহার হতে পারে। Anthropic-এর তিনটি ক্রলার নিয়ে আমাদের আলাদা গাইডে প্রত্যেকটি কী করে তা বিস্তারিত আছে। পড়া ও উদ্ধৃত হওয়ার জন্য প্রথম দুটিই চেক করতে হবে।

একটি সৎ সীমাবদ্ধতা: Claude-এর ওয়েব সার্চ কোন সার্চ ইনডেক্স ব্যবহার করে বা কীভাবে উৎস বাছাই করে, Anthropic তা নথিভুক্ত করে না। এটি বলে, Claude-SearchBot ব্লক করলে সার্চ ফলাফলে আপনার দৃশ্যমানতা কমতে পারে, আর Claude-User ব্লক করলে ব্যবহারকারীর প্রশ্নের জন্য পেজ আনা বন্ধ হয়ে যায়। দুটিকেই অনুমতি দিলে উদ্ধৃতি সম্ভব হয়; নিশ্চিত হয় না।

robots.txt-এ Claude আমার ওয়েবসাইটে অ্যাক্সেস পায় কি না কীভাবে চেক করব?

https://yourdomain.com/robots.txt খুলুন এবং এমন গ্রুপ খুঁজুন যেখানে Claude-SearchBot বা Claude-User-এর নাম আছে। কোনোটির নাম না থাকলে দুটিই User-agent: * গ্রুপ মেনে চলে। RFC 9309 অনুযায়ী টোকেন মেলানো বড়-ছোট হাতের অক্ষর মানে না, আর প্রযোজ্য গ্রুপে Disallow: / থাকলে সেই এজেন্টের জন্য পুরো সাইট বন্ধ হয়ে যায়।

রেসপন্সটিও চেক করুন। যে robots.txt সার্ভার এরর ফেরত দেয়, তা ক্রলারদের বলে সবকিছু নিষিদ্ধ ধরে নিতে। 404 মানে কোনো রুল নেই। দুটি কমান্ড স্ট্যাটাস এবং ফাইলের প্রতিটি গ্রুপ দেখায়:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic বলে, রুলগুলো প্রতিটি সাবডোমেইনের শীর্ষ স্তরের robots.txt-এ থাকতে হবে, তাই blog.example.com-এর নিজস্ব ফাইল দরকার। এই ব্লকগুলো বিরল নয়। সবচেয়ে জনপ্রিয় 1,000টি ডোমেইন নিয়ে আমাদের গবেষণায়, robots.txt থাকা 518টি সাইটের 67টি (12.9%) Claude-SearchBot-এর জন্য এবং 68টি (13.1%) Claude-User-এর জন্য হোম পেজ নিষিদ্ধ করেছিল, আর 110টি (21.2%) ট্রেনিং ক্রলার ClaudeBot-এর জন্য তা করেছিল।

Claude-এর এজেন্টরা আমার সার্ভার থেকে কী পায়, তা কীভাবে পরীক্ষা করব?

robots.txt একটি অনুরোধ, অ্যাক্সেস কন্ট্রোল নয়। ফায়ারওয়াল, CDN বা বট সুরক্ষা Anthropic-এর এজেন্টদের 403, 429 বা চ্যালেঞ্জ পেজ দিতে পারে, অথচ আপনার নিজের ব্রাউজার পেজটি স্বাভাবিকভাবে দেখে। Anthropic বলে, তার বটগুলো CAPTCHA এড়ানোর চেষ্টা করবে না, তাই চ্যালেঞ্জ পেজ এলেই ভিজিট শেষ।

একই URL একটি ব্রাউজারের ইউজার এজেন্ট দিয়ে এবং Anthropic-এর প্রতিটি টোকেন দিয়ে অনুরোধ করুন, তারপর স্ট্যাটাস ও আকার তুলনা করুন:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Anthropic-এর হেল্প পেজ টোকেনগুলোর নাম দেয়, কিন্তু পূর্ণ ইউজার এজেন্ট স্ট্রিং প্রকাশ করে না, তাই এগুলো পরীক্ষার স্ট্রিং, Anthropic-এর আসল স্ট্রিং নয়। নাম মিলিয়ে কাজ করা রুলগুলো অনুরোধটির সঙ্গে কেমন আচরণ করে, এগুলো তা দেখায়। শুধু Claude-এর লাইনগুলোর জন্য 403, 429 বা 503, অথবা ব্রাউজারের চেয়ে অনেক ছোট একটি 200 আপনার ফায়ারওয়ালের দিকে ইঙ্গিত করে।

আপনার পরীক্ষা আসে আপনার নিজের IP ঠিকানা থেকে। Anthropic বলে, claude.com/crawling/bots.json-এর তালিকায় থাকা ঠিকানা থেকে আসা অনুরোধগুলো Anthropic-এর। আপনার ফায়ারওয়াল যদি IP দিয়ে যাচাই করা ক্রলারদের অনুমতি দেয়, তাহলে আসল এজেন্টরা ঢুকতে পারে অথচ আপনার পরীক্ষা ব্লক হয়, আর উল্টোটাও সম্ভব। তালিকাটি Anthropic-কে অনুমতি দিতে ব্যবহার করুন, ব্লক করতে নয়: Anthropic IP দিয়ে ব্লক করার পরামর্শ দেয় না, কারণ তাতে তার বটগুলো আপনার robots.txt-ও পড়তে পারে না।

Claude সত্যিই আমার সাইটে আসে কি না কীভাবে দেখব?

আপনার অ্যাক্সেস লগ সরাসরি এর উত্তর দেয়। এতে তিনটি টোকেন খুঁজুন, তারপর চেক করুন উৎস ঠিকানাগুলো Anthropic-এর প্রকাশিত রেঞ্জের মধ্যে পড়ে কি না, কারণ যে কেউ ইউজার এজেন্টের নাম নকল করতে পারে:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

প্রথম কমান্ডটি প্রচলিত combined লগ ফরম্যাট ধরে নেয়, যেখানে ফিল্ড 1 হলো ক্লায়েন্টের ঠিকানা আর ফিল্ড 9 স্ট্যাটাস কোড। Anthropic-এর এজেন্টদের পাশে অনেক 403 বা 429 কোড থাকলে ফায়ারওয়ালের সমস্যা নিশ্চিত হয়। Claude-SearchBot-এর কোনো ভিজিট না থাকার মানে শুধু এটুকু যে এটি এখনো ওই পেজগুলো ক্রল করেনি, অথবা আগের কোনো ধাপে কিছু একে আটকাচ্ছে।

আমার পেজ দিয়ে Claude-কে কীভাবে পরীক্ষা করব?

একটি চ্যাট খুলুন এবং আপনার কোনো পেজের URL পেস্ট করে "এই পেজটির সারাংশ দাও"-এর মতো অনুরোধ করুন। Anthropic-এর হেল্প সেন্টার বলে, ওয়েব সার্চ চালু থাকলে Claude আপনার দেওয়া লিংক খুলতে পারে। ওয়েব সার্চ বন্ধ থাকলে + মেনু থেকে চালু করুন; Anthropic-এর নতুন Claude অভিজ্ঞতায় কোনো টগল নেই, আর কাজে লাগলে Claude নিজেই সার্চ করে। Team ও Enterprise প্ল্যানে প্রথমে একজন মালিককে প্রতিষ্ঠানের জন্য ওয়েব সার্চ চালু করতে হয়। ব্রাউজার পারলেও Claude যদি আপনার পেজ খুলতে না পারে, ফায়ারওয়াল পরীক্ষায় ফিরে যান।

তারপর আপনার সাইটের নাম না বলে ক্রেতারা যে প্রশ্ন করেন সেগুলো করুন এবং উদ্ধৃত উৎসগুলো খুলুন। Anthropic বলে, স্থানীয় ফলাফলের জন্য Claude আপনার IP ঠিকানা থেকে অনুমান করা অবস্থান ব্যবহার করতে পারে, তাই উত্তর জায়গাভেদে এবং প্রতিবার চালানোয় আলাদা হতে পারে।

ডেভেলপাররা Claude API দিয়ে এটি পুনরাবৃত্তি করতে পারেন। ওয়েব সার্চ টুল একটি allowed_domains তালিকা নেয়, তাই আপনার ডোমেইনে সীমিত একটি অনুরোধ দেখায় কোনো প্রশ্নের জন্য Claude-এর সার্চ আপনার কোনো পেজ ফেরত দেয় কি না:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

সার্চ ফলাফল খালি থাকার মানে, ওই প্রশ্নের জন্য Claude-এর সার্চ সেই ডোমেইনে কিছু পায়নি। API-র ওয়েব সার্চের জন্য Anthropic টোকেনের পাশাপাশি আলাদা চার্জ নেয়। API-র web fetch টুলও জানায় কেন কোনো পেজ পড়া যায়নি: url_not_allowed robots.txt-এর মতো ব্লক বোঝায়, আর url_not_accessible মানে HTTP এরর। API-র উত্তর Claude অ্যাপে দেখানো উত্তর থেকে আলাদা হতে পারে।

Claude আমার পেজ পড়তে পারে কিন্তু তবুও উদ্ধৃত না করলে কী করব?

প্রথমে নিশ্চিত করুন যে দরকারি টেক্সট আপনার সার্ভারের পাঠানো HTML-এ আছে। Anthropic-এর API ডকুমেন্টেশন বলে, এর web fetch টুল JavaScript দিয়ে রেন্ডার হওয়া ওয়েবসাইট সমর্থন করে না, আর Anthropic বলে না যে তার ক্রলাররা স্ক্রিপ্ট রেন্ডার করে। curl দিয়ে আপনার পেজ আনুন এবং আউটপুটে মূল কনটেন্টের একটি বাক্য খুঁজুন। না থাকলে সার্ভার-সাইড রেন্ডারিং বা প্রিরেন্ডারিং Claude এবং বেশিরভাগ অন্য AI ক্রলারের জন্য সমস্যাটি ঠিক করে।

এরপর পেজটিই সিদ্ধান্ত নেয়। পেজের মূল প্রশ্নের উত্তর প্রথম বাক্যগুলোতে রাখুন, মানুষ যে প্রশ্ন করে তার সঙ্গে মেলে এমন হেডিং ব্যবহার করুন, প্রকাশকের নাম দিন এবং তারিখ দেখান। তারপর একই প্রশ্নে Claude যে পেজ উদ্ধৃত করে তার সঙ্গে আপনার পেজ তুলনা করুন: উদ্ধৃত পেজটি প্রায়ই ঠিক সেই প্রশ্নের উত্তর আরও সরাসরি দেয়।

AISeeWhy এটি কীভাবে চেক করে?

AISeeWhy-এর ফ্রি চেক একটি আসল ব্রাউজারের পাশাপাশি Claude-SearchBot, Claude-User, ClaudeBot এবং অন্যান্য AI ও সার্চ ক্রলার হিসেবে আপনার পেজ আনে, প্রত্যেকের ওপর আপনার robots.txt প্রয়োগ করে, চ্যালেঞ্জ পেজ চিনে নেয় এবং JavaScript ছাড়া কতটা টেক্সট পৌঁছায় তা দেখায়। AI-তে দৃশ্যমানতা চেক, পেইড প্ল্যানে, আপনার নিজের API কী দিয়ে ওয়েব সার্চসহ Claude-এ আপনার প্রশ্নগুলো করে এবং দেখায় আপনার ব্র্যান্ড বা ডোমেইন উল্লেখ বা উদ্ধৃত হয় কি না।

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

প্রশ্নোত্তর

Claude আমার সাইট দেখতে পায় কি না তা কি ফ্রিতে চেক করতে পারি?

হ্যাঁ। আপনার robots.txt, একটি curl অনুরোধ, আপনার সার্ভার লগ এবং Claude-এ একটি প্রশ্ন, কোনোটিতেই খরচ নেই। AISeeWhy-এর ফ্রি চেক অ্যাকাউন্ট ছাড়াই দিনে একটি পেজের জন্য Anthropic-এর এজেন্ট এবং আরও 13টি ক্রলার পরীক্ষা করে।

লিংক পেস্ট করলে Claude আমার ওয়েবসাইট খুলতে পারে না কেন?

সাধারণ কারণগুলো হলো এমন ফায়ারওয়াল বা বট সুরক্ষা যা Anthropic-এর এজেন্টদের 403 বা চ্যালেঞ্জ পেজ দেয়, robots.txt-এর এমন রুল যা Claude-User-কে নিষেধ করে, অথবা এমন পেজ যার টেক্সট JavaScript চলার পরেই দেখা যায়। curl দিয়ে ব্রাউজার হিসেবে এবং Claude-এর টোকেন দিয়ে URL পরীক্ষা করুন, আর লগে ব্লক হওয়া অনুরোধ খুঁজুন।

Anthropic কি পরীক্ষার জন্য কোনো ইউজার এজেন্ট স্ট্রিং প্রকাশ করে?

Anthropic-এর ক্রলার হেল্প পেজ ClaudeBot, Claude-SearchBot ও Claude-User টোকেনগুলোর তালিকা দেয়, কিন্তু পূর্ণ ইউজার এজেন্ট স্ট্রিং দেয় না। আসল Anthropic ট্রাফিককে নকলকারীদের থেকে আলাদা করতে উৎস IP-কে claude.com/crawling/bots.json-এর তালিকার সঙ্গে মিলিয়ে দেখুন।

robots.txt-এর পরিবর্তন Claude-এ পৌঁছাতে কত সময় লাগে?

Anthropic কোনো সময় বলে না। RFC 9309 বলে, ক্রলাররা 24 ঘণ্টার বেশি ক্যাশ করা robots.txt ব্যবহার করবে না, তাই লগে বা Claude-এর উত্তরে ফলাফল বিচার করার আগে অন্তত একদিন অপেক্ষা করুন।

Claude API কি Claude অ্যাপের মতো একই উত্তর দেয়?

অগত্যা নয়। অ্যাপ আপনার আনুমানিক অবস্থান এবং নিজস্ব সেটিংস ব্যবহার করতে পারে, আর API অনুরোধ আপনার পাঠানো টুল ও প্যারামিটার ব্যবহার করে। API-র ফলাফলকে পুনরাবৃত্তিযোগ্য পরীক্ষা হিসেবে দেখুন, প্রত্যেক ব্যবহারকারী যা দেখেন তার হুবহু কপি হিসেবে নয়।

Claude আমার ব্র্যান্ডের উল্লেখ করে কি না কীভাবে জানব?

ওয়েব সার্চ চালু রেখে Claude-কে আপনার ক্রেতাদের প্রশ্নগুলো করুন, আর লিখে রাখুন এটি আপনার সাইটের নাম নেয় বা উদ্ধৃত করে কি না এবং বদলে কোন প্রতিযোগীরা আসে। উত্তর বদলায়, তাই প্রতিটি প্রশ্ন কয়েক সপ্তাহ ধরে আবার করুন। AISeeWhy-এর AI-তে দৃশ্যমানতা চেক আপনার কী দিয়ে Claude API-র মাধ্যমে প্রতি সপ্তাহে এটি করে, সর্বোচ্চ চারটি প্রতিযোগীর পাশাপাশি।

উৎস

আরও আর্টিকেল