কোনো ওয়েবসাইট AI ক্রলার ব্লক করে কি না, কীভাবে চেক করবেন
যেকোনো ঠিকানা পেস্ট করুন এবং দেখুন সেটি GPTBot, ClaudeBot, PerplexityBot ও অন্য AI ক্রলার ব্লক করে কি না: robots.txt-এ, ফায়ারওয়ালে, অথবা দুই জায়গাতেই।
ফ্রি · সাইন-আপ লাগবে না · ৩০ সেকেন্ডে ফল
কোন ক্রলার ব্লক করা আছে
ট্রেনিং, সার্চ ও ইউজার ক্রলার আলাদা করে দেখানো হয়, কারণ GPTBot ব্লক করলে OAI-SearchBot ব্লক হয় না, আর ClaudeBot ব্লক করলে Claude-SearchBot ব্লক হয় না।
যে লাইনটি সিদ্ধান্ত নেয়
প্রতিটি ক্রলারের জন্য robots.txt পড়া হয় RFC 9309 নিয়ম অনুযায়ী: যে গ্রুপে ক্রলারের নাম আছে, না থাকলে ফলব্যাক হিসেবে User-agent: *, এবং যে রুলটি কার্যকর হয়।
ফায়ারওয়ালের প্রত্যাখ্যান
পেজটি 14টি ক্রলার হিসেবে এবং একটি সাধারণ ব্রাউজার হিসেবে চাওয়া হয়। ব্লক ও চ্যালেঞ্জ পেজ চিহ্নিত করা হয় এবং যে ফায়ারওয়াল সাড়া দিয়েছে তার নাম বলা হয়।
প্রতিটি সমস্যার সমাধান
প্রতিটি সমস্যার সঙ্গে থাকে কী পরিবর্তন করতে হবে। ফ্রি চেকে আপনার স্কোর ও প্রথম সমস্যাটি দেখা যায়; পূর্ণ রিপোর্ট $29, একবারই দিতে হয়।
একটি সাইট দুই জায়গায় AI ক্রলার ব্লক করতে পারে: robots.txt-এ, যা ক্রলারদের দূরে থাকতে অনুরোধ করে, আর সার্ভার বা ফায়ারওয়ালে, যা সত্যিই তাদের ফিরিয়ে দেয়। robots.txt-এ প্রতিটি ক্রলারের টোকেন খুঁজুন, না পেলে User-agent: * দেখুন, তারপর ক্রলার হিসেবে পেজটি আনুন এবং ব্রাউজারের পাওয়া পেজের সঙ্গে মিলিয়ে দেখুন। একটি ব্রাউজার এক্সটেনশন 16টি AI ক্রলারের জন্য robots.txt-এর অংশটি এক ক্লিকে করে দেয়।
৩ ধাপে নিজে চেক করুন
- ক্রলার বেছে নিন
প্রতিটি AI কোম্পানি আলাদা আলাদা ক্রলার চালায়। ট্রেনিং:
GPTBot,ClaudeBot। সার্চ:OAI-SearchBot,Claude-SearchBot,PerplexityBot। কোনো ব্যক্তির অনুরোধে:ChatGPT-User,Claude-User,Perplexity-User। - তার জন্য robots.txt পড়ুন
https://example.com/robots.txtখুলে ক্রলারের নাম থাকা গ্রুপটি খুঁজুন। কোনো গ্রুপ না থাকলেUser-agent: *গ্রুপ প্রযোজ্য হয়; দুটোর কোনোটি না থাকলে সবকিছুর অনুমতি আছে। - ক্রলার হিসেবে পেজটি আনুন
ক্রলারের ইউজার এজেন্ট দিয়ে পেজটি চান এবং স্ট্যাটাস ও সাইজ ব্রাউজারের সঙ্গে মিলিয়ে দেখুন। 403, চ্যালেঞ্জ পেজ বা অনেক ছোট একটি 200 মানে ফায়ারওয়াল তাকে ফিরিয়ে দিচ্ছে।
প্রশ্নোত্তর
robots.txt ছাড়া কোনো সাইট কি AI ক্রলারের জন্য খোলা?
হ্যাঁ, robots.txt-এর দিক থেকে। robots.txt-এর জন্য 404 মানে কোনো রুল নেই, তাই প্রতিটি ক্রলার প্রতিটি পেজ আনতে পারে। তবু ফায়ারওয়াল ক্রলার ব্লক করতে পারে।
এক্সটেনশন কি ফায়ারওয়ালের ব্লক দেখায়?
না। এটি আপনার ব্রাউজার থেকে robots.txt পড়ে, যা দেখায় সাইট ক্রলারদের কী করতে বলে। ফায়ারওয়াল ও বট সুরক্ষার ব্লক দেখতে ক্রলার হিসেবে পাঠানো অনুরোধ লাগে, আর সেটি করে aiseewhy.com-এর পূর্ণ চেক।
যে সাইট আমার নয়, সেটি কি চেক করতে পারি?
হ্যাঁ। robots.txt সর্বজনীন, আর এক্সটেনশন শুধু সাইটের প্রকাশ করা robots.txt ও llms.txt ফাইল পড়ে, অর্থাৎ সেই একই ফাইল যা প্রতিটি ক্রলার পড়ে।
পূর্ণ গাইড পড়ুন
কোনো পরিবর্তনের পর নিজের সাইট চেক করছেন, নাকি অন্য কারও সাইটের ওপর নির্ভর করার আগে সেটি দেখছেন, “এই সাইট কি AI ক্রলার ব্লক করে?” প্রশ্নটির একটি নির্দিষ্ট উত্তর আছে। উত্তরটি নির্ভর করে আপনি কোন ক্রলারের কথা বলছেন তার ওপর, কারণ AI কোম্পানিগুলো ট্রেনিং, সার্চ ও সরাসরি ভিজিটের জন্য আলাদা আলাদা ক্রলার চালায়, আর সাইট প্রতিটির সঙ্গে আলাদা আচরণ করতে পারে। এই গাইডে তিনটি চেক দেখানো হয়েছে, সবচেয়ে দ্রুত থেকে সবচেয়ে সম্পূর্ণ পর্যন্ত।
একটি সাইট কোথায় AI ক্রলার ব্লক করতে পারে?
তিনটি স্তর আছে, আর কোনো পেজ ব্যবহার করতে হলে ক্রলারকে তিনটিই পার হতে হয়।
- robots.txt: নিয়মের একটি সর্বজনীন ফাইল, যা নিয়ম মেনে চলা ক্রলাররা কিছু আনার আগে পড়ে। এটি একটি অনুরোধ, তালা নয়।
- সার্ভার, CDN বা ফায়ারওয়াল: আসলে কী ফেরত পাঠানো হবে, তা এটিই ঠিক করে। robots.txt অনুমতি দিলেও বট সুরক্ষার কোনো রুল ক্রলারকে 403, 429 বা চ্যালেঞ্জ পেজ দিতে পারে।
- পেজ নিজে: মূল টেক্সট যদি JavaScript চলার পরেই দেখা যায়, তাহলে প্রাথমিক HTML পড়া ক্রলার প্রায় খালি একটি পেজ পায়, যদিও কেউ তাকে ব্লক করেনি।
বেশিরভাগ দ্রুত চেক শুধু প্রথম স্তরটি দেখে। শুরু হিসেবে এটি ভালো, শুধু বাকি দুটি স্তরের কথা মনে রাখবেন।
একটি AI ক্রলারের জন্য robots.txt কীভাবে পড়ব?
ব্রাউজারে https://example.com/robots.txt খুলুন এবং যে গ্রুপটি সেই ক্রলারের ক্ষেত্রে প্রযোজ্য, সেটি খুঁজুন। একটি গ্রুপ এক বা একাধিক User-agent লাইন দিয়ে শুরু হয়। ক্রলার সেই গ্রুপ ব্যবহার করে যাতে তার টোকেনের নাম আছে, যেমন GPTBot; মেলানোর সময় বড় হাতের বা ছোট হাতের অক্ষরে পার্থক্য হয় না। কোনো গ্রুপে তার নাম না থাকলে সে User-agent: * গ্রুপ ব্যবহার করে। দুটির কোনোটিই না থাকলে সবকিছুর অনুমতি আছে।
গ্রুপের ভেতরে সবচেয়ে লম্বা মিলে যাওয়া পাথের রুল প্রাধান্য পায়, আর Allow ও Disallow সমান লম্বা হলে Allow প্রাধান্য পায়। তাই নিচের ফাইলটি GPTBot-কে পুরো সাইট থেকে ব্লক করে, কিন্তু বাকি সব ক্রলারকে ঢুকতে দেয়:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / ফাইলটি কীভাবে সাড়া দেয়, সেটিও দেখুন। RFC 9309 অনুযায়ী 404 মানে কোনো রুল নেই, তাই সবকিছুর অনুমতি আছে। সার্ভার এরর (5xx) বা কোনো সাড়া না পেলে ক্রলারকে পুরো সাইট নিষিদ্ধ ধরে নিতে হয়। robots.txt-এর ঠিকানায় একটি HTML পেজ ফেরত আসা একটি সাধারণ ভুল: ক্রলাররা তাতে কোনো বৈধ রুল খুঁজে পায় না।
সব AI ক্রলার একসঙ্গে কীভাবে চেক করব?
একাধিক ক্রলার নিয়ে ভাবতে হলে হাতে ফাইল পড়া ধীর হয়ে যায়। প্রতিটি AI কোম্পানি আলাদা আলাদা কাজের জন্য কয়েকটি ক্রলার চালায়:
- ট্রেনিং ক্রলার মডেল ট্রেনিংয়ের জন্য কনটেন্ট সংগ্রহ করে:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, সঙ্গেGoogle-ExtendedওApplebot-Extendedটোকেন, যেগুলো শুধু robots.txt-এ দেখা যায়। - সার্চ ক্রলার পেজ ইনডেক্স করে, যাতে AI উত্তর সেগুলো উদ্ধৃত করতে পারে:
OAI-SearchBot,Claude-SearchBot,PerplexityBot। - ব্যবহারকারী ক্রলার তখন পেজ আনে, যখন কেউ অ্যাসিস্ট্যান্টকে তা করতে বলে:
ChatGPT-User,Claude-User,Perplexity-User।
Chrome-এর জন্য বিনামূল্যের AI ক্রলার চেকার এক্সটেনশন এটি এক ক্লিকে করে। যেকোনো পেজ খুলুন, আইকনে ক্লিক করুন, আর এটি সেই সাইটের robots.txt পড়ে 16টি ক্রলারের প্রতিটির জন্য দেখায় পেজটির অনুমতি আছে কি না এবং কোন লাইন তা ঠিক করে। এটি Content-Signal পছন্দ, সাইটে llms.txt আছে কি না, এবং robots.txt-এ দেওয়া সাইটম্যাপগুলোও দেখায়। এটি আপনার ব্রাউজারে চলে, কোনো অ্যাকাউন্ট লাগে না, এবং আপনি যে সাইটে ক্লিক করেন শুধু সেটিই পড়ে।
Chrome ছাড়া, aiseewhy.com-এর বিনামূল্যের robots.txt চেকার আপনার পেস্ট করা URL-এর জন্য একই উত্তর দেয়।
ফায়ারওয়াল তাদের ঢুকতে দেয় কি না, কীভাবে চেক করব?
robots.txt দেখায় সাইট কী চায়। ক্রলার আসলে কী পায় তা দেখতে পেজটি দুবার চেয়ে নিন, একবার ব্রাউজার হিসেবে আর একবার ক্রলারের ইউজার এজেন্ট দিয়ে, তারপর স্ট্যাটাস কোড ও সাড়ার আকার মিলিয়ে দেখুন:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page ব্রাউজার যদি 200 পায় আর ক্রলার পায় 403, 429 বা 503, কিংবা অনেক ছোট একটি পেজ, তাহলে ফায়ারওয়াল বা বট সুরক্ষা ক্রলারের সঙ্গে আলাদা আচরণ করছে। বাইরের প্রতিটি পরীক্ষার একটি সীমা আছে: অনুরোধটি যায় আপনার নেটওয়ার্ক থেকে, AI কোম্পানির নেটওয়ার্ক থেকে নয়। যে ফায়ারওয়াল ক্রলারদের প্রকাশিত IP ঠিকানা দেখে বিশ্বাস করে, সেটি আসল ক্রলারের সঙ্গে আলাদা আচরণ করতে পারে, তাই শেষ কথা বলে আপনার সার্ভার লগ।
aiseewhy.com-এর পূর্ণ চেক একটি আসল ব্রাউজারের পাশাপাশি সব 16টি ক্রলার হিসেবে পেজটি আনে, কোন ফায়ারওয়াল বা রুল ক্রলারকে ব্লক করছে তার নাম বলে, এবং প্রত্যেকে যে টেক্সট পেয়েছে তা মিলিয়ে দেখে।
কোন ফলাফল লক্ষ্য রাখা উচিত?
এটি নির্ভর করে আপনি কী চান তার ওপর। ChatGPT সার্চ, Claude ও Perplexity-তে উদ্ধৃত হতে চাইলে সার্চ ও ব্যবহারকারী ক্রলারদের robots.txt-এ অনুমতি থাকতে হবে এবং সার্ভার থেকে আসল পেজ পেতে হবে। আপনার কনটেন্ট ট্রেনিংয়ে ব্যবহার হোক না চাইলে শুধু ট্রেনিং টোকেনগুলো ব্লক করুন। এগুলো আলাদা সিদ্ধান্ত: GPTBot ব্লক করলে OAI-SearchBot ব্লক হয় না, আর ClaudeBot ব্লক করলে Claude-SearchBot ব্লক হয় না।
অনেক সাইট এগুলো গুলিয়ে ফেলে। সবচেয়ে জনপ্রিয় 1,000টি ডোমেন নিয়ে আমাদের নভেম্বর 2026-এর রিপোর্টে, যে সাইটগুলো একটি ট্রেনিং ক্রলার ব্লক করে তাদের 63% অন্তত একটি AI সার্চ বা ব্যবহারকারী ক্রলারও ব্লক করে, ফলে তাদের পেজ সেই AI উত্তরগুলোর বাইরে থেকে যায়।
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- llms.txt চেকার ও ভ্যালিডেটর
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
উৎস
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI ক্রলারের সংক্ষিপ্ত পরিচিতি
- Anthropic: Anthropic কি ওয়েব থেকে ডেটা ক্রল করে, আর সাইটের মালিকেরা কীভাবে ক্রলার ব্লক করতে পারেন?
- Perplexity: Perplexity ক্রলার
- Google: সাধারণ ক্রলার, Google-Extended সহ
- AISeeWhy: AI ক্রলার অ্যাক্সেস রিপোর্ট, 2026-11