AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার

একটি পেজের ঠিকানা লিখুন: আমরা সাইটের robots.txt পড়ে প্রতিটি AI ও সার্চ ক্রলারের জন্য দেখাই সেটি ওই পেজ আনতে পারে কি না। অথবা প্রকাশের আগে পরীক্ষা করতে একটি robots.txt পেস্ট করুন।

robots.txt শুধু একটি অনুরোধ। robots.txt অনুমতি দিলেও কোনো ফায়ারওয়াল বা বট সুরক্ষা ক্রলারকে ব্লক করতে পারে; পূর্ণ চেক সেটি পরীক্ষা করে। পূর্ণ চেক চালান →

যে পেজে আছেন সেটির একই যাচাই, এক ক্লিকে: AI ক্রলার চেকার ↗

AI ক্রলার robots.txt কীভাবে পড়ে

প্রতিটি ক্রলার সেই গ্রুপ মেনে চলে যেখানে তার টোকেনের নাম আছে (যেমন GPTBot বা PerplexityBot); কোনোটিতে না থাকলে তবেই User-agent: * মেনে চলে। একটি গ্রুপের মধ্যে সবচেয়ে লম্বা মিলে যাওয়া রুল জেতে, আর সমান হলে Allow জেতে। GPTBot, ClaudeBot বা Google-Extended-এর মতো ট্রেনিং ক্রলার ব্লক করলে আপনার কনটেন্ট মডেল ট্রেনিংয়ের বাইরে থাকে; OAI-SearchBot, ChatGPT-User বা PerplexityBot-এর মতো সার্চ ও ইউজার ক্রলার ব্লক করলে আপনার পেজ AI উত্তরের বাইরে থাকে।

গাইড

robots.txt টেস্টার কীভাবে ব্যবহার করবেন

এই লেখাটি ইংরেজি থেকে মেশিনের মাধ্যমে অনুবাদ করা হয়েছে।

এই robots.txt টেস্টার কী চেক করে

একটি পেজের ঠিকানা লিখুন। টেস্টার সেই ঠিকানার স্কিম ও হোস্ট নেয়, সেই হোস্টের রুট থেকে /robots.txt পড়ে এবং আপনার পেজের পাথের জন্য এর রুলগুলো মূল্যায়ন করে। এটি 16টি ক্রলারের প্রতিটির জন্য একটি প্রশ্নের উত্তর দেয়: এই ক্রলার কি এই পেজ আনতে পারে?

ক্রলারগুলো তাদের কাজ অনুযায়ী ভাগ করা। ট্রেনিং ক্রলার AI মডেলের জন্য পেজ সংগ্রহ করে: GPTBot, ClaudeBot, CCBot, Bytespider ও Meta-ExternalAgent, সঙ্গে শুধু robots.txt-এর টোকেন Google-Extended ও Applebot-Extended, যারা নিজে কখনো ভিজিট করে না, কিন্তু Google ও Apple-কে জানায় যে তারা আগে আনা পেজ ব্যবহার করতে পারবে কি না। সার্চ ক্রলার সেই ইনডেক্স তৈরি করে যা AI উত্তর ও সার্চ ফলাফল উদ্ধৃত করে: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot ও Applebot। ইউজার এজেন্ট একটি পেজ আনে যখন কোনো ব্যক্তি অ্যাসিস্ট্যান্টকে সেটি খুলতে বলেন: ChatGPT-User, Claude-User ও Perplexity-User।

ঠিকানার বদলে আপনি একটি robots.txt পেস্টও করতে পারেন। তখন কিছুই আনা হয় না: টেস্টার আপনার পেস্ট করা টেক্সট মূল্যায়ন করে, তাই প্রকাশের আগেই কোনো পরিবর্তন পরীক্ষা করে দেখতে পারেন। পেস্ট করা টেক্সট শুধু উত্তর দিতে ব্যবহার হয় এবং সংরক্ষণ করা হয় না।

ফলাফল কীভাবে পড়বেন

টেবিলে প্রতিটি ক্রলারের জন্য একটি সারি। আপনার পাথের কলামে লেখা থাকে অনুমতি আছে বা ব্লক করা। শেষ কলাম বলে ফাইলের কোন অংশ সিদ্ধান্ত নিয়েছে:

টেবিলের নিচে আপনি ফাইলে থাকা Sitemap লাইনগুলো এবং এর Content-Signal লাইন (থাকলে) দেখতে পাবেন। ঠিকানাটি যদি টেক্সট ফাইলের বদলে একটি ওয়েব পেজ দেয়, অথবা কোনো ফাইলই না দেয়, টেস্টার তা জানায়: /robots.txt-এ থাকা HTML পেজকে ক্রলাররা অনুপস্থিত ফাইল হিসেবে ধরে।

অনুমতি আছে লেখা সারির মানে শুধু এটুকু যে robots.txt ওই ক্রলারকে থামায় না। এর মানে এই নয় যে ক্রলারটি ভিজিট করবে, এবং এটি আপনার ফায়ারওয়াল সম্পর্কে কিছুই বলে না।

ক্রলার কীভাবে তার রুল বেছে নেয়

robots.txt-এর স্ট্যান্ডার্ড RFC 9309 তিনটি নিয়ম ঠিক করে, যা প্রায় প্রতিটি অবাক করা ফলাফলের ব্যাখ্যা দেয়। একটি ক্রলার প্রথমে এমন গ্রুপ খোঁজে যার User-agent তার টোকেনের সঙ্গে মেলে, বড়-ছোট হাতের অক্ষর উপেক্ষা করে। পেলে এটি শুধু সেই গ্রুপগুলো মেনে চলে এবং User-agent: * পুরোপুরি উপেক্ষা করে। বেছে নেওয়া গ্রুপের মধ্যে সবচেয়ে লম্বা মিলে যাওয়া পাথের রুল জেতে, আর একটি Allow ও একটি Disallow সমান দৈর্ঘ্যে মিললে Allow জেতে।

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

এই ফাইলে GPTBot প্রতিটি পেজ থেকে ব্লক, কারণ এর নিজস্ব গ্রুপ আছে। অন্য প্রতিটি ক্রলার /private/press/kit.pdf আনতে পারে, কারণ Allow: /private/press/ রুলটি Disallow: /private/-এর চেয়ে লম্বা, আর /private/notes/ থেকে ব্লক থাকে। টেস্টারে দুটি পাথই পরীক্ষা করুন, দেখবেন সিদ্ধান্ত এক গ্রুপ থেকে অন্য গ্রুপে বদলে যাচ্ছে।

সাধারণ ভুল, উদাহরণসহ

ট্রেনিং, সার্চ ও ইউজার ক্রলার: প্রতিটি ব্লক করলে কী হয়

একটি ট্রেনিং ক্রলার ব্লক করা একটি নীতিগত সিদ্ধান্ত। এটি আপনার পেজগুলো ভবিষ্যতের মডেল ট্রেনিংয়ের বাইরে রাখে এবং আজ AI সার্চ আপনাকে উদ্ধৃত করতে পারবে কি না তাতে প্রভাব ফেলে না। OAI-SearchBot, Claude-SearchBot বা PerplexityBot-এর মতো সার্চ ক্রলার ব্লক করলে আপনার পেজ সেই অ্যাসিস্ট্যান্টের উত্তরের বাইরে থাকে। Googlebot বা Bingbot ব্লক করলে আপনি সেই সার্চ ইঞ্জিনগুলো থেকে এবং সেগুলোর ওপর তৈরি AI ফিচার থেকে বাদ পড়েন।

ChatGPT-User-এর মতো ইউজার এজেন্ট এমন একজন ব্যক্তির হয়ে কাজ করে যিনি আপনার পেজ চেয়েছেন। কিছু ভেন্ডর বলে যে এ ধরনের অনুরোধে এই এজেন্টরা robots.txt না-ও মানতে পারে, তাই এদের জন্য রুল একটি অনুরোধ, নিশ্চয়তা নয়। ট্রেনিং বন্ধ আর AI সার্চ চালু রাখতে চাইলে ট্রেনিং টোকেনগুলো ব্লক করুন এবং সার্চ ও ইউজার টোকেনগুলো যেমন আছে রেখে দিন।

প্রকাশের আগে পরীক্ষা করুন, তারপর আবার পরীক্ষা করুন

আপনার খসড়া টেস্টারে পেস্ট করুন, প্রোডাক্ট বা প্রাইসিং পেজের মতো গুরুত্বপূর্ণ একটি পেজের পাথ দিন, এবং আপনার কাছে গুরুত্বপূর্ণ প্রতিটি ক্রলারের সারি পড়ুন। যে পাথ ব্লক করতে চেয়েছিলেন সেটি দিয়ে আবার করুন। ফলাফল আপনার উদ্দেশ্যের সঙ্গে মিললে ফাইলটি প্রকাশ করুন এবং লাইভ ঠিকানা দিয়ে টেস্টার আবার চালান, এতে প্রমাণ হয় যে সার্ভার আপনার সম্পাদিত ফাইলটিই দিচ্ছে।

ক্রলাররা robots.txt ক্যাশ করে; যেমন Google সাধারণত 24 ঘণ্টার মধ্যে তার কপি রিফ্রেশ করে। কোনো পরিবর্তন তাদের আচরণে দেখা দিতে এক দিন লাগতে পারে, এবং Google Search Console-এর robots.txt রিপোর্ট Google সর্বশেষ যে কপি এনেছে সেটি দেখায়।

robots.txt একটি ক্রলারকে অনুমতি দিলেও যখন সেটি ব্লক থাকে

robots.txt শুধু একটি অনুরোধ। একটি ফায়ারওয়াল, বট সুরক্ষা সার্ভিস বা CDN রুল তখনো একটি ক্রলারকে 403 বা চ্যালেঞ্জ পেজ দিয়ে উত্তর দিতে পারে, যখন মানুষ পেজটি পায়। টেস্টার তা দেখতে পারে না, কারণ এটি শুধু একটি ফাইল পড়ে। পূর্ণ চেক আপনার পেজ প্রতিটি ক্রলারের ইউজার এজেন্ট দিয়ে একটি সাধারণ ব্রাউজারের পাশাপাশি আনে এবং দেখায় কোন ক্রলার আলাদা উত্তর পায়, HTTP স্ট্যাটাস ও ফায়ারওয়ালের সিগনেচারসহ।

প্রশ্নোত্তর

এটি কি Google-এর robots.txt Tester-এর মতোই?

না। Google 2023 সালে তার আলাদা robots.txt Tester বন্ধ করে দিয়েছে; Search Console-এর robots.txt রিপোর্ট এখন শুধু Google-এর ক্রলারের জন্য Google যে ফাইল এনেছে এবং পার্সিংয়ের ত্রুটিগুলো দেখায়। এই টেস্টার একই RFC 9309 রুল একসঙ্গে 16টি AI ও সার্চ ক্রলারে প্রয়োগ করে।

অনুমতি আছে মানে কি ক্রলার আমার পেজ পড়বে বা উদ্ধৃত করবে?

না। এর মানে robots.txt এটি নিষেধ করে না। ক্রলার পেজটি পাবে কি না তা আপনার সার্ভার ও ফায়ারওয়ালের ওপর নির্ভর করে, আর কোনো অ্যাসিস্ট্যান্ট এটি উদ্ধৃত করবে কি না তা আপনার কনটেন্ট ও করা প্রশ্নের ওপর নির্ভর করে।

একটি ক্রলারের জন্য “কোনো রুল নেই” দেখায় কেন?

আপনার ফাইলে এর টোকেনের জন্য কোনো গ্রুপ নেই এবং কোনো User-agent: * গ্রুপও নেই, তাই এর ওপর কিছুই প্রযোজ্য নয় এবং প্রতিটি পাথ অনুমোদিত।

যে robots.txt এখনো প্রকাশ হয়নি সেটি কি পরীক্ষা করতে পারি?

হ্যাঁ। টেক্সটটি দ্বিতীয় ফিল্ডে পেস্ট করুন এবং পরীক্ষার পাথ লিখুন। আপনার সাইট থেকে কিছুই আনা হয় না, এবং পেস্ট করা টেক্সট সংরক্ষণ করা হয় না।

টেস্টার কি GPTBot বা অন্য ক্রলার হিসেবে অনুরোধ পাঠায়?

না। এটি শুধু আপনার robots.txt পড়ে এবং রুলগুলো প্রয়োগ করে। প্রতিটি ক্রলার আপনার সার্ভার থেকে আসলে কী পায় তা দেখতে পূর্ণ চেক চালান।

কতবার এটি ব্যবহার করতে পারি?

এটি ফ্রি এবং কোনো অ্যাকাউন্ট লাগে না। সবার জন্য এটি সচল রাখতে প্রতিটি নেটওয়ার্ক ঘণ্টায় সীমিত সংখ্যক পরীক্ষা চালাতে পারে।

সম্পর্কিত টুল ও গাইড