Perplexity-র ক্রলার: PerplexityBot ও Perplexity-User
Perplexity তার সার্চ ফলাফলে ওয়েবসাইট দেখাতে ও লিংক করতে PerplexityBot ব্যবহার করে, আর ব্যবহারকারীর প্রশ্নে দরকার হলে পেজে যেতে Perplexity-User ব্যবহার করে। Perplexity বলে, PerplexityBot robots.txt মানে এবং ফাউন্ডেশন মডেল ট্রেনিংয়ে ব্যবহার হয় না, আর Perplexity-User সাধারণত robots.txt উপেক্ষা করে, কারণ আনার অনুরোধটি একজন ব্যবহারকারী করেছেন। Perplexity-র সার্চকে আপনার পেজ ব্যবহার করা থেকে আটকাতে robots.txt-এ PerplexityBot-কে নিষেধ করুন; Perplexity-User-কে থামাতে এর প্রকাশিত IP রেঞ্জের সঙ্গে মেলানো একটি ফায়ারওয়াল রুল ব্যবহার করুন।
Perplexity-র ভিত্তি উদ্ধৃতি: উত্তরের সঙ্গে থাকে নম্বর দেওয়া লিংক, যেসব পেজ থেকে তথ্য নেওয়া হয়েছে তাদের। এর ক্রলার ডকুমেন্টেশন ছোট, এবং স্পষ্ট জানায় কোন এজেন্ট robots.txt মানে আর কোনটি মানে না। কোনো একটিকে নিয়ন্ত্রণ করতে চাইলে আপনি কোন টুল ব্যবহার করবেন, তা এই পার্থক্যই ঠিক করে।
এই পেজে
PerplexityBot কী করে?
PerplexityBot তৈরি করা হয়েছে Perplexity-র সার্চ ফলাফলে ওয়েবসাইট দেখানো ও লিংক করার জন্য। Perplexity বলে, এটি AI ফাউন্ডেশন মডেলের জন্য কনটেন্ট ক্রল করতে ব্যবহার হয় না। Perplexity-র সার্চ ফলাফলে দেখা যেতে Perplexity robots.txt-এ PerplexityBot-কে অনুমতি দেওয়ার পরামর্শ দেয়।
Perplexity এই ইউজার এজেন্টটি ডকুমেন্ট করে:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) ভার্সন নম্বর বদলাতে পারে, তাই ফায়ারওয়াল রুলে PerplexityBot টোকেন মেলানো উচিত। Perplexity IP রেঞ্জ perplexity.ai/perplexitybot.json-এ প্রকাশ করে।
Perplexity-User কী করে?
Perplexity-User ব্যবহারকারীর কাজে সহায়তা করে। কেউ Perplexity-কে প্রশ্ন করলে নির্ভুল উত্তর দিতে সাহায্যের জন্য এটি একটি ওয়েব পেজে যেতে পারে এবং সেই পেজের লিংক যোগ করতে পারে। Perplexity বলে, এটি ওয়েব ক্রলিং বা ট্রেনিং ডেটা সংগ্রহে ব্যবহার হয় না।
এর ডকুমেন্ট করা ইউজার এজেন্ট হলো Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), এবং এর IP রেঞ্জ perplexity.ai/perplexity-user.json-এ প্রকাশিত।
robots.txt কী নিয়ন্ত্রণ করে, আর কী করে না?
এটিই মূল বিষয়। Perplexity জানায়, আনার অনুরোধটি একজন ব্যবহারকারী করেছেন বলে Perplexity-User সাধারণত robots.txt রুল উপেক্ষা করে। PerplexityBot-এর জন্য একটি robots.txt গ্রুপ সার্চের ইনডেক্সিংকে প্রভাবিত করে; এটি ব্যবহারকারীর হয়ে লাইভ ফেচ নির্ভরযোগ্যভাবে থামায় না।
- robots.txt-এ
PerplexityBotনিষেধ করুন: আপনার পেজ Perplexity-র সার্চ ইনডেক্সের জন্য ক্রল হয় না, তাই সেগুলো দেখানো ও লিংক করার সম্ভাবনা কমে। - robots.txt-এ
Perplexity-Userনিষেধ করুন: Perplexity-র ডকুমেন্টেশন অনুযায়ী ফেচার সাধারণত এটি উপেক্ষা করে, তাই এটি নির্ভরযোগ্য নিয়ন্ত্রণ নয়। - ফায়ারওয়ালে
Perplexity-Userব্লক করুন: আনা ব্যর্থ হয়, আর যারা আপনার পেজ নিয়ে প্রশ্ন করেন তাঁরা সেটি ছাড়াই উত্তর পান। - দুটিকেই অনুমতি দিন: Perplexity আপনার পেজ ইনডেক্স করতে পারে এবং কোনো ব্যবহারকারী প্রশ্ন করলে লাইভ পড়তে পারে।
Perplexity বলে, প্রতিটি robots.txt সেটিং স্বাধীনভাবে কাজ করে, এবং পরিবর্তন প্রতিফলিত হতে 24 ঘণ্টা পর্যন্ত লাগতে পারে।
Perplexity, ChatGPT ও Claude থেকে কীভাবে আলাদা?
তিন ভেন্ডরই একটি সার্চ ক্রলারকে ব্যবহারকারীর অনুরোধে চলা ফেচার থেকে আলাদা রাখে। দুটি বিষয় Perplexity-কে আলাদা করে। প্রথমত, এটি আলাদা কোনো ট্রেনিং ক্রলার চালায় না: এটি বলে PerplexityBot AI ফাউন্ডেশন মডেলের জন্য কনটেন্ট ক্রল করতে ব্যবহার হয় না, তাই বেছে নেওয়ার মতো কোনো ট্রেনিং টোকেন নেই। দ্বিতীয়ত, এটি স্পষ্ট বলে যে তার ইউজার ফেচার সাধারণত robots.txt উপেক্ষা করে, যেখানে OpenAI বলে ChatGPT-User-এর ক্ষেত্রে robots.txt প্রযোজ্য নাও হতে পারে এবং Anthropic বলে Claude-User-সহ তার বটগুলো robots.txt মানে।
বাস্তবে এর মানে robots.txt-এ Perplexity-র সার্চ ক্রলারের জন্য একটিমাত্র সিদ্ধান্ত, আর কখনো ব্যবহারকারীর অনুরোধে আনা থামাতে চাইলে একটি ফায়ারওয়াল সিদ্ধান্ত।
Perplexity-র জন্য কোন robots.txt ব্যবহার করব?
উদ্ধৃত হতে চাইলে সার্চ ক্রলারকে স্পষ্টভাবে অনুমতি দিন। মনে রাখুন, নাম দেওয়া গ্রুপ * থেকে রুল পায় না, তাই প্রাইভেট পাথগুলো আবার লিখুন:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ PerplexityBot ট্রেনিং ক্রলার নয় বলে মডেল ট্রেনিং থেকে অপ্ট-আউট করতে একে ব্লক করলে সেই লক্ষ্য পূরণ হবে না, শুধু আপনার সার্চ দৃশ্যমানতা কমবে।
robots.txt-এ সাইটম্যাপ উল্লেখ করলে Sitemap: লাইনটি কোনো গ্রুপের বাইরে বা ফাইলের শেষে রাখুন; এটি সব ক্রলারের জন্য প্রযোজ্য। সাইটম্যাপ নিজেই যেন আপনার ফায়ারওয়ালে ব্লক না হয়, সেটিও নিশ্চিত করুন, কারণ যে ক্রলার এটি আনতে পারে না, সে নতুন বা পরিবর্তিত পেজ খুঁজতে এটি ব্যবহার করতে পারে না।
ফায়ারওয়াল যেন Perplexity-কে ব্লক না করে, তা কীভাবে নিশ্চিত করব?
বট সুরক্ষা প্রায়ই ব্রাউজার নয় এমন যেকোনো অনুরোধকে সন্দেহজনক মনে করে। প্রতিটি Perplexity ইউজার এজেন্ট দিয়ে আপনার পেজ চান এবং রেসপন্স একটি ব্রাউজার অনুরোধের সঙ্গে তুলনা করুন। ক্রলার 403, 429 বা চ্যালেঞ্জ পেজ পেলে এমন একটি allow রুল যোগ করুন যা টোকেন এবং আদর্শভাবে প্রকাশিত IP রেঞ্জ মেলায়, যাতে শুধু আসল Perplexity ট্রাফিকই ঢুকতে পারে। Cloudflare-এ AI Crawl Control AI ক্রলারদের তালিকা দেখায়, প্রতিটির জন্য Allow বা Block অ্যাকশনসহ।
ইউজার এজেন্টে ভরসা না করে যাচাই করুন। যে কেউ PerplexityBot লেখা অনুরোধ পাঠাতে পারে, তাই শুধু ইউজার এজেন্টের ভিত্তিতে allow রুল নকলকারীদেরও ঢুকতে দেয়, আর এর ভিত্তিতে ব্লক এড়ানো যায়। উৎস IP-কে Perplexity-র প্রকাশিত তালিকার সঙ্গে মেলালে দুই ধরনের রুলই নির্ভরযোগ্য হয়।
AISeeWhy আরও 12টি ক্রলারের সঙ্গে PerplexityBot ও Perplexity-User পরীক্ষা করে। Perplexity একটি উত্তরে আপনার পেজ ব্যবহার করতে পারবে কি না, তা দুটিই ঠিক করে, তাই যেকোনোটির ব্লককে P1 হিসেবে জানানো হয়, ঠিক করার রুলসহ।
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- AI ক্রলারের IP চেক
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
Perplexity কি আমার কনটেন্ট দিয়ে AI মডেল ট্রেনিং করে?
Perplexity বলে, PerplexityBot বা Perplexity-User কোনোটিই AI ফাউন্ডেশন মডেল ট্রেনিংয়ের জন্য কনটেন্ট সংগ্রহে ব্যবহার হয় না।
Perplexity-User কেন robots.txt উপেক্ষা করে?
Perplexity-র যুক্তি হলো, একজন ব্যবহারকারী পেজটি চেয়েছেন, তাই আনার কাজটি স্বয়ংক্রিয় ক্রলিং নয়, বরং সেই ব্যবহারকারীর হয়ে করা। এর ডকুমেন্টেশন বলে, এই কারণেই ফেচার সাধারণত robots.txt উপেক্ষা করে।
দরকার হলে Perplexity-User কীভাবে ব্লক করব?
আপনার ফায়ারওয়াল বা CDN ব্যবহার করুন, ইউজার এজেন্ট টোকেন ও Perplexity-র প্রকাশিত IP রেঞ্জ মিলিয়ে। এই এজেন্টের জন্য robots.txt নির্ভরযোগ্য নিয়ন্ত্রণ নয়।
robots.txt-এর পরিবর্তন কার্যকর হতে কত সময় লাগে?
Perplexity বলে, তার সিস্টেমে পরিবর্তন প্রতিফলিত হতে 24 ঘণ্টা পর্যন্ত লাগতে পারে।
PerplexityBot ব্লক করলে কি Perplexity আমার কনটেন্ট একেবারেই ব্যবহার করবে না?
না। এতে আপনার পেজ Perplexity-র সার্চ ইনডেক্সের ক্রলের বাইরে থাকে, কিন্তু কোনো ব্যবহারকারী প্রশ্ন করলে Perplexity-User তবুও পেজটি আনতে পারে, কারণ এই ফেচার সাধারণত robots.txt উপেক্ষা করে।
উৎস
- Perplexity: Perplexity ক্রলার
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI ক্রলার পরিচালনা (AI Crawl Control)