আমার সাইট Perplexity-তে দেখা যাচ্ছে না কেন?
প্রায় ৩০ সেকেন্ডে জেনে নিন PerplexityBot আপনার পেজে পৌঁছাতে পারে কি না, এবং কোন ব্লক (robots.txt, ফায়ারওয়াল বা JavaScript) আপনাকে এর উত্তরের বাইরে রাখছে।
ফ্রি · সাইন-আপ লাগবে না · ৩০ সেকেন্ডে ফল
PerplexityBot-এর জন্য robots.txt
PerplexityBot-এর জন্য প্রযোজ্য গ্রুপটি RFC 9309 নিয়ম অনুযায়ী পড়া হয় এবং যে লাইনটি সিদ্ধান্ত নেয় সেটি দেখানো হয়।
ফায়ারওয়াল ও CDN ব্লক
শুধু ক্রলাররা যে 403, 429 বা চ্যালেঞ্জ পেজ পায় তা চিহ্নিত করা হয় এবং যে ফায়ারওয়াল সাড়া দিয়েছে তার নাম বলা হয়।
পেজ কী ফেরত দেয়
ক্রলারের জন্য স্ট্যাটাস, সাইজ ও রিডাইরেক্ট একটি সাধারণ ব্রাউজারের সঙ্গে তুলনা করা হয়, ফলে ক্রলারদের জন্য কম উত্তর দেওয়া সহজেই ধরা পড়ে।
প্রতিটি সমস্যার সমাধান
প্রতিটি সমস্যার সঙ্গে থাকে কী পরিবর্তন করতে হবে। ফ্রি চেকে আপনার স্কোর ও প্রথম সমস্যাটি দেখা যায়; পূর্ণ রিপোর্ট $29, একবারই দিতে হয়।
Perplexity কেবল সেই পেজগুলোই দেখাতে ও লিংক করতে পারে, যেগুলো ক্রল করার অনুমতি PerplexityBot-এর আছে এবং যা সে সত্যিই পায়। সাধারণ কারণগুলো হলো: robots.txt-এর এমন একটি রুল যা PerplexityBot-কে নিষেধ করে, এমন ফায়ারওয়াল বা CDN যা তাকে 403 বা চ্যালেঞ্জ পেজ দেয়, এবং এমন টেক্সট যা কেবল JavaScript চলার পরে দেখা যায়। তিনটিই চেক করুন, তারপর Perplexity-র প্রকাশিত IP রেঞ্জগুলোকে অনুমতি দিন। Perplexity যদি আপনার বদলে কোনো প্রতিযোগীকে উদ্ধৃত করে, আগে এই ব্লকগুলো বাদ দিন, তারপর একই প্রশ্নে এটি যে পেজ উদ্ধৃত করে তার সঙ্গে আপনার পেজ তুলনা করুন।
৩ ধাপে ব্লক খুঁজে বের করুন
- robots.txt চেক করুন
PerplexityBot-এর নাম থাকা একটি গ্রুপ খুঁজুন। না থাকলেUser-agent: *গ্রুপ প্রযোজ্য হয়, আর নাম দেওয়া গ্রুপ*-কে পুরোপুরি বদলে দেয়। - ব্রাউজার ও ক্রলারের তুলনা করুন
পেজটি ব্রাউজার হিসেবে এবং Perplexity-র প্রতিটি এজেন্ট হিসেবে চান। শুধু এজেন্টদের জন্য 403, 429 বা 503, একটি
Just a moment...পেজ, বা অনেক ছোট একটি 200 ফায়ারওয়ালের দিকে ইঙ্গিত করে। - পেজের সোর্স দেখুন
curlদিয়ে পেজটি আনুন এবং আপনার মূল কনটেন্টের একটি বাক্য খুঁজুন। না পেলে স্ক্রিপ্ট টেক্সট যোগ করছে: সার্ভারে রেন্ডার করুন।
প্রশ্নোত্তর
Perplexity কেন আমার বদলে আমার প্রতিযোগীকে সুপারিশ করে?
Perplexity প্রকাশ করে না এটি কীভাবে উৎস বাছে, তবে এটি শুধু সেই পেজই উদ্ধৃত করতে পারে যা এর এজেন্টরা পড়তে পারে। প্রথমে নিশ্চিত হোন PerplexityBot ও Perplexity-User আপনার পেজ পায়। পেলে, একই প্রশ্নে Perplexity যে পেজ উদ্ধৃত করে তা খুলে তুলনা করুন: আপনার পেজ কি একেবারে শুরুতেই ঠিক সেই প্রশ্নের উত্তর দেয়, টেক্সটে লেখা তথ্যসহ? AISeeWhy-এর AI-তে দৃশ্যমানতা চেক Perplexity ও আরও তিনটি অ্যাসিস্ট্যান্টকে আপনার ক্রেতাদের প্রশ্ন করে এবং দেখায় আপনার পাশে কোন প্রতিযোগীদের নাম আসে।
Perplexity কি আমার কনটেন্ট দিয়ে তার মডেল ট্রেনিং করে?
Perplexity বলে, PerplexityBot AI ফাউন্ডেশন মডেলের জন্য কনটেন্ট ক্রল করতে ব্যবহার হয় না এবং Perplexity-User ট্রেনিংয়ের জন্য কনটেন্ট সংগ্রহ করে না। তাই PerplexityBot-কে নিষেধ করা ট্রেনিং থেকে বাদ পড়ার উপায় নয়; এতে শুধু Perplexity-র সার্চ ফলাফলে আপনার দৃশ্যমানতা কমে।
robots.txt ঠিক করার কতক্ষণ পরে Perplexity তা টের পাবে?
Perplexity বলে, তার সিস্টেমে robots.txt-এর পরিবর্তন প্রতিফলিত হতে 24 ঘণ্টা পর্যন্ত লাগতে পারে। ফায়ারওয়ালের পরিবর্তন কার্যকর হয় যখন আপনার প্রোভাইডার তা প্রয়োগ করে, তবে ফলাফল বিচার করার আগে ক্রলারকে ফিরে আসার সময় দিন।
robots.txt দিয়ে কি Perplexity-User ব্লক করা যায়?
নির্ভরযোগ্যভাবে নয়। Perplexity বলে, এই ফেচার সাধারণত robots.txt উপেক্ষা করে, কারণ আনার অনুরোধটি একজন ব্যবহারকারী করেছেন। একে থামাতে হলে এর প্রকাশিত IP রেঞ্জের সঙ্গে মেলানো একটি ফায়ারওয়াল রুলই নির্ভরযোগ্য উপায়।
Perplexity-র ট্রাফিক চিনতে কি শুধু ইউজার এজেন্ট চেক যথেষ্ট?
না। ইউজার এজেন্ট সহজেই নকল করা যায়। উৎস IP-কে Perplexity-র perplexitybot.json ও perplexity-user.json-এ প্রকাশিত রেঞ্জের সঙ্গে তুলনা করুন, এবং ফায়ারওয়াল রুলে ইউজার এজেন্ট ও IP দুটোই মেলান।
পূর্ণ গাইড পড়ুন
আপনি Perplexity-কে আপনার পণ্য নিয়ে প্রশ্ন করেন, আর সে কোনো প্রতিযোগী, রিভিউ সাইট বা ফোরামের থ্রেড উদ্ধৃত করে, কিন্তু আপনার নিজের পেজ কখনো নয়। কখনো এটি প্রাসঙ্গিকতার প্রশ্ন। প্রায়ই এটি একটি টেকনিক্যাল ব্লক, যা কয়েক মিনিটেই খুঁজে পাওয়া যায়। Perplexity জানায় সে কোন এজেন্ট ব্যবহার করে, প্রতিটি কী করে এবং তার ট্রাফিক কোথা থেকে আসে, তাই চেইনের প্রতিটি ধাপ যাচাই করা যায়: robots.txt, আপনার সার্ভার কী রেসপন্স পাঠায়, এবং সেই রেসপন্সে কী থাকে।
Perplexity কীভাবে পেজ খুঁজে পায় ও পড়ে?
Perplexity দুটি এজেন্টের কথা জানায়। তাদের কাজ আলাদা, এবং যেকোনো একটির সমস্যাই আপনার পেজকে উত্তরের বাইরে রাখতে পারে।
PerplexityBotতৈরি করা হয়েছে Perplexity-র সার্চ ফলাফলে ওয়েবসাইট দেখানো ও লিংক করার জন্য। সেখানে দেখা যেতে চাইলে Perplexity robots.txt-এ এটিকে অনুমতি দেওয়ার পরামর্শ দেয়, এবং বলে যে এটি AI ফাউন্ডেশন মডেলের জন্য কনটেন্ট ক্রল করতে ব্যবহার হয় না।Perplexity-Userব্যবহারকারীর কাজে সহায়তা করে। কেউ প্রশ্ন করলে উত্তর দিতে সাহায্যের জন্য এটি একটি পেজে যেতে পারে এবং সেই পেজের লিংক দিতে পারে। Perplexity বলে, এটি ওয়েব ক্রলিং বা ট্রেনিং ডেটা সংগ্রহের জন্য ব্যবহার হয় না।
বাস্তবে, কেউ প্রশ্ন করার আগেই Perplexity আপনার পেজগুলো সম্পর্কে জানে কি না, তা ঠিক করে PerplexityBot, আর কোনো প্রশ্নের জন্য দরকার হলে লাইভ একটি পেজ খোলা যাবে কি না, তা ঠিক করে Perplexity-User। উদ্ধৃত হতে চাইলে দুজনেরই ব্রাউজারের পাওয়া পেজটিই পাওয়া উচিত।
আপনার robots.txt কি PerplexityBot-কে ব্লক করছে?
https://yourdomain.com/robots.txt খুলুন এবং এমন একটি গ্রুপ খুঁজুন যাতে PerplexityBot-এর নাম আছে। না থাকলে ক্রলার User-agent: * গ্রুপ মেনে চলে। RFC 9309 অনুযায়ী মেলানো হয় বড়-ছোট হাতের অক্ষর না দেখে, এবং নাম দেওয়া একটি গ্রুপ * গ্রুপের সঙ্গে যোগ হয় না, বরং সেটিকে পুরোপুরি প্রতিস্থাপন করে।
এই ব্লক খুব সাধারণ। সবচেয়ে জনপ্রিয় 1,000টি ডোমেইনের robots.txt নিয়ে আমাদের গবেষণায়, robots.txt দেওয়া 518টি সাইটের মধ্যে 86টি (16.6%) PerplexityBot-এর জন্য হোম পেজ নিষিদ্ধ করেছিল। আমাদের পরীক্ষা করা AI সার্চ ক্রলারগুলোর মধ্যে এটিই ছিল সর্বোচ্চ হার; OAI-SearchBot ব্লক ছিল 58টি সাইটে (11.2%)। এদের কিছু সাইট হয়তো AI ট্রেনিং থামাতে চেয়েছিল, কিন্তু Perplexity বলে PerplexityBot ট্রেনিং ক্রলার নয়, তাই একে ব্লক করলে সেই লক্ষ্য পূরণ হয় না, শুধু সার্চে দৃশ্যমানতা কমে।
Perplexity-কে ঢুকতে দেয় অথচ একটি প্রাইভেট অংশ বন্ধ রাখে, এমন সেটআপ দেখতে এরকম:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml ফাইলটি নিজে ঠিকভাবে উত্তর দেয় কি না, সেটিও দেখুন। robots.txt সার্ভার এরর ফেরত দিলে RFC 9309 অনুযায়ী ক্রলারকে ধরে নিতে হয় যে পুরো সাইটই নিষিদ্ধ। যে robots.txt ঠিকানা স্ট্যাটাস 200 দিয়ে একটি HTML পেজ ফেরত দেয়, তাতে কোনো বৈধ রুল থাকে না। Perplexity বলে, পরিবর্তন কার্যকর হতে 24 ঘণ্টা পর্যন্ত লাগতে পারে।
আপনার ফায়ারওয়াল বা CDN কি Perplexity-কে ব্লক করছে?
robots.txt একটি অনুরোধ, অ্যাক্সেস কন্ট্রোল নয়। আসলে কী ফেরত পাঠানো হবে তা ঠিক করে আপনার ফায়ারওয়াল, CDN বা বট সুরক্ষা, এবং আপনার নিজের ব্রাউজারে সব স্বাভাবিক দেখালেও সেগুলো Perplexity-কে 403, 429 বা চ্যালেঞ্জ পেজ দিতে পারে। Perplexity-র ডকুমেন্টেশন বলে, ওয়েব অ্যাপ্লিকেশন ফায়ারওয়ালের পেছনে থাকা সাইটগুলোকে তার বটদের আলাদা করে অনুমতি দিতে হতে পারে।
একই URL একবার ব্রাউজার হিসেবে এবং একবার প্রতিটি Perplexity এজেন্ট হিসেবে চেয়ে পরীক্ষা করুন, তারপর স্ট্যাটাস ও আকার তুলনা করুন:
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
"Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done শুধু Perplexity এজেন্টদের জন্য 403, 429 বা 503, Just a moment... শিরোনামের একটি পেজ, অথবা ব্রাউজারের চেয়ে অনেক ছোট একটি 200 রেসপন্স: এগুলো সবই ফায়ারওয়ালের দিকে ইঙ্গিত করে। এই পরীক্ষা চলে আপনার IP ঠিকানা থেকে, Perplexity-র নয়, তাই এটি দেখায় আপনার রুল ইউজার এজেন্টের সঙ্গে কেমন আচরণ করে; আসল ক্রলারের জন্য IP-ভিত্তিক রুল তবুও ভিন্ন হতে পারে।
Cloudflare ব্যবহার করলে দুটি বিষয় খেয়াল রাখুন। Perplexity-র ডকুমেন্টেশন Cloudflare-এর নিজের কথাই পুনরাবৃত্তি করে যে WAF কাস্টম রুল দিয়ে Bot Fight Mode এড়ানো যায় না, তাই এই ফিচার Perplexity-কে চ্যালেঞ্জ করলে একটি allow রুল কাজে আসবে না। আর 2025 সালের আগস্টে Cloudflare জানায়, তারা যাকে অঘোষিত ক্রলিং বলেছে তা দেখার পর Perplexity-কে verified bots তালিকা থেকে সরিয়ে দিয়েছে; Perplexity এই বিবরণের বিরোধিতা করেছে। তাই যে রুল শুধু verified bots-কে ঢুকতে দেয়, তা হয়তো Perplexity-কে অন্তর্ভুক্ত করে না। অনুমান না করে আপনার ড্যাশবোর্ডে বর্তমান অবস্থা দেখুন।
Perplexity-র প্রকাশিত IP রেঞ্জ দিয়ে কীভাবে তাকে অনুমতি দেব?
যে কেউ নিজেকে PerplexityBot দাবি করে অনুরোধ পাঠাতে পারে, তাই শুধু ইউজার এজেন্ট মেলায় এমন allow রুল নকলকারীদেরও ঢুকতে দেয়। Perplexity দুটি এজেন্টেরই ঠিকানার রেঞ্জ প্রকাশ করে এবং ইউজার এজেন্ট ও IP ঠিকানা একসঙ্গে মেলানোর পরামর্শ দেয়:
curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Perplexity বলে, এই তালিকাগুলো নিয়মিত আপডেট হয় এবং আপনার WAF রুলের আপডেট স্বয়ংক্রিয় করার পরামর্শ দেয়। allow রুলটি অনুরোধ ব্লক বা চ্যালেঞ্জ করে এমন যেকোনো রুলের উপরে রাখুন: Cloudflare-এর কাস্টম রুলে সবার আগে, অথবা AWS WAF-এ কম priority নম্বর দিয়ে। তারপর লগ দেখতে থাকুন, কারণ ফায়ারওয়ালের পরিবর্তন ছড়িয়ে পড়তে সময় লাগতে পারে।
JavaScript রেন্ডারিং কি Perplexity-কে একটি পেজ পড়তে বাধা দিতে পারে?
পারে। Perplexity-র ক্রলার ডকুমেন্টেশন বলে না তার এজেন্টরা JavaScript চালায় কি না, তাই নিরাপদ অনুমান হলো, ক্রলারের যে টেক্সট দরকার তা সার্ভারের পাঠানো HTML-এই থাকা উচিত। পুরোপুরি ব্রাউজারে তৈরি পেজ, যেমন সার্ভার রেন্ডারিং ছাড়া সিঙ্গল-পেজ অ্যাপ, শুধু একটি লোডিং স্পিনারসহ খালি কাঠামো হিসেবে পৌঁছাতে পারে।
একটি দ্রুত চেক হলো curl দিয়ে পেজটি এনে আউটপুটে আপনার মূল কনটেন্টের একটি বাক্য খোঁজা। সেটি না থাকলে টেক্সট স্ক্রিপ্ট দিয়ে যোগ হয়। সার্ভার-সাইড রেন্ডারিং, স্ট্যাটিক জেনারেশন বা ক্রলারের জন্য প্রিরেন্ডারিং এটি শুধু Perplexity নয়, সব AI ক্রলারের জন্য একসঙ্গে ঠিক করে।
সব খোলা থাকার পরও যদি আমার সাইট না দেখায়?
পড়তে পারা একটি পূর্বশর্ত, নিশ্চয়তা নয়। Perplexity প্রকাশ করে না সে কীভাবে উদ্ধৃত করার উৎস বেছে নেয়, তাই যে পেজ সব এজেন্ট পড়তে পারে, সেটিও প্রশ্নের আরও সরাসরি উত্তর দেওয়া পেজের কাছে হেরে যেতে পারে। আপনি যা নিয়ন্ত্রণ করতে পারেন তা হলো, কোনো টেকনিক্যাল বাধা যেন না থাকে: পরিষ্কার পেজ শিরোনাম, টেক্সটের শুরুতেই উত্তর, এবং অন্য জায়গায় আপনি যা বলেন তার সঙ্গে মেলে এমন সঠিক তথ্য।
robots.txt কী কভার করে না, সেটিও মনে রাখুন। Perplexity বলে, Perplexity-User সাধারণত robots.txt উপেক্ষা করে, কারণ আনার অনুরোধটি একজন ব্যবহারকারী করেছেন। তাই Perplexity-User-এর জন্য একটি রুল লাইভ ভিজিট ব্লক করার নির্ভরযোগ্য উপায় নয়, আর robots.txt একে অনুমতি দিলেই প্রমাণ হয় না যে এটি আপনার ফায়ারওয়াল পার হয়।
AISeeWhy একটি ব্রাউজারের পাশাপাশি PerplexityBot, Perplexity-User ও আরও 12টি ক্রলার হিসেবে আপনার পেজ চায়, প্রতিটির জন্য আপনার robots.txt রুল প্রয়োগ করে, চ্যালেঞ্জ পেজ শনাক্ত করে এবং দেখায় JavaScript ছাড়া কতটা টেক্সট পৌঁছায়, যাতে আপনি দেখতে পান চেইনের কোন ধাপ ব্যর্থ হচ্ছে।
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- AI ক্রলারের IP চেক
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
উৎস
- Perplexity: Perplexity ক্রলার
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Bot Fight Mode
- Cloudflare: ওয়েবসাইটের no-crawl নির্দেশ এড়াতে Perplexity গোপন, অঘোষিত ক্রলার ব্যবহার করছে
- Perplexity: এজেন্ট নাকি বট? খোলা ওয়েবে AI-কে বোঝা
- AISeeWhy: AI ক্রলার অ্যাক্সেস রিপোর্ট, 2026-11