প্রতি দশটি ব্যবসায়িক ওয়েবসাইটের চারটি AI ক্রলারকে ফিরিয়ে দেয়

প্রকাশিত

সংক্ষিপ্ত উত্তর

যুক্তরাষ্ট্র, যুক্তরাজ্য ও ফ্রান্সের ১৬৫টি ব্যবসায়িক ওয়েবসাইটের অডিটে দেখা গেছে, ৩৮% সাইট সার্ভার পর্যায়ে অন্তত একটি AI ক্রলারকে ফিরিয়ে দেয়, প্রায় সবসময়ই একটি ট্রেনিং বা স্ক্র্যাপার বট। প্রতি দশটির মধ্যে প্রায় একটি সাইট PerplexityBot বা OAI-SearchBot-এর মতো AI সার্চ ক্রলারকেও ঠেকিয়েছে, যেগুলো সাইটের উদ্ধৃতি (citation) পেতে সাহায্য করতে পারে। প্রতিটি ক্রলারের জন্য একটি করে রিকোয়েস্ট পাঠিয়ে আপনার সাইট পরীক্ষা করুন।

আপনি ChatGPT-কে নিজের পণ্য সম্পর্কে জিজ্ঞেস করলেন, আর সে একজন প্রতিদ্বন্দ্বীর নাম, একটি রিভিউ সাইট এবং একটি ফোরাম থ্রেড দেখাল। কখনো এটা কনটেন্টের সমস্যা। অনেক সময় এটা ফায়ারওয়ালের কাজ, যা AI ক্রলারকে "না" বলে দেয়। আপনার টিমের কেউ তা দেখেনি, কারণ ব্রাউজারে সাইট ঠিকই চলে।

এই পেজে
  1. আমরা কী পরীক্ষা করেছি?
  2. আমরা কী পেয়েছি?
  3. এটা কেন হয়, আর কখন তা ইচ্ছাকৃত সিদ্ধান্ত?
  4. সবচেয়ে বড় সাইটগুলো কি ভালো করছে?
  5. দশ মিনিটে নিজের সাইট কীভাবে পরীক্ষা করব?
  6. এই সংখ্যাগুলো কতটা নির্ভরযোগ্য?

আমরা কী পরীক্ষা করেছি?

আমরা একই ঠিকানা থেকে একটি পেজ কয়েকবার রিকোয়েস্ট করি: একবার সাধারণ ব্রাউজার হিসেবে, আর একবার করে ১৪টি AI ও সার্চ ক্রলার হিসেবে। এর মধ্যে আছে OpenAI-এর GPTBot, OAI-SearchBot ও ChatGPT-User, Anthropic-এর ClaudeBot ও Claude-SearchBot, এবং Perplexity-র PerplexityBot। ব্রাউজার পেজ পেলে আর কোনো ক্রলার 401, 403, 406, 429, 451, 503 বা চ্যালেঞ্জ পেজ পেলে ধরা হয় যে সাইটটি ওই ক্রলারকে ফিরিয়ে দিচ্ছে।

নমুনায় আছে যুক্তরাষ্ট্র, যুক্তরাজ্য ও ফ্রান্সের ২১৮টি ব্যবসায়িক ওয়েবসাইট, যেগুলো ২০২৬ সালের ১৮ থেকে ২১ নভেম্বরের মধ্যে অডিট করা হয়েছে। ১৬৫টিতে আমরা পূর্ণ পরীক্ষা চালাতে পেরেছি। বাকি ৫৩টি আমাদের সাধারণ ব্রাউজার রিকোয়েস্টও প্রত্যাখ্যান করেছে বা সাড়া দেয়নি, তাই অনুমান না করে সেগুলো বাদ দিয়েছি।

আমরা কী পেয়েছি?

এটা কেন হয়, আর কখন তা ইচ্ছাকৃত সিদ্ধান্ত?

এর অনেকটাই সম্ভবত ইচ্ছাকৃত। অনেক মালিক চান না তাঁদের কনটেন্ট মডেল ট্রেনিংয়ে ব্যবহৃত হোক, আর স্ক্র্যাপার ঠেকানোর বট-সুরক্ষা সেটিং চালু করা সহজ। এটি একটি যুক্তিসংগত সিদ্ধান্ত।

সমস্যা হলো, AI কোম্পানিগুলো ট্রেনিং ও সার্চের জন্য আলাদা ক্রলার চালায়। ট্রেনিং ক্রলার ঠেকাতে সার্চ ক্রলারও ঠেকানো জরুরি নয়, আর সার্চ ক্রলারই সেই ক্রলার যার মাধ্যমে উত্তরে আপনার পেজের উদ্ধৃতি আসতে পারে।

সবচেয়ে বড় সাইটগুলো কি ভালো করছে?

আসলে নয়। সবচেয়ে জনপ্রিয় ১,০০০ ডোমেইনের ওপর আমাদের robots.txt রিপোর্টে দেখা গেছে, robots.txt আছে এমন সাইটগুলোর ২৯.৯% অন্তত একটি AI ট্রেনিং ক্রলারকে ব্লক করে, এবং তাদের ৬৩.২% অন্তত একটি AI সার্চ বা ইউজার ক্রলারকেও ব্লক করে। মাত্র ১১.০% ট্রেনিং ব্লক করে সব AI সার্চ ক্রলারকে অনুমতি দেয়, অথচ সম্ভবত বেশিরভাগ সাইট এই ব্যবস্থাটিই চেয়েছিল।

দশ মিনিটে নিজের সাইট কীভাবে পরীক্ষা করব?

  1. yoursite.com/robots.txt খুলুন। আপনার গুরুত্বপূর্ণ প্রতিটি AI ক্রলারের জন্য দেখুন কোনো গ্রুপে তার নাম আছে কি না এবং গ্রুপটি কী বলছে। যে গ্রুপে কোনো ক্রলারের নাম থাকে, সেটি সাধারণ * গ্রুপকে সম্পূর্ণভাবে প্রতিস্থাপন করে।
  2. ফাইলে কী লেখা আছে তা নয়, সার্ভার কী করে তা পরীক্ষা করুন। আপনার প্রধান পেজটি একবার ব্রাউজার হিসেবে এবং একবার ক্রলার হিসেবে রিকোয়েস্ট করুন। 403, 429, Just a moment... শিরোনামের পেজ, বা ব্রাউজারের চেয়ে অনেক ছোট রেসপন্স ফায়ারওয়াল ব্লকের লক্ষণ।
  3. অ্যাসিস্ট্যান্টকে জিজ্ঞেস করুন। সার্চ চালু রেখে ChatGPT বা Perplexity-কে আপনার ক্রেতারা যে প্রশ্ন করেন তা করুন এবং দেখুন সে কোন সাইটগুলোর উদ্ধৃতি দেয়। অ্যাক্সেস ঠিক থাকা সত্ত্বেও আপনি অনুপস্থিত থাকলে সমস্যা কনটেন্টে, অ্যাক্সেসে নয়।

এই সংখ্যাগুলো কতটা নির্ভরযোগ্য?

এগুলোকে আদমশুমারি নয়, একটি প্রবণতা হিসেবে দেখুন। নমুনাটি র‍্যান্ডম নয়: এই কোম্পানিগুলো পাওয়া গেছে বিজ্ঞাপন লাইব্রেরি, চাকরির বোর্ড ও মানচিত্রের তালিকা থেকে। আমরা একটি ঠিকানা থেকে ইউজার এজেন্ট ধরে পরীক্ষা করি, অথচ আসল ক্রলার আসে তাদের ভেন্ডরদের প্রকাশিত ঠিকানা থেকে, তাই কিছু ফায়ারওয়াল আসল ক্রলারের সঙ্গে আলাদা আচরণ করতে পারে। আর ব্লক করা সবসময় ভুল নয়।

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

প্রশ্নোত্তর

কত শতাংশ ওয়েবসাইট AI ক্রলার ব্লক করে?

পরীক্ষাযোগ্য ১৬৫টি ব্যবসায়িক ওয়েবসাইটের আমাদের অডিটে ৩৮% সাইট সার্ভার পর্যায়ে অন্তত একটি AI ক্রলারকে ফিরিয়ে দিয়েছে, বেশিরভাগই ট্রেনিং ও স্ক্র্যাপার বট। প্রায় ১০% একটি AI সার্চ ক্রলারকেও প্রত্যাখ্যান করেছে।

GPTBot ব্লক করলে কি আমার সাইট ChatGPT সার্চ থেকে বাদ যায়?

না। OpenAI বলছে, তাদের ক্রলারগুলোর জন্য প্রতিটি robots.txt সেটিং স্বাধীন: GPTBot ট্রেনিংয়ের সঙ্গে সম্পর্কিত, OAI-SearchBot ChatGPT সার্চের সঙ্গে। একটি ব্লক করলে অন্যটি ব্লক হয় না।

robots.txt ছাড়া কীভাবে একটি সাইট ক্রলার ব্লক করতে পারে?

ফায়ারওয়াল, CDN বা বট-সুরক্ষার কোনো নিয়ম ক্রলারকে 403, 429 বা চ্যালেঞ্জ পেজ দিয়ে সাড়া দিতে পারে। robots.txt-এ এটি কখনো দেখা যায় না, তাই ক্রলার হিসেবে পেজ রিকোয়েস্ট করে পরীক্ষা করতে হয়।

ক্রলারকে ফিরিয়ে দেওয়া কি সবসময় ভুল?

না। অনেক মালিক ট্রেনিং ক্রলার ও স্ক্র্যাপার দূরে রাখতে চান। ভুল হলো অসাবধানে সার্চ ক্রলার ব্লক করা, কারণ সেগুলোই আপনার পেজের উদ্ধৃতি দিতে পারে।

উৎস

আরও আর্টিকেল