AI ক্রলার মনিটরিং

একটি ফায়ারওয়াল রুল, একটি CDN সেটিং বা নতুন robots.txt রাতারাতি AI ক্রলারদের আটকে দিতে পারে, অথচ মানুষের চোখে আপনার সাইটে কিছুই নষ্ট মনে হয় না। মনিটরিং আপনার গুরুত্বপূর্ণ পেজগুলো আবার চেক করে এবং নতুন কিছু সেগুলো ব্লক করলে আপনাকে ইমেইল করে।

ফ্রি · সাইন-আপ লাগবে না · ৩০ সেকেন্ডে ফল

প্ল্যান ও মূল্য → পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন →

এই লেখাটি ইংরেজি থেকে মেশিনের মাধ্যমে অনুবাদ করা হয়েছে।

মনিটরিং কী চেক করে

প্রতিটি রান আমাদের হোম পেজের ফ্রি চেকের মতোই। আপনার পেজ 16টি AI ও সার্চ ক্রলার, curl এবং একটি ডেস্কটপ ব্রাউজার হিসেবে আনা হয়, প্রতিটি তার প্রকাশিত ইউজার এজেন্ট দিয়ে। প্রতিটি ক্রলার টোকেনের জন্য robots.txt মূল্যায়ন করা হয়, এবং পেজের স্ট্রাকচার্ড ডেটা, কনটেন্ট, তারিখ, সাইটম্যাপ, hreflang ও llms.txt চেক করা হয়। ফলাফল হলো 0 থেকে 100 স্কোর এবং P1 থেকে P3 অগ্রাধিকারসহ পর্যবেক্ষণের তালিকা।

কখন ইমেইল পাবেন

মনিটর করা পেজগুলো আপনার পছন্দমতো প্রতিদিন বা প্রতি সপ্তাহে আবার চেক করা হয়। নতুন কোনো ব্লকিং সমস্যা দেখা দিলে আপনি ইমেইল পান, যেমন কোনো ক্রলার এখন 403 বা চ্যালেঞ্জ পেজ পাচ্ছে, অথবা স্কোর 10 পয়েন্ট বা তার বেশি কমলে। ইমেইলে বলা থাকে কী বদলেছে এবং সমাধানসহ রিপোর্টের লিংক থাকে।

এটি যা দেখতে পায় না

অনুরোধগুলো আমাদের সার্ভার থেকে প্রতিটি ক্রলারের ইউজার এজেন্ট দিয়ে আসে, ক্রলার অপারেটরদের নিজস্ব IP ঠিকানা থেকে নয়। যে ফায়ারওয়াল IP দেখে আসল ক্রলারদের বিশ্বাস করে, সেটি তাদের সঙ্গে আমাদের চেয়ে আলাদা আচরণ করতে পারে, এবং প্রতিটি ব্লক পর্যবেক্ষণে তা বলা থাকে। আসল ক্রলাররা কী উত্তর পেয়েছে তা দেখতে পেইড প্ল্যানের সার্ভার-লগ চেক আপনার অ্যাক্সেস লগ পড়ে এবং প্রতিটি AI ক্রলারের ভিজিট ও স্ট্যাটাস কোড গোনে।

মনিটরিংসহ প্ল্যান

ফ্রি প্ল্যানে মনিটরিং নেই: এতে দিনে একটি চেক, স্কোর ও প্রথম পর্যবেক্ষণসহ। প্ল্যানগুলোর বিল মাসিক, যেকোনো সময় বাতিল করা যায়, এবং প্রতিটি পেমেন্ট 14 দিনের মধ্যে পুরো ফেরত পাওয়া যায়।

কীভাবে শুরু করবেন

  1. আপনার সবচেয়ে গুরুত্বপূর্ণ পেজে ফ্রি চেক চালান এবং প্রথম পর্যবেক্ষণটি দেখুন।
  2. প্রাইসিং পেজে একটি প্ল্যান বেছে নিন এবং আপনার ইমেইল দিয়ে সাইন ইন করুন।
  3. আপনার অ্যাকাউন্টে মনিটরিং-এর অধীনে যে পেজগুলো নজরে রাখবেন সেগুলো যোগ করুন: হোম পেজ, প্রাইসিং, শীর্ষ প্রোডাক্ট বা সার্ভিস পেজ এবং মূল আর্টিকেল।
  4. প্রতিদিন বা প্রতি সপ্তাহ বেছে নিন। সমাধানের পরে আগে ও পরের স্কোর দেখতে পেজটি আবার চেক করুন।

প্রশ্নোত্তর

কোন পরিবর্তনে সতর্কবার্তা আসে?

মনিটর করা পেজে নতুন কোনো ব্লকিং সমস্যা, যেমন কোনো ক্রলার যাকে এখন প্রত্যাখ্যান করা হচ্ছে, অথবা আগের চেকের তুলনায় 10 পয়েন্ট বা তার বেশি স্কোর কমা।

মনিটরিং কি আসল GPTBot বা ClaudeBot ব্যবহার করে?

না। এটি আমাদের সার্ভার থেকে তাদের প্রকাশিত ইউজার এজেন্ট পাঠায়। এতে দেখা যায় আপনার ফায়ারওয়াল ও সার্ভার সেই ইউজার এজেন্টগুলোর সঙ্গে কেমন আচরণ করে; সার্ভার-লগ চেক আসল ভিজিটগুলো দেখায়।

ক্লায়েন্টের সাইট মনিটর করতে পারি?

হ্যাঁ, Business, Agency ও Enterprise-এ। Pro ব্যক্তিগত, অবাণিজ্যিক ব্যবহারের জন্য।

পেমেন্টের আগে কি চেষ্টা করে দেখতে পারি?

ফ্রি চেক দেখায় একটি রান যেকোনো পেজে কী খুঁজে পায়। মনিটরিংয়ের জন্য পেইড প্ল্যান লাগে, যা যেকোনো সময় বাতিল করা যায় এবং 14 দিনের মধ্যে টাকা ফেরত পাওয়া যায়।

সম্পর্কিত টুল ও গাইড