আমার সাইট হঠাৎ AI ক্রলার ব্লক করছে কেন?

প্রকাশিত

সংক্ষিপ্ত উত্তর

যে সাইট AI ক্রলার ব্লক করা শুরু করে, সেটি প্রায় সবসময় পাঁচটি জায়গার একটিতে বদলেছে: আসলে যে robots.txt পাঠানো হয়, Cloudflare-এর AI ক্রলার নীতির মতো কোনো CDN সেটিং, বট সুরক্ষা বা রেট লিমিট, হোস্টিংয়ের কোনো ডিফল্ট, অথবা এমন robots.txt যা এখন এরর দেয়। আজকের robots.txt এবং একটি পেজ প্রতিটি ক্রলার হিসেবে আনুন, ব্রাউজারের সঙ্গে ও আগে যা ছিল তার সঙ্গে তুলনা করুন, এবং এই স্তরগুলো এই ক্রমেই চেক করুন।

কেউ ইচ্ছা করে AI উত্তর থেকে হারিয়ে যেতে চায় না। এটি ঘটে থিম আপডেট, সিকিউরিটি সেটিং, মাইগ্রেশন বা কোনো প্রোভাইডারের বদলানো ডিফল্টের পার্শ্বপ্রতিক্রিয়া হিসেবে। ব্রাউজার তখনো সাইটটি স্বাভাবিকভাবে দেখে, তাই পরিবর্তনটি চোখ এড়িয়ে যেতে পারে, যতক্ষণ না কেউ ChatGPT বা Perplexity-কে প্রোডাক্টটি নিয়ে জিজ্ঞেস করে আর একজন প্রতিযোগীর নাম পায়। প্রতিটি স্তর এমন চিহ্ন রাখে যা বাইরে থেকে বা আপনার লগে চেক করা যায়।

এই পেজে
  1. ক্রলাররা যে robots.txt পায়, তা কি বদলেছে?
  2. Cloudflare-এর 2026 সালের AI ক্রলার নীতি কি আমার সাইটের অনুমতি বদলে দিয়েছে?
  3. বট সুরক্ষা বা রেট লিমিট কি ক্রলারদের আটকে দিচ্ছে?
  4. আমার হোস্টিং প্রোভাইডার কি তার ডিফল্ট বদলেছে?
  5. robots.txt কি এরর দিচ্ছে?
  6. এটি কবে শুরু হয়েছে, তা কীভাবে খুঁজে বের করব?
  7. পরের বার কীভাবে আরও আগে ধরব?

ক্রলাররা যে robots.txt পায়, তা কি বদলেছে?

https://yourdomain.com/robots.txt আনুন এবং আপনার রিপোজিটরি বা ব্যাকআপের ফাইলের সঙ্গে তুলনা করুন। ডিস্কের ফাইল নয়, পাঠানো ফাইলটি দেখুন, কারণ পথে কয়েকটি স্তর এটি বদলাতে পারে:

Google Search Console-এর robots.txt রিপোর্ট গত 30 দিনে Google যে ভার্সনগুলো এনেছে তা দেখায়, ফাইল বা আনার ফলাফল বদলালে প্রতিবার নতুন এন্ট্রিসহ। এটি শুধু Google যা দেখেছে তা দেখায়, কিন্তু আপনার সার্ভার ইউজার এজেন্ট অনুযায়ী robots.txt না বদলালে AI ক্রলাররাও একই ফাইল পেয়েছে।

Cloudflare-এর 2026 সালের AI ক্রলার নীতি কি আমার সাইটের অনুমতি বদলে দিয়েছে?

Cloudflare তার AI ক্রলার নিয়ন্ত্রণ কয়েকবার বদলেছে, আর কিছু পরিবর্তন কেউ এডিট না করলেও একটি জোনের আচরণ বদলে দেয়। 1 জুলাই 2025 থেকে এটি নতুন ডোমেইনকে সাইন-আপের সময় জিজ্ঞেস করতে শুরু করে AI ক্রলারদের অনুমতি দেবে কি না, শুরুর অবস্থা ব্লক রেখে। 1 জুলাই 2026-এ এটি একক Block AI bots সুইচের বদলে Free-সহ সব প্ল্যানের জন্য আলাদা Search, Agent ও Training নীতি চালু করে।

যে বিষয়টিতে বেশিরভাগ সাইট আটকে যায় তা হলো মিশ্র উদ্দেশ্যের ক্রলার। Cloudflare-এর ডকুমেন্টেশন বলে, Training-এর অ্যাকশন সার্চ ও ট্রেনিং দুটোর জন্যই ব্যবহৃত ক্রলারদের ওপরও প্রযোজ্য। এর জুলাই 2026-এর ঘোষণায় বলা হয়েছিল, 15 সেপ্টেম্বর 2026 থেকে যেসব গ্রাহক Training ব্লক করা বেছে নিয়েছেন, নতুন অপশন দিয়ে হোক বা পুরোনো Block AI bots সেটিং দিয়ে, তাদের জন্য Googlebot, Applebot ও BingBot-এর মতো বহু উদ্দেশ্যের ক্রলার ব্লক হবে। ফলে এক বছর আগে সেট করা ট্রেনিং অপ্ট-আউট এখন সার্চ ক্রলারদের পর্যন্ত পৌঁছাতে পারে।

নতুন ডোমেইনের ডিফল্ট সময়ের সঙ্গে ভিন্নভাবে বর্ণনা করা হয়েছে। একই ঘোষণায় বলা হয়েছিল, 15 সেপ্টেম্বর 2026 থেকে নতুন ডোমেইনে বিজ্ঞাপন দেখানো পেজে Training ও Agent ব্লক থাকবে, অথচ 2 নভেম্বর 2026-এ আপডেট হওয়া নীতির ডকুমেন্টেশন বলে নতুন ডোমেইন তিনটিই Allow অবস্থায় শুরু করে। Security, তারপর Settings খুলুন, Bot traffic দিয়ে ফিল্টার করুন এবং নিজের জোনের AI Crawler and Agent access policies পড়ুন। Cloudflare AI Crawl Control নিয়ে আমাদের গাইড প্রতিটি সেটিং ব্যাখ্যা করে।

বট সুরক্ষা বা রেট লিমিট কি ক্রলারদের আটকে দিচ্ছে?

বট সুরক্ষা প্রতিটি অনুরোধ বিচার করে, আর ক্রলাররা ডেটা সেন্টার থেকে দ্রুত অনেক পেজ আনে, যা বটরাই করে। গত মাসে যে ক্রলার ঢুকতে পারত, তার অপারেটর IP রেঞ্জ বা ক্রল রেট বদলালে, অথবা সুরক্ষার রুল আপডেট হলে, সেটি চ্যালেঞ্জ পেজ পেতে শুরু করতে পারে। Cloudflare-এর Bot Fight Mode একটি সাধারণ কারণ, আর Cloudflare বলে WAF কাস্টম রুল বা Page Rules দিয়ে একে এড়ানো বা বাদ দেওয়া যায় না, তাই এটি চালু থাকা অবস্থায় পরে যোগ করা অনুমতির রুল কাজে আসবে না। নতুন কোনো রেট লিমিট যদি হঠাৎ বেশি অনুরোধে 429 দেয়, ব্যস্ত ক্রলারের ওপর তারও একই প্রভাব পড়ে।

বাইরে থেকে পরীক্ষা করুন: একটি পেজ ব্রাউজার হিসেবে এবং দুটি AI সার্চ ক্রলার হিসেবে অনুরোধ করুন, তারপর robots.txt একটি ক্রলার হিসেবে অনুরোধ করুন।

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

শুধু ক্রলারের জন্য 403, 429 বা 503, Just a moment... শিরোনামের পেজ, অথবা ব্রাউজারের চেয়ে অনেক ছোট বডি মানে ক্রলারের সঙ্গে ভিন্ন আচরণ করা হচ্ছে। পরীক্ষাটি আসে আপনার IP থেকে, ভেন্ডরের নয়, তাই যাচাই করা বটের স্ট্যাটাসভিত্তিক রুল আসল ক্রলারের সঙ্গে তবুও ভিন্ন আচরণ করতে পারে। ফায়ারওয়ালের ইভেন্ট লগ দেখায় কোন রুল সাড়া দিয়েছে।

আমার হোস্টিং প্রোভাইডার কি তার ডিফল্ট বদলেছে?

কিছু হোস্ট আপনার নিজের রুল চলার আগেই সার্ভারে AI ট্রাফিক ফিল্টার করে। যেমন SiteGround আগস্ট 2025-এ লিখেছিল, এটি ডিফল্টভাবে ট্রেনিং ডেটা সংগ্রহের জন্য তৈরি AI ক্রলার ব্লক করে, আর কেউ কোনো পেজ নিয়ে AI অ্যাসিস্ট্যান্টকে জিজ্ঞেস করলে যে ক্রলাররা আসে তাদের অনুমতি দেয়। এমন রুল আপনার robots.txt-এ দেখা যায় না, আর হোস্ট তার বট তালিকা আপডেট করলে এগুলো বদলাতে পারে।

একই হোস্টের কয়েকটি সাইটে একসঙ্গে ব্লক দেখা দিলে, অথবা এমন রেসপন্সে দেখা দিলে যা কখনো আপনার অ্যাপ্লিকেশনের লগে পৌঁছায় না, হোস্টকে জিজ্ঞেস করুন আপনার অ্যাকাউন্টে কোন বট রুল প্রযোজ্য এবং যে ক্রলারদের রাখতে চান তাদের ছাড় দেওয়া যায় কি না।

robots.txt কি এরর দিচ্ছে?

যে robots.txt কাজ করে না, তা যেকোনো Disallow লাইনের চেয়ে বেশি ব্লক করতে পারে। RFC 9309 অনুযায়ী 4xx রেসপন্স মানে ক্রলার সবকিছু আনতে পারে, কিন্তু সার্ভার এরর (5xx) বা কোনো উত্তর না পাওয়ার মানে ক্রলারকে ধরে নিতে হবে পুরো সাইট নিষিদ্ধ। এমন এররের প্রথম 12 ঘণ্টা Google ক্রলিং বন্ধ রাখে, তারপর 30 দিন পর্যন্ত তার শেষ ভালো কপি ব্যবহার করে।

এভাবেই লোডের হঠাৎ বৃদ্ধি, /robots.txt-কে চ্যালেঞ্জ করা কোনো ফায়ারওয়াল রুল, বা একে অন্তর্ভুক্ত করা রেট লিমিট একটি রুলও না বদলে ভদ্র ক্রলারদের বাইরে রাখতে পারে। ওপরের পরীক্ষার শেষ কমান্ডটি 200 ও text/plain ফেরত দেওয়া উচিত। সেখানে 5xx, টাইমআউট বা চ্যালেঞ্জ পেজ এলে সেটিই আগে ঠিক করতে হবে।

এটি কবে শুরু হয়েছে, তা কীভাবে খুঁজে বের করব?

একটি তারিখ রহস্যকে তুলনাযোগ্য পার্থক্যে বদলে দেয়। আপনার অ্যাক্সেস লগে AI ক্রলারের ইউজার এজেন্ট থেকে আসা অনুরোধ ফিল্টার করুন এবং সেই দিনটি খুঁজুন যেদিন তাদের স্ট্যাটাস কোড 200 থেকে 403, 429 বা 503-এ বদলেছে, অথবা যেদিন তারা robots.txt পড়ার পর পেজ চাওয়া বন্ধ করেছে; AI ক্রলারের জন্য সার্ভার লগ চেক করা নিয়ে আমাদের গাইডে কমান্ডগুলো আছে। আপনার CDN যে অনুরোধ ব্লক করেছে তা কখনো অরিজিনে পৌঁছায় না, তাই CDN-ও চেক করুন। Cloudflare-এ AI Crawl Control সময়ের সঙ্গে স্ট্যাটাস কোডের বণ্টন দেখায়, যা ক্রলার অনুযায়ী ফিল্টার করা যায়।

তারপর সেই তারিখটি ডিপ্লয়, প্লাগইন ও থিম আপডেট, CDN সেটিংয়ের পরিবর্তন এবং প্রোভাইডারদের ঘোষণার সঙ্গে মিলিয়ে দেখুন। কিছু করার আগে নিশ্চিত করুন উৎস IP-গুলো ভেন্ডরের, যাতে আপনি আসল ক্রলারকেই দেখছেন, তার নাম ব্যবহার করা কোনো ছদ্মবেশীকে নয়।

পরের বার কীভাবে আরও আগে ধরব?

শুধু ট্রাফিক কমলে নয়, প্রতিটি ডিপ্লয়, CDN পরিবর্তন ও প্লাগইন আপডেটের পর অ্যাক্সেস চেক করুন। AISeeWhy-এর ফ্রি চেক একটি আসল ব্রাউজারের পাশাপাশি 16টি AI ও সার্চ ক্রলার হিসেবে একটি পেজ আনে, প্রতিটি ক্রলারের জন্য আপনার robots.txt প্রয়োগ করে এবং ফায়ারওয়ালের চ্যালেঞ্জ পেজ চিনে নেয়। ফ্রি robots.txt চেকার প্রতিটি ক্রলারের জন্য দেখায়, আজ লাইভ থাকা ফাইল অনুযায়ী একটি পেজ আনা যাবে কি না।

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

প্রশ্নোত্তর

ChatGPT আমার সাইট দেখানো বন্ধ করল কেন?

প্রায়ই কারণ ChatGPT সার্চের পেছনের ক্রলার OAI-SearchBot robots.txt-এর পরিবর্তন, CDN নীতি বা বট সুরক্ষার কারণে ব্লক হয়ে গেছে। OpenAI বলে, যেসব সাইট একে ব্লক করে সেগুলো ChatGPT সার্চের উত্তরে আসবে না। ওই ক্রলারের জন্য প্রতিটি স্তর চেক করুন, আর robots.txt ঠিক করার পর প্রায় 24 ঘণ্টা সময় দিন, OpenAI-এর মতে এর সিস্টেমের মানিয়ে নিতে এতটা সময় লাগে।

Cloudflare কি আমার সাইটে Googlebot ব্লক করা শুরু করেছে?

এমন হতে পারে। Cloudflare বলেছিল, 15 সেপ্টেম্বর 2026 থেকে যেসব গ্রাহক Training ব্লক করেন তারা Googlebot, Applebot ও BingBot-এর মতো বহু উদ্দেশ্যের ক্রলারও ব্লক করেন। এর ডকুমেন্টেশন বলে, Training Disallow অপশন এজে ট্রেনিং ক্রলার ব্লক করে, কিন্তু মিশ্র ব্যবহারের ক্রলারদের বাদ রাখে, তাই আপনার জোন কোন অপশন ব্যবহার করে তা চেক করুন।

সাইট বিল্ডার বা প্লাগইন কি আমার হয়ে robots.txt বদলাতে পারে?

হ্যাঁ। সাইট বিল্ডার এবং SEO বা সিকিউরিটি প্লাগইন robots.txt-এ AI ক্রলারের রুল লিখতে পারে, আর কিছু সময়ের সঙ্গে তাদের বট তালিকা বাড়ায়। প্রতিটি আপডেটের পর লাইভ ফাইলটি আনুন এবং আপনার কাছে গুরুত্বপূর্ণ সার্চ ক্রলারদের ওপর প্রযোজ্য গ্রুপগুলো পড়ুন।

আমার লাইভ robots.txt সার্ভারের ফাইল থেকে আলাদা কেন?

আপনার সার্ভারের সামনের কিছু একটা এটি বদলাচ্ছে। যেমন Cloudflare-এর managed robots.txt একই রেসপন্সে আপনার ফাইলের শুরুতে নিজের রুল ও content signals যোগ করে। অনুরোধ এলে robots.txt তৈরি করা CMS বা হোস্ট-স্তরের কোনো সেটিংও এটি বদলে দিতে বা বাড়াতে পারে।

ঠিক করার পর AI ক্রলাররা কত দিনে ফিরে আসে?

RFC 9309 বলে, ক্রলাররা 24 ঘণ্টার বেশি ক্যাশ করা robots.txt ব্যবহার করবে না, OpenAI বলে প্রায় 24 ঘণ্টা আর Perplexity বলে 24 ঘণ্টা পর্যন্ত। ফায়ারওয়ালের পরিবর্তন আপনার প্রোভাইডার ডিপ্লয় করামাত্র কার্যকর হয়, কিন্তু ক্রলাররা নিজেদের সময়সূচিতে ফেরে।

উৎস

আরও আর্টিকেল