Cloudflare-এর AI Crawl Control রিপোর্ট কীভাবে পড়বেন ও কোন AI ক্রলার ঢুকতে পারে দেখবেন

প্রকাশিত

সংক্ষিপ্ত উত্তর

Cloudflare ড্যাশবোর্ডে AI Crawl Control খুলুন: ক্রলারের তালিকায় দেখা যায় আপনার ডোমেইনে Cloudflare যত AI ক্রলার দেখেছে, তাদের রিকোয়েস্ট, robots.txt লঙ্ঘন, এবং অ্যাকশন Allow নাকি Block। ট্রেনিং প্রত্যাখ্যান করে AI সার্চ রাখতে সেখানে বা AI Crawler and Agent access policies-এ সার্চ ও এজেন্ট ক্রলারকে অনুমতি দিন আর ট্রেনিং ক্রলারকে ব্লক বা disallow করুন। তারপর curl দিয়ে বাইরে থেকে নিশ্চিত হোন, কারণ Cloudflare-এর অন্য ফিচার তবুও আপনার অনুমতি দেওয়া ক্রলারকে ব্লক করতে পারে।

Cloudflare-এ এখন দুটি জায়গা ঠিক করে AI ক্রলার কী পাবে: AI Crawl Control, প্রতিটি ক্রলারের রিপোর্ট ও সুইচবোর্ড, যার আগের নাম ছিল AI Audit, আর Security সেটিংসে পুরো জোনের জন্য AI Crawler and Agent access policies। দুটিই Free প্ল্যানে পাওয়া যায়, দুটিই 2026-এ বদলেছে, এবং কোনোটিই এমন অন্য সব ফিচারের কথা জানায় না যা তবুও ক্রলারকে 403 দিতে পারে। এই গাইড রিপোর্টটি কলাম ধরে ধরে ব্যাখ্যা করে, কোথায় অনুমতি ও ব্লক সেট করবেন দেখায়, এবং শেষে এমন একটি পরীক্ষা দেয় যা আপনি নিজের কম্পিউটার থেকে চালাতে পারেন।

এই পেজে
  1. Cloudflare-এ AI ক্রলার রিপোর্ট কোথায়?
  2. AI Crawl Control রিপোর্টের প্রতিটি কলাম ও মেট্রিকের মানে কী?
  3. Cloudflare-এ AI সার্চ ক্রলারকে অনুমতি দিয়ে ট্রেনিং ক্রলার কীভাবে ব্লক করব?
  4. Cloudflare-এর AI ক্রলার ডিফল্টে কী বদলেছে?
  5. অনুমতি দেওয়ার পরেও Cloudflare AI ক্রলার ব্লক করছে কেন?
  6. Cloudflare কোন AI ক্রলারকে ঢুকতে দেয়, বাইরে থেকে কীভাবে নিশ্চিত হব?
  7. Cloudflare AI ক্রলারদের কী পাঠায়, AISeeWhy কীভাবে চেক করে?

Cloudflare-এ AI ক্রলার রিপোর্ট কোথায়?

ড্যাশবোর্ডে আপনার অ্যাকাউন্ট ও ডোমেইন বেছে নিন, তারপর AI Crawl Control খুলুন। Cloudflare বলে, এটি কোনো কনফিগারেশন ছাড়াই কাজ করে এবং সব প্ল্যানে পাওয়া যায়, যদি আপনার ডোমেইনের ট্রাফিক Cloudflare-এর মধ্য দিয়ে প্রক্সি হয়। এর চারটি অংশ:

সংখ্যাগুলো পড়ার সময় প্ল্যানের দুটি সীমা গুরুত্বপূর্ণ। Free প্ল্যানে AI Crawl Control শুধু ইউজার এজেন্ট স্ট্রিং দিয়ে ক্রলার চেনে, তাই শুধু নিজের পরিচয় দেওয়া ক্রলারই দেখে, আর Metrics ট্যাব গত 24 ঘণ্টা দেখায়। পেইড প্ল্যানে Bot Management detection ID দিয়ে শনাক্তকরণ যোগ হয়, আর Bot Management-সহ Enterprise কাস্টমাইজ করা সময়সীমা পায়।

AI Crawl Control রিপোর্টের প্রতিটি কলাম ও মেট্রিকের মানে কী?

Cloudflare ফিল্ডগুলো এভাবে নথিভুক্ত করে। সংজ্ঞাগুলো গুরুত্বপূর্ণ, কারণ কয়েকটি সংখ্যা আপনার ধারণার চেয়ে বেশি কিছু গোনে।

আপনি যে অ্যাকশন বেছে নিয়েছেন তা ধরে রিপোর্ট পড়ুন। Allow-এ থাকা ক্রলারের বেশিরভাগ রিকোয়েস্ট অনুমোদিত ও 2xx কোড হওয়া উচিত। যদি অনেক ব্যর্থ রিকোয়েস্ট দেখায়, সেই ক্রলার দিয়ে ফিল্টার করে স্ট্যাটাস কোডের বণ্টন খুলুন, এবং কোন রুল উত্তর দিয়েছে তা খুঁজতে Security Analytics দেখুন।

Cloudflare-এ AI সার্চ ক্রলারকে অনুমতি দিয়ে ট্রেনিং ক্রলার কীভাবে ব্লক করব?

এটি প্রতিটি ক্রলার ধরে বা আচরণ ধরে করা যায়। ক্রলার ধরে করতে AI Crawl Control খুলে প্রতিটি সারির Action সেট করুন। Cloudflare বলে, সেখানে ব্লক করলে আপনার জোনে একটি WAF custom rule তৈরি বা আপডেট হয়, যা পাথের ব্যতিক্রমের জন্য WAF-এ বাড়ানো যায়। পেইড প্ল্যানে ব্লকড ক্রলার 403 পাবে নাকি 402, তা বেছে নিতে এবং একটি সাধারণ টেক্সট বডি সেট করতে পারেন।

আচরণ ধরে করতে Security, তারপর Settings-এ যান, Bot traffic দিয়ে ফিল্টার করুন এবং AI Crawler and Agent access policies খুলুন। Cloudflare AI ট্রাফিককে তিনটি আচরণে ভাগ করে, আর প্রতিটি পলিসি সেই আচরণের যাচাই করা বট এবং মেলে এমন অযাচাই করা বটের ক্ষেত্রে প্রযোজ্য:

প্রতিটি আচরণকে Block, Block on pages with ads, বা Allow (do not block)-এ সেট করা যায়। Training-এ Disallow-ও আছে, যা শুধু robots.txt-এর মাধ্যমে ক্রলারদের অনুরোধ করে। Bot Preference Sync চালু থাকলে Cloudflare আপনার robots.txt-এর শুরুতে এমন managed রুল যোগ করে যা Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ও meta-externalagent-কে নিষেধ করে, একটি Content Signals লাইন যোগ করে, এবং এজে AI ট্রেনিং ক্রলারদের ব্লকও করে, তবে সার্চ ও ট্রেনিং দুই কাজে ব্যবহৃত ক্রলার বাদে।

AI উদ্ধৃতি চায় এমন বেশিরভাগ সাইটের জন্য নিরাপদ সমন্বয় হলো Search ও Agent-কে Allow, Training-কে Disallow, তারপর শুধু ট্রেনিংয়ের যেসব ক্রলারকে এজেই থামাতে চান, তাদের জন্য AI Crawl Control-এ আলাদা Block অ্যাকশন।

Cloudflare-এর AI ক্রলার ডিফল্টে কী বদলেছে?

1 জুলাই 2025-এ Cloudflare ঘোষণা করে যে ক্রিয়েটরদের টাকা না দিলে AI ক্রলারকে ডিফল্টভাবে ব্লক করা হবে। 1 জুলাই 2026-এ এটি একক Block AI bots সুইচের বদলে ওপরে বর্ণিত আলাদা Search, Agent ও Training পলিসি আনে, Free-সহ সব প্ল্যানে। একই ঘোষণায় বলা হয়, 15 সেপ্টেম্বর 2026 থেকে যুক্ত হওয়া নতুন ডোমেইনে বিজ্ঞাপন দেখানো পেজে Training ও Agent ব্লকড থাকবে, আর Search অনুমোদিত।

Cloudflare-এর বর্তমান পলিসি ডকুমেন্টেশন, যা শেষ আপডেট হয়েছে 2 নভেম্বর 2026-এ, বলে নতুন ডোমেইনে তিনটি আচরণের ডিফল্টই Allow (do not block)। যেহেতু Cloudflare-এর নিজের পেজগুলো বিভিন্ন সময়ে ভিন্ন ডিফল্ট বর্ণনা করেছে, তাই আপনার জোনের জন্য কোনোটির ওপর ভরসা করবেন না: পলিসির পেজ খুলে দেখুন কী সেট করা আছে।

অনুমতি দেওয়ার পরেও Cloudflare AI ক্রলার ব্লক করছে কেন?

AI Crawl Control-এর Allow অ্যাকশন শুধু AI Crawl Control-কে ব্লক করা থেকে বিরত রাখে। অন্য ফিচারগুলো তবুও রিকোয়েস্টের ওপর কাজ করে। সাধারণ কারণ:

Cloudflare কোন AI ক্রলারকে ঢুকতে দেয়, বাইরে থেকে কীভাবে নিশ্চিত হব?

একই পেজ একটি ব্রাউজারের ইউজার এজেন্ট দিয়ে এবং প্রতিটি ক্রলারের ইউজার এজেন্ট দিয়ে চান, তারপর স্ট্যাটাস ও আকার তুলনা করুন। নিচের OpenAI, Perplexity ও Google-এর স্ট্রিংগুলো সেই কোম্পানিগুলোর প্রকাশিত।

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

কোনো ক্রলারের লাইনে 403, 429 বা 503, বা ব্রাউজারের লাইনের চেয়ে অনেক ছোট আকার মানে আপনার অরিজিনের সামনে থাকা কিছু ভিন্নভাবে উত্তর দিয়েছে। Free প্ল্যানে AI Crawl Control ইউজার এজেন্ট দিয়ে ক্রলার শনাক্ত করে, তাই এই পরীক্ষা এর ব্লকগুলোর একটি যুক্তিসঙ্গত যাচাই। যাচাই করা বটের স্ট্যাটাস বা বট স্কোরভিত্তিক রুল আপনার রিকোয়েস্টকে আসল ক্রলারের থেকে আলাদাভাবে দেখতে পারে, কারণ এটি আসে আপনার IP ঠিকানা থেকে, অপারেটরের প্রকাশিত রেঞ্জ থেকে নয়। পরীক্ষার পরে কোন রুল মিলেছে দেখতে Security Analytics-এ নিজের রিকোয়েস্টগুলো খুঁজুন।

Cloudflare AI ক্রলারদের কী পাঠায়, AISeeWhy কীভাবে চেক করে?

ফ্রি AISeeWhy চেক একটি আসল ব্রাউজারের পাশাপাশি 16টি AI ও সার্চ ক্রলার হিসেবে আপনার পেজ চায়, প্রতিটি ক্রলারের জন্য আপনার robots.txt প্রয়োগ করে এবং ফায়ারওয়ালের চ্যালেঞ্জ পেজ চেনে, তাই দেখতে পান Cloudflare ড্যাশবোর্ডের ফল ক্রলারেরা আসলে যা পায় তার সঙ্গে মেলে কি না।

এই সমস্যার সমাধান

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

প্রশ্নোত্তর

Cloudflare AI Crawl Control কি ফ্রি?

হ্যাঁ। Cloudflare AI Crawl Control-কে সব প্ল্যানে পাওয়া যায় বলে তালিকাভুক্ত করে। Free প্ল্যান শুধু ইউজার এজেন্ট দিয়ে ক্রলার শনাক্ত করে এবং Metrics-এ গত 24 ঘণ্টা দেখায়; রেফারাল ডেটা ও কাস্টম ব্লক রেসপন্সের জন্য পেইড প্ল্যান লাগে।

Cloudflare AI Audit-এর কী হলো?

এর নাম বদলেছে। Cloudflare-এর ডকুমেন্টেশন AI Crawl Control-কে আগের AI Audit হিসেবে বর্ণনা করে, একই উদ্দেশ্যে: কোন AI ক্রলার আসে তা দেখা এবং প্রতিটির জন্য একটি অ্যাকশন সেট করা।

AI Crawl Control-এ ক্রলার ব্লক করলে কি আমার robots.txt বদলায়?

না। Block অ্যাকশন একটি WAF custom rule তৈরি বা আপডেট করে। robots.txt শুধু তখনই বদলায় যখন আপনি Bot Preference Sync-সহ Training-এর জন্য Disallow বিকল্প ব্যবহার করেন, যা আপনার ফাইলের শুরুতে Cloudflare-এর managed রুল যোগ করে।

Cloudflare-এ robots.txt লঙ্ঘন হিসেবে কী গোনা হয়?

আপনার robots.txt যে পাথ নিষেধ করে, সেখানে কোনো AI ক্রলারের রিকোয়েস্ট। Cloudflare পুরোনো রিকোয়েস্টকে আপনার বর্তমান রুলের সঙ্গে মেলায়, তাই নতুন একটি রুল এমন পুরোনো রিকোয়েস্টকেও চিহ্নিত করতে পারে যা তখন অনুমোদিত ছিল।

pay per crawl কী?

একটি Charge অ্যাকশন, যা AI ক্রলারদের প্রতি রিকোয়েস্টে টাকা দিতে বলে, না দিলে HTTP 402 ও একটি দাম দিয়ে উত্তর দেয়। Cloudflare এটিকে ক্লোজড বেটা হিসেবে বর্ণনা করে, আর WAF বা Bot Management-এর ব্লক এর চেয়ে অগ্রাধিকার পায়।

উৎস

আরও আর্টিকেল