Cloudflare-এর AI Crawl Control রিপোর্ট কীভাবে পড়বেন ও কোন AI ক্রলার ঢুকতে পারে দেখবেন
Cloudflare ড্যাশবোর্ডে AI Crawl Control খুলুন: ক্রলারের তালিকায় দেখা যায় আপনার ডোমেইনে Cloudflare যত AI ক্রলার দেখেছে, তাদের রিকোয়েস্ট, robots.txt লঙ্ঘন, এবং অ্যাকশন Allow নাকি Block। ট্রেনিং প্রত্যাখ্যান করে AI সার্চ রাখতে সেখানে বা AI Crawler and Agent access policies-এ সার্চ ও এজেন্ট ক্রলারকে অনুমতি দিন আর ট্রেনিং ক্রলারকে ব্লক বা disallow করুন। তারপর curl দিয়ে বাইরে থেকে নিশ্চিত হোন, কারণ Cloudflare-এর অন্য ফিচার তবুও আপনার অনুমতি দেওয়া ক্রলারকে ব্লক করতে পারে।
Cloudflare-এ এখন দুটি জায়গা ঠিক করে AI ক্রলার কী পাবে: AI Crawl Control, প্রতিটি ক্রলারের রিপোর্ট ও সুইচবোর্ড, যার আগের নাম ছিল AI Audit, আর Security সেটিংসে পুরো জোনের জন্য AI Crawler and Agent access policies। দুটিই Free প্ল্যানে পাওয়া যায়, দুটিই 2026-এ বদলেছে, এবং কোনোটিই এমন অন্য সব ফিচারের কথা জানায় না যা তবুও ক্রলারকে 403 দিতে পারে। এই গাইড রিপোর্টটি কলাম ধরে ধরে ব্যাখ্যা করে, কোথায় অনুমতি ও ব্লক সেট করবেন দেখায়, এবং শেষে এমন একটি পরীক্ষা দেয় যা আপনি নিজের কম্পিউটার থেকে চালাতে পারেন।
এই পেজে
- Cloudflare-এ AI ক্রলার রিপোর্ট কোথায়?
- AI Crawl Control রিপোর্টের প্রতিটি কলাম ও মেট্রিকের মানে কী?
- Cloudflare-এ AI সার্চ ক্রলারকে অনুমতি দিয়ে ট্রেনিং ক্রলার কীভাবে ব্লক করব?
- Cloudflare-এর AI ক্রলার ডিফল্টে কী বদলেছে?
- অনুমতি দেওয়ার পরেও Cloudflare AI ক্রলার ব্লক করছে কেন?
- Cloudflare কোন AI ক্রলারকে ঢুকতে দেয়, বাইরে থেকে কীভাবে নিশ্চিত হব?
- Cloudflare AI ক্রলারদের কী পাঠায়, AISeeWhy কীভাবে চেক করে?
Cloudflare-এ AI ক্রলার রিপোর্ট কোথায়?
ড্যাশবোর্ডে আপনার অ্যাকাউন্ট ও ডোমেইন বেছে নিন, তারপর AI Crawl Control খুলুন। Cloudflare বলে, এটি কোনো কনফিগারেশন ছাড়াই কাজ করে এবং সব প্ল্যানে পাওয়া যায়, যদি আপনার ডোমেইনের ট্রাফিক Cloudflare-এর মধ্য দিয়ে প্রক্সি হয়। এর চারটি অংশ:
- Overview: মোট রিকোয়েস্ট, পরিমাণের পরিবর্তন, সবচেয়ে সাধারণ স্ট্যাটাস কোড, সবচেয়ে জনপ্রিয় পাথ ও বেশি রিকোয়েস্ট করা ক্রলারসহ একটি সারসংক্ষেপ, সঙ্গে Cloudflare-এর managed robots.txt চালু কি না, এবং OpenAI, Microsoft, Google, ByteDance, Anthropic ও Meta-র মতো অপারেটর অনুযায়ী সাজানো ক্রলার।
- ক্রলারের তালিকা: প্রতিটি AI ক্রলারের জন্য একটি সারি, সঙ্গে একটি Action কলাম যেখানে Allow বা Block বেছে নেন। Cloudflare-এর ডকুমেন্টেশন একটি পেজে এই ট্যাবকে Crawlers আর আরেকটিতে Security বলে, তাই Action কলামওয়ালা টেবিলটি খুঁজুন।
- Metrics: সময়ের সঙ্গে রিকোয়েস্ট, স্ট্যাটাস কোডের বণ্টন, কনটেন্টের ফরম্যাট, সবচেয়ে জনপ্রিয় পাথ, এবং পেইড প্ল্যানে রেফারাল। ফিল্টারে আছে তারিখের পরিসর, ক্রলার, অপারেটর, হোস্টনেম ও পাথ, আর আপনি CSV এক্সপোর্ট করতে পারেন।
- Directives: আপনার robots.txt ফাইলের অবস্থা এবং robots.txt লঙ্ঘনের তালিকা।
সংখ্যাগুলো পড়ার সময় প্ল্যানের দুটি সীমা গুরুত্বপূর্ণ। Free প্ল্যানে AI Crawl Control শুধু ইউজার এজেন্ট স্ট্রিং দিয়ে ক্রলার চেনে, তাই শুধু নিজের পরিচয় দেওয়া ক্রলারই দেখে, আর Metrics ট্যাব গত 24 ঘণ্টা দেখায়। পেইড প্ল্যানে Bot Management detection ID দিয়ে শনাক্তকরণ যোগ হয়, আর Bot Management-সহ Enterprise কাস্টমাইজ করা সময়সীমা পায়।
AI Crawl Control রিপোর্টের প্রতিটি কলাম ও মেট্রিকের মানে কী?
Cloudflare ফিল্ডগুলো এভাবে নথিভুক্ত করে। সংজ্ঞাগুলো গুরুত্বপূর্ণ, কারণ কয়েকটি সংখ্যা আপনার ধারণার চেয়ে বেশি কিছু গোনে।
- Crawler ও Category: ক্রলারের নাম, তার অপারেটর এবং ক্যাটাগরি, যেমন AI crawler, AI assistant বা archiver।
- Requests: অনুমোদিত ও ব্যর্থ রিকোয়েস্ট মিলিয়ে, একটি ট্রেন্ড চার্টসহ। ব্যর্থ রিকোয়েস্ট শুধু AI Crawl Control-এর ব্লক থেকে নয়, যেকোনো রুল বা রেসপন্স এরর থেকে আসতে পারে, তাই অনুমতি দেওয়া ক্রলারের জন্য বড় সংখ্যা অন্য কোনো রুল বা আপনার অরিজিন সার্ভারের এররের দিকে ইঙ্গিত করে।
- Allowed requests: যেসব রিকোয়েস্ট 200 থেকে 299-এর মধ্যে স্ট্যাটাস পেয়েছে। ডেটা ট্রান্সফার মাপা হয় অনুমোদিত রিকোয়েস্টের জন্য Cloudflare যত বাইট পাঠিয়েছে তা থেকে।
- Robots.txt violations: ক্রলার কতবার এমন পাথ চেয়েছে যা আপনার robots.txt নিষেধ করে। Cloudflare পুরোনো রিকোয়েস্টকে আপনার বর্তমান রুলের সঙ্গে মেলায়, তাই আজ যোগ করা একটি রুল এমন রিকোয়েস্টকেও চিহ্নিত করতে পারে যা করার সময় অনুমোদিত ছিল।
- Action: Allow, Block, অথবা pay per crawl বেটায় থাকা অ্যাকাউন্টের জন্য Charge।
- Status code distribution: 2xx, 3xx, 4xx ও 5xx। 4xx গ্রুপে ব্লক থেকে আসা 403 ও pay per crawl থেকে আসা 402 থাকে।
- Referrals ও top referrers, শুধু পেইড প্ল্যানে: AI সেবা থেকে আসা ভিজিট, যেমন chatgpt.com থেকে, আর যেসব পেজে তারা এসেছে।
আপনি যে অ্যাকশন বেছে নিয়েছেন তা ধরে রিপোর্ট পড়ুন। Allow-এ থাকা ক্রলারের বেশিরভাগ রিকোয়েস্ট অনুমোদিত ও 2xx কোড হওয়া উচিত। যদি অনেক ব্যর্থ রিকোয়েস্ট দেখায়, সেই ক্রলার দিয়ে ফিল্টার করে স্ট্যাটাস কোডের বণ্টন খুলুন, এবং কোন রুল উত্তর দিয়েছে তা খুঁজতে Security Analytics দেখুন।
Cloudflare-এ AI সার্চ ক্রলারকে অনুমতি দিয়ে ট্রেনিং ক্রলার কীভাবে ব্লক করব?
এটি প্রতিটি ক্রলার ধরে বা আচরণ ধরে করা যায়। ক্রলার ধরে করতে AI Crawl Control খুলে প্রতিটি সারির Action সেট করুন। Cloudflare বলে, সেখানে ব্লক করলে আপনার জোনে একটি WAF custom rule তৈরি বা আপডেট হয়, যা পাথের ব্যতিক্রমের জন্য WAF-এ বাড়ানো যায়। পেইড প্ল্যানে ব্লকড ক্রলার 403 পাবে নাকি 402, তা বেছে নিতে এবং একটি সাধারণ টেক্সট বডি সেট করতে পারেন।
আচরণ ধরে করতে Security, তারপর Settings-এ যান, Bot traffic দিয়ে ফিল্টার করুন এবং AI Crawler and Agent access policies খুলুন। Cloudflare AI ট্রাফিককে তিনটি আচরণে ভাগ করে, আর প্রতিটি পলিসি সেই আচরণের যাচাই করা বট এবং মেলে এমন অযাচাই করা বটের ক্ষেত্রে প্রযোজ্য:
- Search: পরে প্রশ্নের উত্তর দিতে কনটেন্ট সংগ্রহ বা ইনডেক্স করা।
- Agent: কোনো ব্যক্তির হয়ে রিয়েল টাইমে কাজ করা, যেমন চ্যাটের জন্য পেজ আনা ও ব্রাউজার এজেন্ট।
- Training: মডেল ট্রেনিং বা ফাইন-টিউনিংয়ের জন্য কনটেন্ট সংগ্রহ, ট্রেনিং ও সার্চ দুই কাজেই ব্যবহৃত ক্রলারসহ।
প্রতিটি আচরণকে Block, Block on pages with ads, বা Allow (do not block)-এ সেট করা যায়। Training-এ Disallow-ও আছে, যা শুধু robots.txt-এর মাধ্যমে ক্রলারদের অনুরোধ করে। Bot Preference Sync চালু থাকলে Cloudflare আপনার robots.txt-এর শুরুতে এমন managed রুল যোগ করে যা Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ও meta-externalagent-কে নিষেধ করে, একটি Content Signals লাইন যোগ করে, এবং এজে AI ট্রেনিং ক্রলারদের ব্লকও করে, তবে সার্চ ও ট্রেনিং দুই কাজে ব্যবহৃত ক্রলার বাদে।
AI উদ্ধৃতি চায় এমন বেশিরভাগ সাইটের জন্য নিরাপদ সমন্বয় হলো Search ও Agent-কে Allow, Training-কে Disallow, তারপর শুধু ট্রেনিংয়ের যেসব ক্রলারকে এজেই থামাতে চান, তাদের জন্য AI Crawl Control-এ আলাদা Block অ্যাকশন।
Cloudflare-এর AI ক্রলার ডিফল্টে কী বদলেছে?
1 জুলাই 2025-এ Cloudflare ঘোষণা করে যে ক্রিয়েটরদের টাকা না দিলে AI ক্রলারকে ডিফল্টভাবে ব্লক করা হবে। 1 জুলাই 2026-এ এটি একক Block AI bots সুইচের বদলে ওপরে বর্ণিত আলাদা Search, Agent ও Training পলিসি আনে, Free-সহ সব প্ল্যানে। একই ঘোষণায় বলা হয়, 15 সেপ্টেম্বর 2026 থেকে যুক্ত হওয়া নতুন ডোমেইনে বিজ্ঞাপন দেখানো পেজে Training ও Agent ব্লকড থাকবে, আর Search অনুমোদিত।
Cloudflare-এর বর্তমান পলিসি ডকুমেন্টেশন, যা শেষ আপডেট হয়েছে 2 নভেম্বর 2026-এ, বলে নতুন ডোমেইনে তিনটি আচরণের ডিফল্টই Allow (do not block)। যেহেতু Cloudflare-এর নিজের পেজগুলো বিভিন্ন সময়ে ভিন্ন ডিফল্ট বর্ণনা করেছে, তাই আপনার জোনের জন্য কোনোটির ওপর ভরসা করবেন না: পলিসির পেজ খুলে দেখুন কী সেট করা আছে।
অনুমতি দেওয়ার পরেও Cloudflare AI ক্রলার ব্লক করছে কেন?
AI Crawl Control-এর Allow অ্যাকশন শুধু AI Crawl Control-কে ব্লক করা থেকে বিরত রাখে। অন্য ফিচারগুলো তবুও রিকোয়েস্টের ওপর কাজ করে। সাধারণ কারণ:
- Training ব্লক করলে দুই কাজই করা সার্চ ক্রলারও ব্লক হয়। Cloudflare-এর ডকুমেন্টেশন বলে Training অ্যাকশন মিশ্র-উদ্দেশ্যের ক্রলারের ক্ষেত্রেও প্রযোজ্য, আর জুলাই 2026-এর ঘোষণায় Googlebot, Applebot ও bingbot-কে এমন ক্রলার হিসেবে নাম দেওয়া হয়েছে, যেগুলো Training ব্লক করা গ্রাহকেরা 15 সেপ্টেম্বর 2026 থেকে ব্লক করবেন। Disallow হলো সংকীর্ণতর বিকল্প, কারণ এর এজ ব্লক মিশ্র-উদ্দেশ্যের ক্রলার বাদ দেয়।
- Bot Fight Mode চালু আছে। Cloudflare জানায়, WAF custom rule বা Page Rules দিয়ে Bot Fight Mode এড়ানো বা বাদ দেওয়া যায় না। এটি কোনো ক্রলারকে চ্যালেঞ্জ করলে এটি বন্ধ করুন, অথবা যে প্ল্যানে আছে সেখানে Super Bot Fight Mode ব্যবহার করুন, যা skip রুল সমর্থন করে।
- একটি পুরোনো WAF custom rule
botথাকা ইউজার এজেন্ট ব্লক করে, বা একটি rate limiting রুল হঠাৎ বেশি রিকোয়েস্টে 429 দেয়। AI Crawl Control-এর Action যা-ই হোক, এগুলো চলতে থাকে। - ব্লক রুলটি হাতে সম্পাদনা করা হয়েছে। AI Crawl Control-এর পেছনের WAF রুলটি অন্য রেসপন্স কোডে বদলানো হলে ড্যাশবোর্ড আর আপনার পছন্দ প্রয়োগ করতে পারে না।
- robots.txt এখনো ক্রলারকে নিষেধ করে। Cloudflare-এর Allow আপনার robots.txt বদলায় না, তাই ভদ্র ক্রলার তবুও দূরে থাকে। সবচেয়ে জনপ্রিয় 1,000টি ডোমেইন নিয়ে আমাদের গবেষণায় robots.txt-এ AI ট্রেনিং ক্রলার ব্লক করা 155টি সাইটের মধ্যে 98টি অন্তত একটি AI সার্চ বা ইউজার ক্রলারও ব্লক করেছিল।
Cloudflare কোন AI ক্রলারকে ঢুকতে দেয়, বাইরে থেকে কীভাবে নিশ্চিত হব?
একই পেজ একটি ব্রাউজারের ইউজার এজেন্ট দিয়ে এবং প্রতিটি ক্রলারের ইউজার এজেন্ট দিয়ে চান, তারপর স্ট্যাটাস ও আকার তুলনা করুন। নিচের OpenAI, Perplexity ও Google-এর স্ট্রিংগুলো সেই কোম্পানিগুলোর প্রকাশিত।
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" কোনো ক্রলারের লাইনে 403, 429 বা 503, বা ব্রাউজারের লাইনের চেয়ে অনেক ছোট আকার মানে আপনার অরিজিনের সামনে থাকা কিছু ভিন্নভাবে উত্তর দিয়েছে। Free প্ল্যানে AI Crawl Control ইউজার এজেন্ট দিয়ে ক্রলার শনাক্ত করে, তাই এই পরীক্ষা এর ব্লকগুলোর একটি যুক্তিসঙ্গত যাচাই। যাচাই করা বটের স্ট্যাটাস বা বট স্কোরভিত্তিক রুল আপনার রিকোয়েস্টকে আসল ক্রলারের থেকে আলাদাভাবে দেখতে পারে, কারণ এটি আসে আপনার IP ঠিকানা থেকে, অপারেটরের প্রকাশিত রেঞ্জ থেকে নয়। পরীক্ষার পরে কোন রুল মিলেছে দেখতে Security Analytics-এ নিজের রিকোয়েস্টগুলো খুঁজুন।
Cloudflare AI ক্রলারদের কী পাঠায়, AISeeWhy কীভাবে চেক করে?
ফ্রি AISeeWhy চেক একটি আসল ব্রাউজারের পাশাপাশি 16টি AI ও সার্চ ক্রলার হিসেবে আপনার পেজ চায়, প্রতিটি ক্রলারের জন্য আপনার robots.txt প্রয়োগ করে এবং ফায়ারওয়ালের চ্যালেঞ্জ পেজ চেনে, তাই দেখতে পান Cloudflare ড্যাশবোর্ডের ফল ক্রলারেরা আসলে যা পায় তার সঙ্গে মেলে কি না।
এই সমস্যার সমাধান
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- AI ক্রলারের IP চেক
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
Cloudflare AI Crawl Control কি ফ্রি?
হ্যাঁ। Cloudflare AI Crawl Control-কে সব প্ল্যানে পাওয়া যায় বলে তালিকাভুক্ত করে। Free প্ল্যান শুধু ইউজার এজেন্ট দিয়ে ক্রলার শনাক্ত করে এবং Metrics-এ গত 24 ঘণ্টা দেখায়; রেফারাল ডেটা ও কাস্টম ব্লক রেসপন্সের জন্য পেইড প্ল্যান লাগে।
Cloudflare AI Audit-এর কী হলো?
এর নাম বদলেছে। Cloudflare-এর ডকুমেন্টেশন AI Crawl Control-কে আগের AI Audit হিসেবে বর্ণনা করে, একই উদ্দেশ্যে: কোন AI ক্রলার আসে তা দেখা এবং প্রতিটির জন্য একটি অ্যাকশন সেট করা।
AI Crawl Control-এ ক্রলার ব্লক করলে কি আমার robots.txt বদলায়?
না। Block অ্যাকশন একটি WAF custom rule তৈরি বা আপডেট করে। robots.txt শুধু তখনই বদলায় যখন আপনি Bot Preference Sync-সহ Training-এর জন্য Disallow বিকল্প ব্যবহার করেন, যা আপনার ফাইলের শুরুতে Cloudflare-এর managed রুল যোগ করে।
Cloudflare-এ robots.txt লঙ্ঘন হিসেবে কী গোনা হয়?
আপনার robots.txt যে পাথ নিষেধ করে, সেখানে কোনো AI ক্রলারের রিকোয়েস্ট। Cloudflare পুরোনো রিকোয়েস্টকে আপনার বর্তমান রুলের সঙ্গে মেলায়, তাই নতুন একটি রুল এমন পুরোনো রিকোয়েস্টকেও চিহ্নিত করতে পারে যা তখন অনুমোদিত ছিল।
pay per crawl কী?
একটি Charge অ্যাকশন, যা AI ক্রলারদের প্রতি রিকোয়েস্টে টাকা দিতে বলে, না দিলে HTTP 402 ও একটি দাম দিয়ে উত্তর দেয়। Cloudflare এটিকে ক্লোজড বেটা হিসেবে বর্ণনা করে, আর WAF বা Bot Management-এর ব্লক এর চেয়ে অগ্রাধিকার পায়।
উৎস
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI ক্রলার অ্যাক্সেস রিপোর্ট, 2026-11