Cloudflare কি AI ক্রলার ব্লক করছে? কীভাবে খুঁজবেন ও ঠিক করবেন
প্রায় ৩০ সেকেন্ডে দেখুন Cloudflare বা অন্য কোনো ফায়ারওয়াল AI ক্রলারকে ব্লক দিয়ে জবাব দেয় কি না, এবং সঠিক ক্রলারগুলোকে ঢুকতে দেওয়ার রুলটি পান।
ফ্রি · সাইন-আপ লাগবে না · ৩০ সেকেন্ডে ফল
403, 429 ও চ্যালেঞ্জ পেজ
আপনার ব্রাউজার আসল পেজ পেলেও ক্রলার ব্লক বা Just a moment... পেজ পেতে পারে। আপনার পেজ দুই ভাবেই চাওয়া হয় এবং পার্থক্য চিহ্নিত করা হয়।
robots.txt বনাম ফায়ারওয়াল
robots.txt কোনো ক্রলারকে অনুমতি দিলেও সার্ভার তাকে ফিরিয়ে দিলে রিপোর্টে সেই দ্বন্দ্ব দেখানো হয়, ফলে কোন সেটিং বদলাতে হবে তা জানতে পারেন।
ফায়ারওয়ালের নাম
যে CDN বা ফায়ারওয়াল সাড়া দিয়েছে তার নাম বলা হয়, Cloudflare সহ, ফলে কোথায় দেখতে হবে তা আন্দাজ করতে হয় না।
প্রয়োগ করার রুল
প্রতিটি সমস্যার সঙ্গে থাকে সমাধান, যেমন Cloudflare রুল বা allowlist ধাপ। ফ্রি চেকে আপনার স্কোর ও প্রথম সমস্যাটি দেখা যায়; পূর্ণ রিপোর্ট $29, একবারই দিতে হয়।
robots.txt ক্রলারকে অনুমতি দিলেও Cloudflare ও অন্য ফায়ারওয়াল AI ক্রলারকে 403, 429 বা "Just a moment..." চ্যালেঞ্জ পেজ দিতে পারে, অথচ ব্রাউজার আসল পেজ পায়। ক্রলারের ইউজার এজেন্ট দিয়ে পেজটি চেয়ে চেক করুন, তারপর AI Crawl Control-এ বা একটি WAF skip রুল দিয়ে AI সার্চ ক্রলারদের অনুমতি দিন।
৩ ধাপে খুঁজুন ও ঠিক করুন
- পেজটি দুবার চান
একবার ব্রাউজারের ইউজার এজেন্ট দিয়ে, একবার ক্রলারের দিয়ে। শুধু ক্রলারের জন্য 403, 429 বা 503, একটি
Just a moment...পেজ, বা অনেক ছোট একটি 200 মানে ফায়ারওয়াল ব্লক। - সার্চ ক্রলারদের অনুমতি দিন
Cloudflare-এ AI Crawl Control খুলে Crawlers তালিকায় যান এবং আপনি যেগুলো চান, যেমন
OAI-SearchBot, সেগুলোর Action কলামে Allow সেট করুন। - প্রয়োজনে অন্য সুরক্ষাগুলো এড়িয়ে যান
WAF custom rule, Super Bot Fight Mode বা rate limiting তবু ব্লক করলে, সবার আগে বসানো একটি রুল যোগ করুন যা verified bot-দের জন্য ওই ফিচারগুলো skip করে। ইউজার এজেন্ট মেলানোর চেয়ে verified bot ফিল্ড বা ভেন্ডরের প্রকাশিত IP রেঞ্জ বেছে নিন।
প্রশ্নোত্তর
Cloudflare-এ কোথায় দেখব কোন AI ক্রলার ব্লকড?
Cloudflare ড্যাশবোর্ডে AI Crawl Control খুলুন। এর ক্রলারের তালিকা দেখায় আপনার ডোমেইনে Cloudflare যত AI ক্রলার দেখেছে, প্রতিটি কতগুলো রিকোয়েস্ট করেছে এবং এর অ্যাকশন Allow নাকি Block, আর সেখানেই অ্যাকশন বদলাতে পারেন। Bot Fight Mode-এর মতো অন্য ফিচার তবুও আপনার অনুমতি দেওয়া ক্রলারকে ব্লক করতে পারে, তাই ক্রলারের ইউজার এজেন্ট দিয়ে একটি রিকোয়েস্ট পাঠিয়ে ফলাফল নিশ্চিত করুন।
Cloudflare কি ডিফল্টভাবে AI ক্রলার ব্লক করে?
এটি নির্ভর করে আপনার অ্যাকাউন্ট, প্ল্যান ও জোনের সেটিংয়ের ওপর, আর Cloudflare সময়ের সঙ্গে এই অপশনগুলো বদলেছে। অনুমান না করে AI Crawl Control ও আপনার বট সেটিং দেখুন, এবং ক্রলারের ইউজার এজেন্ট দিয়ে পরীক্ষা করুন।
আমার সাইট ব্রাউজারে চলে, কিন্তু ক্রলারের জন্য চলে না কেন?
ফায়ারওয়াল প্রতিটি অনুরোধ বিচার করে। ব্রাউজার JavaScript চ্যালেঞ্জ পার করে ও কুকি রাখে; ক্রলার তা করে না, তাই সে এমন চ্যালেঞ্জ পেজ বা 403 পেতে পারে যা আপনি কখনো দেখেন না।
WAF-এ AI ক্রলারদের অনুমতি দেওয়া কি নিরাপদ?
ভেন্ডরের IP রেঞ্জ বা Cloudflare-এর verified bot সিগন্যাল দিয়ে যাচাই করলে নাম ধরে একটি ক্রলারকে অনুমতি দেওয়া কম ঝুঁকির। যে রুল শুধু ইউজার এজেন্টে ভরসা করে, তা সেটি নকলকারী যে কাউকেও ঢুকতে দেয়।
Cloudflare-এর ইমেল লুকানোর ফিচার কি AI ক্রলারকে প্রভাবিত করে?
এটি ইমেল ঠিকানাকে এমন একটি লিংক দিয়ে বদলে দেয় যা শুধু একটি স্ক্রিপ্ট ডিকোড করে, তাই ক্রলাররা ঠিকানার বদলে একটি প্লেসহোল্ডার দেখে। যোগাযোগের ইমেল পড়া যাক চাইলে Scrape Shield-এর অধীনে Email Address Obfuscation বন্ধ করুন এবং ঠিকানাটি সাধারণ টেক্সট হিসেবে দেখান।
পূর্ণ গাইড পড়ুন
বট সুরক্ষা আছে স্ক্র্যাপার ও অপব্যবহার থামাতে, এবং এ কাজে সে দক্ষ। সমস্যা হলো, AI সার্চ ক্রলারও বট। কয়েক বছর আগে চালু করা একটি সিকিউরিটি সেটিং, একটি রেট লিমিট, অথবা অচেনা ইউজার এজেন্টের বিরুদ্ধে একটি বিস্তৃত রুল নিঃশব্দে সেই ক্রলারদের বাইরে রাখতে পারে যারা আপনাকে উদ্ধৃত করে, অথচ আপনার নিজের ভিজিট পুরোপুরি স্বাভাবিক দেখায়।
ফায়ারওয়াল কেন AI ক্রলার ব্লক করবে?
ফায়ারওয়াল প্রতিটি অনুরোধ বিচার করে। একটি ক্রলার JavaScript চ্যালেঞ্জ চালায় না, ব্রাউজারের মতো কুকি রাখে না এবং প্রায়ই পরপর অনেক পেজ চায়, তাই সে হুবহু সেই ট্রাফিকের মতো দেখাতে পারে, যা থামাতেই বট সুরক্ষা তৈরি। সাধারণ কারণগুলো হলো:
- বট সুরক্ষার এমন ফিচার, যা পরিচিত বট প্যাটার্নের সঙ্গে মেলে এমন ট্রাফিককে চ্যালেঞ্জ করে। যেমন Cloudflare-এর Bot Fight Mode বটদের কম্পিউটেশনালি ব্যয়বহুল চ্যালেঞ্জ দেয়।
- WAF কাস্টম রুল, যা "bot" বা "crawler"-এর মতো শব্দযুক্ত ইউজার এজেন্টকে ব্লক বা চ্যালেঞ্জ করে, অথবা শুধু সার্চ ইঞ্জিনের একটি ছোট তালিকাকে অনুমতি দেয়।
- এমন সেটিং, যা AI ক্রলারদের একটি বিভাগ হিসেবে ব্লক করে। Cloudflare আপনাকে Search, Agent ও Training ক্রলারের জন্য নীতি ঠিক করতে দেয়, আর সেখানে Block সেটিং এদের সবার ক্ষেত্রে প্রযোজ্য।
- রেট লিমিটিং, যা ক্রলারের দ্রুত পরপর অনুরোধের উত্তরে 429 দেয়।
- দেশ বা ASN ব্লক, যা ঘটনাক্রমে ক্রলারদের নেটওয়ার্কও ঢেকে ফেলে।
ফায়ারওয়াল ব্লক আর robots.txt ব্লকের পার্থক্য কীভাবে বুঝব?
robots.txt ব্লক একটি ভদ্র অনুরোধ: ক্রলার আপনার রুল পড়ে এবং পেজটি আনে না। ফায়ারওয়াল ব্লক একটি উত্তর: ক্রলার পেজটি চায় এবং অন্য কিছু পায়। দ্বিতীয়টি আপনি সরাসরি দেখতে পারেন। পেজটি দুবার চান, একবার ব্রাউজারের ইউজার এজেন্ট দিয়ে এবং একবার ক্রলারেরটি দিয়ে, তারপর তুলনা করুন।
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done ফায়ারওয়াল ব্লকের লক্ষণ: শুধু ক্রলারের জন্য স্ট্যাটাস 403, 429 বা 503; Just a moment... বা Attention Required! | Cloudflare শিরোনামের একটি পেজ; এমন বডি যাতে /cdn-cgi/challenge-platform আছে; অথবা ব্রাউজারের চেয়ে অনেক ছোট একটি 200 রেসপন্স। মনে রাখুন, আপনার পরীক্ষা আসে আপনার নিজের IP থেকে, ক্রলারের যাচাই করা IP রেঞ্জ থেকে নয়, তাই এটি দেখায় ফায়ারওয়াল ইউজার এজেন্টের সঙ্গে কেমন আচরণ করে, আসল ক্রলারের সঙ্গে আচরণের প্রতিটি খুঁটিনাটি নয়।
Cloudflare-এ AI সার্চ ক্রলারদের কীভাবে অনুমতি দেব?
Cloudflare-এর AI Crawl Control সব প্ল্যানে পাওয়া যায়; এটি আপনার ডোমেইনে আসা AI ক্রলারদের তালিকা দেখায় এবং প্রতিটির জন্য একটি অ্যাকশন বেছে নিতে দেয়। ড্যাশবোর্ডে AI Crawl Control খুলুন, Crawlers তালিকায় যান এবং প্রতিটি ক্রলারের জন্য Action কলামে Allow বা Block বেছে নিন। Cloudflare বলে, সেখানে ব্লক করলে আপনার জোনে একটি WAF কাস্টম রুল তৈরি বা আপডেট হয়।
যদি একটি WAF কাস্টম রুল, Super Bot Fight Mode বা রেট লিমিটিং ক্রলারকে ব্লক করে, তাহলে এমন একটি কাস্টম রুল যোগ করুন যা verified bots এবং ক্রলারের টোকেনের জন্য সেই ফিচারগুলো এড়িয়ে যায়:
Security → WAF → Custom rules → Create rule
Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow রুলটি সবার আগে রাখুন। খেয়াল করুন, ইউজার এজেন্ট দিয়ে মেলালে যে কেউ সেই ইউজার এজেন্ট নকল করলে সেও ঢুকতে পারে। যেখানে সম্ভব, verified bot ফিল্ড (cf.client.bot) বা ভেন্ডরের প্রকাশিত IP রেঞ্জ ব্যবহার করুন।
Bot Fight Mode-এর কী হবে?
Cloudflare-এর ডকুমেন্টেশন স্পষ্ট বলে, WAF কাস্টম রুল বা Page Rules দিয়ে Bot Fight Mode এড়ানো বা skip করা যায় না। এই ফিচারই যদি ক্রলারদের চ্যালেঞ্জ করে, একটি skip রুল কাজে আসবে না। উপায় হলো Bot Fight Mode বন্ধ করা, অথবা যে প্ল্যানে আছে সেখানে Super Bot Fight Mode ব্যবহার করা, যা Ruleset Engine-এ চলে এবং skip রুল সমর্থন করে।
কোন ক্রলারদের ঢুকতে দেব?
ক্রলারদের তাদের কাজ অনুযায়ী আলাদা করুন। সার্চ ও ইউজার-ফেচ ক্রলাররা ঠিক করে AI উত্তর আপনাকে খুঁজে পাবে ও উদ্ধৃত করবে কি না। ট্রেনিং ক্রলাররা মডেলের জন্য ডেটা সংগ্রহ করে, আর তাদের ব্লক করা একটি বৈধ সিদ্ধান্ত, যা আপনাকে AI সার্চ থেকে বাদ দেয় না।
- সার্চ:
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebot,bingbot,Applebot। - ইউজার ফেচ:
ChatGPT-User,Claude-User,Perplexity-User। - ট্রেনিং:
GPTBot,ClaudeBot,CCBot,meta-externalagent,Bytespider।
Cloudflare-এর নিজস্ব নীতি সেটিংও একই ভাগ ব্যবহার করে: Search, Agent ও Training, তাই আপনি প্রথম দুটিকে অনুমতি দিয়ে তৃতীয়টি নিয়ে আলাদা সিদ্ধান্ত নিতে পারেন। অন্য ফায়ারওয়াল বা CDN ব্যবহার করলেও নীতি একই: ক্রলারের টোকেনকে allowlist-এ রাখুন, যেখানে সুবিধা আছে সেখানে ভেন্ডরের প্রকাশিত IP রেঞ্জ বা reverse DNS দিয়ে যাচাই করে, যাতে সে ব্রাউজারের মতো একই রেসপন্স পায়।
AISeeWhy কীভাবে ফায়ারওয়াল ব্লক শনাক্ত করে?
AISeeWhy 14টি ক্রলার ও একটি সাধারণ ব্রাউজার হিসেবে আপনার পেজ চায়, স্ট্যাটাস, আকার ও রিডাইরেক্ট তুলনা করে, চ্যালেঞ্জ পেজ শনাক্ত করে এবং যে ফায়ারওয়াল বা CDN উত্তর দিয়েছে তার নাম জানায়। robots.txt কোনো ক্রলারকে অনুমতি দিলেও সার্ভার তাকে ব্লক করলে রিপোর্ট এই দ্বন্দ্বটি দেখায় এবং ঠিক করার জন্য Cloudflare রুল বা allowlist-এর ধাপ দেয়।
এই সমস্যার সমাধান
- আমাদের পরীক্ষা ব্লক হয়েছে, ফলাফল অনিশ্চিত
- OAI-SearchBot ব্লক করা
- GPTBot-কে অন্য জায়গায় রিডাইরেক্ট করা হয়
- GPTBot একটি স্টাব পেজ পায়
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- AI ক্রলারের IP চেক
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
উৎস
- Cloudflare: AI Crawl Control
- Cloudflare: AI ক্রলার পরিচালনা (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- Cloudflare: AI ক্রলার ও এজেন্টের অ্যাক্সেস নীতি
- OpenAI: OpenAI ক্রলারের সংক্ষিপ্ত পরিচিতি