ব্লক না করে AI ক্রলারদের গতি কীভাবে কমাবেন
ব্লক না করে রেট লিমিট করুন। ক্রলারদের অতিরিক্ত অনুরোধে 429 বা 503 এবং একটি Retry-After হেডার দিন, প্রতিটি ক্রলারকে আলাদা বাজেট দিন, /robots.txt-কে সব লিমিটের বাইরে রাখুন, এবং ক্রলারদের ক্যাশ থেকে পরিবেশন করুন। robots.txt-এর Crawl-delay শুধু সেখানেই কাজে আসে যেখানে অপারেটর তা নথিভুক্ত করে: Anthropic ও Bing করে, Google বলে এটি সমর্থন করে না, আর OpenAI ও Perplexity এর উল্লেখ করে না। AI সার্চ ক্রলারদের অনুমতি রাখুন, নইলে তারা যে উত্তরে কনটেন্ট দেয় সেখান থেকেও আপনি বাদ পড়বেন।
কোনো ক্রলার ঘণ্টায় হাজার হাজার অনুরোধ পাঠালে দ্রুত সমাধান হলো Disallow: / বা ফায়ারওয়ালে ব্লক। ট্রেনিং ক্রলারের জন্য এটি ন্যায্য বাছাই হতে পারে। কিন্তু OAI-SearchBot, Claude-SearchBot বা PerplexityBot-এর ক্ষেত্রে এতে আপনার পেজ সেই AI উত্তরগুলো থেকে বাদ পড়ে যেখানে আপনি থাকতে চান। বেশিরভাগ সময় এটি না ছেড়েই লোড কমানো যায়, এমন সিগন্যাল দিয়ে যা ক্রলাররা আগে থেকেই বোঝে: স্ট্যাটাস কোড, ক্যাশিং এবং, কিছু অপারেটরের ক্ষেত্রে, Crawl-delay।
এই পেজে
আসলে কোন ক্রলার লোড তৈরি করছে?
কিছু বদলানোর আগে দেখে নিন। আপনার অ্যাক্সেস লগে ইউজার এজেন্ট ও ঘণ্টা ধরে অনুরোধ গুনুন, এবং উৎস IP-গুলো প্রত্যেক ভেন্ডরের প্রকাশিত রেঞ্জের সঙ্গে মিলিয়ে দেখুন; AI ক্রলারের জন্য সার্ভার লগ চেক করা নিয়ে আমাদের গাইডে কমান্ডগুলো আছে। দুটি জিনিস প্রায়ই দেখা যায়:
- ভারী ট্রাফিক শুধু নিজেকে AI ক্রলার বলে দাবি করে। IP-গুলো ভেন্ডরের তালিকায় না থাকলে আসল ক্রলারের রুল কাজে আসবে না। বরং সেই ট্রাফিককে তার উৎস দিয়ে সীমিত বা ব্লক করুন।
- একটি আসল ক্রলার ক্রল ট্র্যাপে আটকে আছে, যেমন অন্তহীন ক্যালেন্ডার পেজ, ফিল্টারের সমন্বয় বা URL-এ সেশন ID। ওই পাথগুলোর জন্য
Disallowরুল দিয়ে ট্র্যাপ বন্ধ করলে যেকোনো রেট লিমিটের চেয়ে বেশি সাশ্রয় হয়।
ক্রলারদের কাজ অনুযায়ীও ভাগ করুন। GPTBot ও ClaudeBot-এর মতো ট্রেনিং ক্রলাররা আপনাকে AI সার্চে উদ্ধৃতিযোগ্য করে না, তাই সমস্যা এদের কোনোটি হলে নিষেধ করা একটি যুক্তিসঙ্গত বিকল্প। এই গাইডের বাকি অংশ সেই ক্রলারদের জন্য যাদের আপনি রাখতে চান।
Crawl-delay কি AI ক্রলারদের জন্য কাজ করে?
Crawl-delay RFC 9309-এর অংশ নয়, তাই প্রত্যেক অপারেটর ঠিক করে এটি পড়বে কি না। নভেম্বর 2026 পর্যন্ত ডকুমেন্টেশন যা বলে:
- Anthropic: সমর্থিত। এর হেল্প পেজ বলে, ক্রলিং সীমিত করতে এটি নন-স্ট্যান্ডার্ড
Crawl-delayএক্সটেনশন সমর্থন করে, উদাহরণ হিসেবে একটিClaudeBotগ্রুপেCrawl-delay: 1। - Microsoft Bing: সমর্থিত। Bing-এর ওয়েবমাস্টার ব্লগ মানটিকে 1 থেকে 30 সেকেন্ডের একটি সময়-জানালা হিসেবে বর্ণনা করে, যার মধ্যে
bingbotসর্বোচ্চ একটি পেজ ক্রল করে, এবং বলে robots.txt-এর crawl delay Bing Webmaster Tools-এর ক্রল সেটিংসের ওপর প্রাধান্য পায়। - Google: সমর্থিত নয়। Google-এর robots.txt ডকুমেন্টেশন
crawl-delay-কে এমন ফিল্ড হিসেবে উল্লেখ করে যা এটি সমর্থন করে না। - OpenAI ও Perplexity: এদের ক্রলার পেজে এর উল্লেখ নেই, তাই
GPTBot,OAI-SearchBotবাPerplexityBot-এর ওপর এর প্রভাব নথিভুক্ত নয়।
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ গ্রুপের যুক্তি খেয়াল রাখুন। যে ক্রলার নিজের নামে একটি গ্রুপ পায়, সে User-agent: * গ্রুপ পুরোপুরি উপেক্ষা করে, তাই শুধু Crawl-delay থাকা একটি ClaudeBot গ্রুপ বাকি সবার জন্য সেট করা প্রতিটি Disallow বাদ দিয়ে দেবে। ওপরের মতো সেগুলো আবার লিখুন। Bing Crawl-delay-কে এমন ব্যতিক্রম হিসেবে বর্ণনা করে যা এটি যেকোনো গ্রুপ থেকে পড়ে, কিন্তু অন্য ক্রলারদের ক্ষেত্রে তা ধরে নেবেন না।
429 ও 503 রেসপন্স কীভাবে ক্রলারদের গতি কমায়?
লোডের চূড়ায় স্ট্যাটাস কোডই সেই সিগন্যাল যা মানার জন্য ক্রলারদের তৈরি করা হয়েছে। RFC 6585-এ সংজ্ঞায়িত 429 Too Many Requests মানে ক্লায়েন্ট নির্দিষ্ট সময়ে অনেক বেশি অনুরোধ পাঠিয়েছে, এবং এতে কতক্ষণ অপেক্ষা করতে হবে তা জানানো একটি Retry-After হেডার থাকতে পারে। 503 Service Unavailable বলে সার্ভার এই মুহূর্তে সামলাতে পারছে না।
Googlebot-এর ক্রল রেট দ্রুত কমানোর উপায় হিসেবে Google এটিই নথিভুক্ত করে: কিছু ক্রল অনুরোধে 200-এর বদলে 500, 503 বা 429 ফেরত দিন। এটি বলে, এতে পুরো হোস্টনেমের ক্রল রেট কমে, এবং Retry-After-এ সেকেন্ডের সংখ্যা বা একটি তারিখ থাকতে পারে।
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. সময়টা ছোট রাখুন। Google এক বা দুই দিনের বেশি এটি করার পরামর্শ দেয় না, কারণ যে URL কয়েক দিন ধরে এই কোড ফেরত দেয় তা এর ইনডেক্স থেকে বাদ পড়তে পারে। স্থায়ীভাবে কমাতে Google বরং Search Console-এর মাধ্যমে একটি বিশেষ অনুরোধের সুযোগ দেয়।
OpenAI, Anthropic ও Perplexity নথিভুক্ত করে না যে তাদের ক্রলাররা 429, 503 বা Retry-After-এ কেমন প্রতিক্রিয়া দেখায়। কম চাওয়ার স্ট্যান্ডার্ড উপায় এই কোডগুলোই, কিন্তু প্রত্যেক AI ক্রলার কত দ্রুত পিছিয়ে যায় তা কোথাও খুঁজে দেখার উপায় নেই।
AI ক্রলারদের জন্য রেট লিমিট কীভাবে সেট করব?
সব ট্রাফিকের জন্য একটি লিমিটের বদলে প্রতিটি ক্রলারকে আলাদা বাজেট দিন, এবং তার বেশি অনুরোধে 429 দিন। nginx-এ এটি করে limit_req মডিউল। খালি কী-সহ অনুরোধ গোনা হয় না, তাই যে map শুধু ক্রলারের ইউজার এজেন্টের জন্য কী ফেরত দেয়, তা মানুষ ভিজিটরদের ছুঁয়েও দেখে না। এখানে প্রতিটি ক্রলার মিনিটে 60টি অনুরোধ পায়, 20টির বার্স্টসহ:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} এখানে কী হলো ইউজার এজেন্ট, তাই যে কেউ কোনো ক্রলারের নাম নকল করলে সেই ক্রলারের বাজেট ভাগ করে নেয়। রেট লিমিটের জন্য এটি গ্রহণযোগ্য। অনুমতির রুলের জন্য ভেন্ডরের প্রকাশিত IP রেঞ্জও মেলান।
Cloudflare-এ রেট লিমিটিং রুল একই কাজ এজে করে। Free প্ল্যানে একটি রুল পাওয়া যায়, যা 10 সেকেন্ড ধরে প্রতি IP গোনে, আর রুলের এক্সপ্রেশনে পাথ ও Verified Bot ফিল্ড ব্যবহার করা যায়। যেসব ক্রলার অনেক ঠিকানা থেকে অনুরোধ ছড়িয়ে দেয়, তাদের জন্য প্রতি IP গোনা মোটা দাগের, আর উঁচু প্ল্যানে গোনার আরও অপশন আছে। ডিফল্ট রেসপন্স 429, আর আপনি অন্য কোনো 4xx কোড ও কাস্টম বডি সেট করতে পারেন। AI Crawl Control প্রতিটি ক্রলারের জন্য Allow, Block এবং, প্রাইভেট বেটাতে, Charge দেয়, কিন্তু রেটের কোনো সেটিং নেই।
যা-ই ব্যবহার করুন, /robots.txt-কে লিমিটের বাইরে রাখুন। RFC 9309 বলে, robots.txt-এর জন্য সার্ভার এরর মানে ক্রলারকে ধরে নিতে হবে পুরো সাইট নিষিদ্ধ, আর Google যেসব 4xx কোডকে অনুপস্থিত ফাইল হিসেবে ধরে, তা থেকে 429 বাদ রাখে।
ক্যাশিং কি ক্রলারের লোড কমাতে পারে?
প্রায়ই রেট লিমিটের চেয়েও বেশি। ক্রলাররা বেশিরভাগ সময় এমন পাবলিক পেজ চায় যা প্রত্যেক ভিজিটরের জন্য একই, তাই CDN বা পেজ ক্যাশ থেকে সেগুলো দিলে ব্যয়বহুল রেন্ডার সস্তা ক্যাশ হিটে পরিণত হয়। চেক করুন আপনার ক্যাশ ক্রলারের ইউজার এজেন্টের জন্য আলাদা, ক্যাশ-ছাড়া কোনো ভ্যারিয়েন্ট রাখে না।
কন্ডিশনাল অনুরোধও সাহায্য করে। Google বলে, এর ক্রলাররা ETag ও If-None-Match এবং Last-Modified ও If-Modified-Since দিয়ে HTTP ক্যাশিং সমর্থন করে, আর দুটোই থাকলে ETag ব্যবহার করে। OpenAI, Anthropic ও Perplexity-র ক্রলার পেজ বলে না তাদের ক্রলাররা কন্ডিশনাল অনুরোধ পাঠায় কি না, তাই এই সাশ্রয় শুধু Google-এর ক্ষেত্রে ধরে নিন।
ক্রলারদের গতি কমানোর সময় কী এড়িয়ে চলব?
- ফায়ারওয়ালে কোনো ভেন্ডরের IP রেঞ্জ ব্লক করা। Anthropic সতর্ক করে যে এটি ঠিকমতো কাজ নাও করতে পারে বা অপ্ট-আউট বজায় নাও রাখতে পারে, কারণ এতে তার বটগুলো আপনার robots.txt পড়তে পারে না।
- দিনের পর দিন
5xxবা429দেওয়া। Google বলে, যে URL ক্রমাগত এগুলো ফেরত দেয় তা এর ইনডেক্স থেকে বাদ পড়তে পারে। - বট সুরক্ষাকে থ্রটল হিসেবে ব্যবহার করা। Cloudflare-এর Bot Fight Mode বটদের গণনার দিক থেকে ব্যয়বহুল চ্যালেঞ্জ দেয় এবং WAF কাস্টম রুল দিয়ে একে বাদ দেওয়া যায় না, তাই যে ক্রলারদের রাখতে চান তাদের ছাড় দিতে পারবেন না।
- ব্যান্ডউইথ বাঁচাতে কোনো সার্চ ক্রলার নিষেধ করা।
OAI-SearchBot,Claude-SearchBotবাPerplexityBot-এর জন্য একটিDisallowআপনাকে সেই উত্তরগুলো থেকে বাদ দেয় যেখানে এই ক্রলাররা কনটেন্ট দেয়।
ক্রলাররা এখনো ঢুকতে পারছে কি না কীভাবে চেক করব?
রেট লিমিট খুব কড়া করে ফেলা সহজ। AISeeWhy-এর ফ্রি চেক একটি আসল ব্রাউজারের পাশাপাশি 16টি AI ও সার্চ ক্রলার হিসেবে একটি পেজ আনে, প্রতিটি ক্রলারের জন্য আপনার robots.txt প্রয়োগ করে এবং ফায়ারওয়ালের চ্যালেঞ্জ পেজ চিনে নেয়, তাই যে রুল ক্রলারদের সঙ্গে ব্রাউজার থেকে ভিন্নভাবে সাড়া দেয় তা ধরা পড়ে। প্রতি ক্রলারে একটি অনুরোধ কোনো যুক্তিসঙ্গত লিমিট ছোঁবে না, আর সেটাই উদ্দেশ্য: রুল বদলানোর পর এটি চালিয়ে নিশ্চিত হোন যে সাধারণ অনুরোধ এখনো পার হচ্ছে। ফ্রি AI ক্রলার IP চেক জানায় আপনার লগের কোনো IP সত্যিই GPTBot বা অন্য কোনো ক্রলারের কি না।
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- AI ক্রলারের IP চেক
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
Google কি Crawl-delay সমর্থন করে?
না। Google-এর robots.txt ডকুমেন্টেশন crawl-delay-কে অসমর্থিত ফিল্ডের তালিকায় রাখে। অল্প সময়ের জন্য Googlebot-এর গতি কমাতে কিছু অনুরোধে 503, 500 বা 429 ফেরত দিন; দীর্ঘ সময়ের জন্য কমাতে Google Search Console-এর মাধ্যমে একটি বিশেষ অনুরোধের সুযোগ দেয়।
ClaudeBot কি Crawl-delay মানে?
Anthropic বলে, এটি নন-স্ট্যান্ডার্ড Crawl-delay এক্সটেনশন সমর্থন করে। এটি একটি ClaudeBot গ্রুপে রাখুন এবং আপনার User-agent: * গ্রুপের যেকোনো Disallow রুল সেখানে আবার লিখুন।
GPTBot ও PerplexityBot কি Crawl-delay সমর্থন করে?
OpenAI ও Perplexity-র ক্রলার পেজে Crawl-delay-এর উল্লেখ নেই, তাই এর প্রভাব নথিভুক্ত নয়। সার্ভার-সাইড লিমিট ব্যবহার করুন, যা অতিরিক্ত অনুরোধে 429 দেয়।
429 রেসপন্স কি আমার র্যাঙ্কিংয়ের ক্ষতি করবে?
অল্প সময়ের জন্য নয়। Google 429 ও 503-কে সাময়িকভাবে ক্রলিং কমানোর উপায় হিসেবে নথিভুক্ত করে, কিন্তু সতর্ক করে যে যে URL কয়েক দিন ধরে এগুলো ফেরত দেয় তা এর ইনডেক্স থেকে বাদ পড়তে পারে।
লোড কমাতে কি GPTBot ব্লক করা উচিত?
করতে পারেন। OpenAI বলে, GPTBot এমন কনটেন্ট ক্রল করে যা ট্রেনিংয়ে ব্যবহার হতে পারে এবং robots.txt-এর প্রতিটি সেটিং স্বাধীন, তাই একে নিষেধ করলে আপনি ChatGPT সার্চ থেকে বাদ পড়েন না, যা OAI-SearchBot ব্যবহার করে। আগে লগ চেক করে নিশ্চিত হোন যে লোড OpenAI-এর ঠিকানা থেকেই আসছে।
উৎস
- Anthropic: Anthropic কি ওয়েব থেকে ডেটা ক্রল করে, আর সাইট মালিকেরা কীভাবে ক্রলারটি ব্লক করবেন?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: Google কীভাবে robots.txt স্পেসিফিকেশন ব্যাখ্যা করে
- Google: Google-এর ক্রল রেট কমানো
- Google: Google-এর ক্রলার ও ফেচারের সংক্ষিপ্ত পরিচিতি (HTTP ক্যাশিং)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: ngx_http_limit_req_module মডিউল
- Cloudflare: রেট লিমিটিং রুল
- Cloudflare: রেট লিমিটিং প্যারামিটার
- Cloudflare: AI ক্রলার পরিচালনা (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: OpenAI ক্রলারের সংক্ষিপ্ত পরিচিতি
- Perplexity: Perplexity ক্রলার