ব্লক না করে AI ক্রলারদের গতি কীভাবে কমাবেন

প্রকাশিত

সংক্ষিপ্ত উত্তর

ব্লক না করে রেট লিমিট করুন। ক্রলারদের অতিরিক্ত অনুরোধে 429 বা 503 এবং একটি Retry-After হেডার দিন, প্রতিটি ক্রলারকে আলাদা বাজেট দিন, /robots.txt-কে সব লিমিটের বাইরে রাখুন, এবং ক্রলারদের ক্যাশ থেকে পরিবেশন করুন। robots.txt-এর Crawl-delay শুধু সেখানেই কাজে আসে যেখানে অপারেটর তা নথিভুক্ত করে: Anthropic ও Bing করে, Google বলে এটি সমর্থন করে না, আর OpenAI ও Perplexity এর উল্লেখ করে না। AI সার্চ ক্রলারদের অনুমতি রাখুন, নইলে তারা যে উত্তরে কনটেন্ট দেয় সেখান থেকেও আপনি বাদ পড়বেন।

কোনো ক্রলার ঘণ্টায় হাজার হাজার অনুরোধ পাঠালে দ্রুত সমাধান হলো Disallow: / বা ফায়ারওয়ালে ব্লক। ট্রেনিং ক্রলারের জন্য এটি ন্যায্য বাছাই হতে পারে। কিন্তু OAI-SearchBot, Claude-SearchBot বা PerplexityBot-এর ক্ষেত্রে এতে আপনার পেজ সেই AI উত্তরগুলো থেকে বাদ পড়ে যেখানে আপনি থাকতে চান। বেশিরভাগ সময় এটি না ছেড়েই লোড কমানো যায়, এমন সিগন্যাল দিয়ে যা ক্রলাররা আগে থেকেই বোঝে: স্ট্যাটাস কোড, ক্যাশিং এবং, কিছু অপারেটরের ক্ষেত্রে, Crawl-delay।

এই পেজে
  1. আসলে কোন ক্রলার লোড তৈরি করছে?
  2. Crawl-delay কি AI ক্রলারদের জন্য কাজ করে?
  3. 429 ও 503 রেসপন্স কীভাবে ক্রলারদের গতি কমায়?
  4. AI ক্রলারদের জন্য রেট লিমিট কীভাবে সেট করব?
  5. ক্যাশিং কি ক্রলারের লোড কমাতে পারে?
  6. ক্রলারদের গতি কমানোর সময় কী এড়িয়ে চলব?
  7. ক্রলাররা এখনো ঢুকতে পারছে কি না কীভাবে চেক করব?

আসলে কোন ক্রলার লোড তৈরি করছে?

কিছু বদলানোর আগে দেখে নিন। আপনার অ্যাক্সেস লগে ইউজার এজেন্ট ও ঘণ্টা ধরে অনুরোধ গুনুন, এবং উৎস IP-গুলো প্রত্যেক ভেন্ডরের প্রকাশিত রেঞ্জের সঙ্গে মিলিয়ে দেখুন; AI ক্রলারের জন্য সার্ভার লগ চেক করা নিয়ে আমাদের গাইডে কমান্ডগুলো আছে। দুটি জিনিস প্রায়ই দেখা যায়:

ক্রলারদের কাজ অনুযায়ীও ভাগ করুন। GPTBot ও ClaudeBot-এর মতো ট্রেনিং ক্রলাররা আপনাকে AI সার্চে উদ্ধৃতিযোগ্য করে না, তাই সমস্যা এদের কোনোটি হলে নিষেধ করা একটি যুক্তিসঙ্গত বিকল্প। এই গাইডের বাকি অংশ সেই ক্রলারদের জন্য যাদের আপনি রাখতে চান।

Crawl-delay কি AI ক্রলারদের জন্য কাজ করে?

Crawl-delay RFC 9309-এর অংশ নয়, তাই প্রত্যেক অপারেটর ঠিক করে এটি পড়বে কি না। নভেম্বর 2026 পর্যন্ত ডকুমেন্টেশন যা বলে:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

গ্রুপের যুক্তি খেয়াল রাখুন। যে ক্রলার নিজের নামে একটি গ্রুপ পায়, সে User-agent: * গ্রুপ পুরোপুরি উপেক্ষা করে, তাই শুধু Crawl-delay থাকা একটি ClaudeBot গ্রুপ বাকি সবার জন্য সেট করা প্রতিটি Disallow বাদ দিয়ে দেবে। ওপরের মতো সেগুলো আবার লিখুন। Bing Crawl-delay-কে এমন ব্যতিক্রম হিসেবে বর্ণনা করে যা এটি যেকোনো গ্রুপ থেকে পড়ে, কিন্তু অন্য ক্রলারদের ক্ষেত্রে তা ধরে নেবেন না।

429 ও 503 রেসপন্স কীভাবে ক্রলারদের গতি কমায়?

লোডের চূড়ায় স্ট্যাটাস কোডই সেই সিগন্যাল যা মানার জন্য ক্রলারদের তৈরি করা হয়েছে। RFC 6585-এ সংজ্ঞায়িত 429 Too Many Requests মানে ক্লায়েন্ট নির্দিষ্ট সময়ে অনেক বেশি অনুরোধ পাঠিয়েছে, এবং এতে কতক্ষণ অপেক্ষা করতে হবে তা জানানো একটি Retry-After হেডার থাকতে পারে। 503 Service Unavailable বলে সার্ভার এই মুহূর্তে সামলাতে পারছে না।

Googlebot-এর ক্রল রেট দ্রুত কমানোর উপায় হিসেবে Google এটিই নথিভুক্ত করে: কিছু ক্রল অনুরোধে 200-এর বদলে 500, 503 বা 429 ফেরত দিন। এটি বলে, এতে পুরো হোস্টনেমের ক্রল রেট কমে, এবং Retry-After-এ সেকেন্ডের সংখ্যা বা একটি তারিখ থাকতে পারে।

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

সময়টা ছোট রাখুন। Google এক বা দুই দিনের বেশি এটি করার পরামর্শ দেয় না, কারণ যে URL কয়েক দিন ধরে এই কোড ফেরত দেয় তা এর ইনডেক্স থেকে বাদ পড়তে পারে। স্থায়ীভাবে কমাতে Google বরং Search Console-এর মাধ্যমে একটি বিশেষ অনুরোধের সুযোগ দেয়।

OpenAI, Anthropic ও Perplexity নথিভুক্ত করে না যে তাদের ক্রলাররা 429, 503 বা Retry-After-এ কেমন প্রতিক্রিয়া দেখায়। কম চাওয়ার স্ট্যান্ডার্ড উপায় এই কোডগুলোই, কিন্তু প্রত্যেক AI ক্রলার কত দ্রুত পিছিয়ে যায় তা কোথাও খুঁজে দেখার উপায় নেই।

AI ক্রলারদের জন্য রেট লিমিট কীভাবে সেট করব?

সব ট্রাফিকের জন্য একটি লিমিটের বদলে প্রতিটি ক্রলারকে আলাদা বাজেট দিন, এবং তার বেশি অনুরোধে 429 দিন। nginx-এ এটি করে limit_req মডিউল। খালি কী-সহ অনুরোধ গোনা হয় না, তাই যে map শুধু ক্রলারের ইউজার এজেন্টের জন্য কী ফেরত দেয়, তা মানুষ ভিজিটরদের ছুঁয়েও দেখে না। এখানে প্রতিটি ক্রলার মিনিটে 60টি অনুরোধ পায়, 20টির বার্স্টসহ:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

এখানে কী হলো ইউজার এজেন্ট, তাই যে কেউ কোনো ক্রলারের নাম নকল করলে সেই ক্রলারের বাজেট ভাগ করে নেয়। রেট লিমিটের জন্য এটি গ্রহণযোগ্য। অনুমতির রুলের জন্য ভেন্ডরের প্রকাশিত IP রেঞ্জও মেলান।

Cloudflare-এ রেট লিমিটিং রুল একই কাজ এজে করে। Free প্ল্যানে একটি রুল পাওয়া যায়, যা 10 সেকেন্ড ধরে প্রতি IP গোনে, আর রুলের এক্সপ্রেশনে পাথ ও Verified Bot ফিল্ড ব্যবহার করা যায়। যেসব ক্রলার অনেক ঠিকানা থেকে অনুরোধ ছড়িয়ে দেয়, তাদের জন্য প্রতি IP গোনা মোটা দাগের, আর উঁচু প্ল্যানে গোনার আরও অপশন আছে। ডিফল্ট রেসপন্স 429, আর আপনি অন্য কোনো 4xx কোড ও কাস্টম বডি সেট করতে পারেন। AI Crawl Control প্রতিটি ক্রলারের জন্য Allow, Block এবং, প্রাইভেট বেটাতে, Charge দেয়, কিন্তু রেটের কোনো সেটিং নেই।

যা-ই ব্যবহার করুন, /robots.txt-কে লিমিটের বাইরে রাখুন। RFC 9309 বলে, robots.txt-এর জন্য সার্ভার এরর মানে ক্রলারকে ধরে নিতে হবে পুরো সাইট নিষিদ্ধ, আর Google যেসব 4xx কোডকে অনুপস্থিত ফাইল হিসেবে ধরে, তা থেকে 429 বাদ রাখে।

ক্যাশিং কি ক্রলারের লোড কমাতে পারে?

প্রায়ই রেট লিমিটের চেয়েও বেশি। ক্রলাররা বেশিরভাগ সময় এমন পাবলিক পেজ চায় যা প্রত্যেক ভিজিটরের জন্য একই, তাই CDN বা পেজ ক্যাশ থেকে সেগুলো দিলে ব্যয়বহুল রেন্ডার সস্তা ক্যাশ হিটে পরিণত হয়। চেক করুন আপনার ক্যাশ ক্রলারের ইউজার এজেন্টের জন্য আলাদা, ক্যাশ-ছাড়া কোনো ভ্যারিয়েন্ট রাখে না।

কন্ডিশনাল অনুরোধও সাহায্য করে। Google বলে, এর ক্রলাররা ETag ও If-None-Match এবং Last-Modified ও If-Modified-Since দিয়ে HTTP ক্যাশিং সমর্থন করে, আর দুটোই থাকলে ETag ব্যবহার করে। OpenAI, Anthropic ও Perplexity-র ক্রলার পেজ বলে না তাদের ক্রলাররা কন্ডিশনাল অনুরোধ পাঠায় কি না, তাই এই সাশ্রয় শুধু Google-এর ক্ষেত্রে ধরে নিন।

ক্রলারদের গতি কমানোর সময় কী এড়িয়ে চলব?

ক্রলাররা এখনো ঢুকতে পারছে কি না কীভাবে চেক করব?

রেট লিমিট খুব কড়া করে ফেলা সহজ। AISeeWhy-এর ফ্রি চেক একটি আসল ব্রাউজারের পাশাপাশি 16টি AI ও সার্চ ক্রলার হিসেবে একটি পেজ আনে, প্রতিটি ক্রলারের জন্য আপনার robots.txt প্রয়োগ করে এবং ফায়ারওয়ালের চ্যালেঞ্জ পেজ চিনে নেয়, তাই যে রুল ক্রলারদের সঙ্গে ব্রাউজার থেকে ভিন্নভাবে সাড়া দেয় তা ধরা পড়ে। প্রতি ক্রলারে একটি অনুরোধ কোনো যুক্তিসঙ্গত লিমিট ছোঁবে না, আর সেটাই উদ্দেশ্য: রুল বদলানোর পর এটি চালিয়ে নিশ্চিত হোন যে সাধারণ অনুরোধ এখনো পার হচ্ছে। ফ্রি AI ক্রলার IP চেক জানায় আপনার লগের কোনো IP সত্যিই GPTBot বা অন্য কোনো ক্রলারের কি না।

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

প্রশ্নোত্তর

Google কি Crawl-delay সমর্থন করে?

না। Google-এর robots.txt ডকুমেন্টেশন crawl-delay-কে অসমর্থিত ফিল্ডের তালিকায় রাখে। অল্প সময়ের জন্য Googlebot-এর গতি কমাতে কিছু অনুরোধে 503, 500 বা 429 ফেরত দিন; দীর্ঘ সময়ের জন্য কমাতে Google Search Console-এর মাধ্যমে একটি বিশেষ অনুরোধের সুযোগ দেয়।

ClaudeBot কি Crawl-delay মানে?

Anthropic বলে, এটি নন-স্ট্যান্ডার্ড Crawl-delay এক্সটেনশন সমর্থন করে। এটি একটি ClaudeBot গ্রুপে রাখুন এবং আপনার User-agent: * গ্রুপের যেকোনো Disallow রুল সেখানে আবার লিখুন।

GPTBot ও PerplexityBot কি Crawl-delay সমর্থন করে?

OpenAI ও Perplexity-র ক্রলার পেজে Crawl-delay-এর উল্লেখ নেই, তাই এর প্রভাব নথিভুক্ত নয়। সার্ভার-সাইড লিমিট ব্যবহার করুন, যা অতিরিক্ত অনুরোধে 429 দেয়।

429 রেসপন্স কি আমার র‍্যাঙ্কিংয়ের ক্ষতি করবে?

অল্প সময়ের জন্য নয়। Google 429 ও 503-কে সাময়িকভাবে ক্রলিং কমানোর উপায় হিসেবে নথিভুক্ত করে, কিন্তু সতর্ক করে যে যে URL কয়েক দিন ধরে এগুলো ফেরত দেয় তা এর ইনডেক্স থেকে বাদ পড়তে পারে।

লোড কমাতে কি GPTBot ব্লক করা উচিত?

করতে পারেন। OpenAI বলে, GPTBot এমন কনটেন্ট ক্রল করে যা ট্রেনিংয়ে ব্যবহার হতে পারে এবং robots.txt-এর প্রতিটি সেটিং স্বাধীন, তাই একে নিষেধ করলে আপনি ChatGPT সার্চ থেকে বাদ পড়েন না, যা OAI-SearchBot ব্যবহার করে। আগে লগ চেক করে নিশ্চিত হোন যে লোড OpenAI-এর ঠিকানা থেকেই আসছে।

উৎস

আরও আর্টিকেল