AI क्रलरलाई ब्लक नगरी कसरी ढिलो बनाउने
ब्लक नगरी rate limit गर्नुहोस्। सीमाभन्दा बढी क्रलर अनुरोधलाई Retry-After हेडरसहित 429 वा 503 दिनुहोस्, हरेक क्रलरलाई आफ्नै बजेट दिनुहोस्, /robots.txt लाई कुनै पनि सीमाबाहिर राख्नुहोस्, र क्रलरलाई cache बाट सामग्री दिनुहोस्। robots.txt को Crawl-delay ले सञ्चालकले कागजातमा बताएको ठाउँमा मात्र मद्दत गर्छ: Anthropic र Bing ले बताउँछन्, Google भन्छ यसले समर्थन गर्दैन, र OpenAI तथा Perplexity ले यसको उल्लेख गर्दैनन्। AI सर्च क्रलरलाई अनुमति दिइराख्नुहोस्, नत्र तिनले सामग्री दिने उत्तरबाट पनि तपाईं बाहिरिनुहुन्छ।
कुनै क्रलरले घण्टामा हजारौँ अनुरोध पठाउँदा तुरुन्तको उपाय Disallow: / वा फायरवाल ब्लक हो। ट्रेनिङ क्रलरका लागि यो उचित छनोट हुन सक्छ। OAI-SearchBot, Claude-SearchBot वा PerplexityBot का लागि भने यसले तपाईं देखिन चाहेका AI उत्तरबाट तपाईंका पेज हटाउँछ। धेरैजसो बेला क्रलरले पहिल्यै बुझ्ने संकेत प्रयोग गरेर त्यो नगुमाई लोड घटाउन सकिन्छ: स्थिति कोड, cache र, केही सञ्चालकका लागि, Crawl-delay।
यस पेजमा
वास्तवमा कुन क्रलरले लोड बढाइरहेको छ?
केही बदल्नुअघि हेर्नुहोस्। access log मा user agent र घण्टाअनुसार अनुरोध गन्नुहोस्, र स्रोत IP लाई हरेक कम्पनीले प्रकाशित गर्ने दायरासँग जाँच्नुहोस्; सर्भर लगमा AI क्रलर जाँच्नेबारे हाम्रो गाइडमा कमान्ड छन्। दुई निष्कर्ष प्रायः भेटिन्छन्:
- भारी ट्राफिकले AI क्रलर भएको दाबी मात्र गर्छ। IP कम्पनीको सूचीमा छैनन् भने वास्तविक क्रलरका नियमले मद्दत गर्दैनन्। त्यो ट्राफिकलाई यसको स्रोतका आधारमा सीमित वा ब्लक गर्नुहोस्।
- वास्तविक क्रलर crawl trap मा फसेको छ, जस्तै अनन्त क्यालेन्डर पेज, फिल्टरका संयोजन वा URL मा session ID। ती path का लागि
Disallowनियमले trap बन्द गर्दा कुनै पनि rate limit भन्दा बढी बचत हुन्छ।
क्रलरलाई कामअनुसार पनि छुट्याउनुहोस्। GPTBot र ClaudeBot जस्ता ट्रेनिङ क्रलरले तपाईंलाई AI सर्चमा उद्धृत हुन योग्य बनाउँदैनन्, त्यसैले समस्या तीमध्ये कुनै हो भने त्यसलाई निषेध गर्नु उचित विकल्प हो। यो गाइडको बाँकी भाग तपाईं राख्न चाहने क्रलरका लागि हो।
के Crawl-delay ले AI क्रलरमा काम गर्छ?
Crawl-delay RFC 9309 को भाग होइन, त्यसैले यसलाई पढ्ने कि नपढ्ने हरेक सञ्चालकले निर्णय गर्छ। नोभेम्बर 2026 सम्म कागजातले यस्तो भन्छ:
- Anthropic: समर्थित। यसको सहायता पेज भन्छ यसले क्रलिङ गतिविधि सीमित गर्न गैर-मानक
Crawl-delayएक्सटेन्सन समर्थन गर्छ, र उदाहरणका रूपमाClaudeBotसमूहमाCrawl-delay: 1दिन्छ। - Microsoft Bing: समर्थित। Bing को webmaster ब्लगले यो मानलाई 1 देखि 30 सेकेन्डको समय-अवधि भन्छ, जसमा
bingbotले बढीमा एउटा पेज क्रल गर्छ, र robots.txt को crawl delay ले Bing Webmaster Tools का क्रल सेटिङलाई ओभरराइड गर्छ भन्छ। - Google: समर्थित छैन। Google को robots.txt कागजातले
crawl-delayलाई आफूले समर्थन नगर्ने फिल्डका रूपमा नाम लिन्छ। - OpenAI र Perplexity: तिनका क्रलर पेजले यसको उल्लेख गर्दैनन्, त्यसैले
GPTBot,OAI-SearchBotवाPerplexityBotमा यसको असरको कागजात छैन।
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ समूहको तर्कमा ध्यान दिनुहोस्। आफ्नै नामको समूह भेट्ने क्रलरले User-agent: * समूहलाई पूरै बेवास्ता गर्छ, त्यसैले Crawl-delay मात्र भएको ClaudeBot समूहले अरू सबैका लागि राखेका सबै Disallow हटाइदिन्छ। माथि जस्तै तिनलाई दोहोर्याउनुहोस्। Bing ले Crawl-delay लाई कुनै पनि समूहबाट पढ्ने अपवाद भन्छ, तर अन्य क्रलरका लागि त्यस्तो नमान्नुहोस्।
429 र 503 जवाफले क्रलरलाई कसरी ढिलो बनाउँछन्?
लोडको उछालमा स्थिति कोड नै क्रलरले मान्न बनाइएको संकेत हो। RFC 6585 मा परिभाषित 429 Too Many Requests को अर्थ क्लाइन्टले तोकिएको समयमा धेरै अनुरोध पठायो, र यसमा कति पर्खने भन्ने Retry-After हेडर हुन सक्छ। 503 Service Unavailable ले सर्भरले अहिले धान्न सक्दैन भन्छ।
Google ले Googlebot को क्रल दर छिटो घटाउने तरिका यही बताउँछ: केही क्रल अनुरोधलाई 200 को सट्टा 500, 503 वा 429 फर्काउनुहोस्। यसले पूरै hostname को क्रल दर घटाउँछ र Retry-After मा सेकेन्डको संख्या वा मिति राख्न सकिन्छ भन्छ।
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. छोटो राख्नुहोस्। Google एक वा दुई दिनभन्दा लामो यसो नगर्न सल्लाह दिन्छ, किनभने धेरै दिनसम्म यी कोड फर्काउने URL यसको इन्डेक्सबाट हट्न सक्छ। लामो समयसम्म घटाउन Google ले बरु Search Console मार्फत विशेष अनुरोधको सुविधा दिन्छ।
OpenAI, Anthropic र Perplexity ले आफ्ना क्रलरले 429, 503 वा Retry-After मा कस्तो प्रतिक्रिया दिन्छन् भनेर कागजातमा बताउँदैनन्। यी कोड कम माग्ने मानक तरिका हुन्, तर हरेक AI क्रलर कति छिटो पछि हट्छ भन्ने कुरा कतै हेर्न सकिँदैन।
AI क्रलरका लागि rate limit कसरी सेट गर्ने?
सबै ट्राफिकका लागि एउटै सीमाको सट्टा हरेक क्रलरलाई आफ्नै बजेट दिनुहोस्, र त्यसभन्दा बढीका अनुरोधलाई 429 दिनुहोस्। nginx मा limit_req मोड्युलले यो गर्छ। खाली key भएका अनुरोध गनिँदैनन्, त्यसैले क्रलरका user agent का लागि मात्र key फर्काउने map ले मानव आगन्तुकलाई छुँदैन। यहाँ हरेक क्रलरले मिनेटमा 60 अनुरोध र 20 को burst पाउँछ:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} यहाँ key user agent हो, त्यसैले क्रलरको नाम कपी गर्ने जोसुकैले त्यो क्रलरको बजेट बाँड्छ। rate limit का लागि यो स्वीकार्य छ। allow नियमका लागि भने कम्पनीले प्रकाशित गरेका IP दायरा पनि मिलाउनुहोस्।
Cloudflare मा rate limiting rule ले edge मा यही काम गर्छन्। Free प्लानमा 10 सेकेन्डमा प्रति IP गनिने एउटा नियम पाइन्छ, र नियमको expression ले path र Verified Bot फिल्ड प्रयोग गर्न सक्छ। धेरै ठेगानाबाट अनुरोध फैलाउने क्रलरका लागि प्रति IP गन्ती मोटामोटी हुन्छ, र माथिल्ला प्लानमा गन्तीका थप विकल्प छन्। डिफल्ट जवाफ 429 हो, र तपाईं अर्को 4xx कोड र आफ्नै body राख्न सक्नुहुन्छ। AI Crawl Control ले हरेक क्रलरका लागि Allow, Block र, private beta मा, Charge दिन्छ, तर गतिको सेटिङ दिँदैन।
जे प्रयोग गरे पनि /robots.txt लाई सीमाबाहिर राख्नुहोस्। RFC 9309 भन्छ robots.txt को सर्भर त्रुटिको अर्थ क्रलरले पूरै साइट निषेधित मान्नुपर्छ, र Google ले फाइल नभएको मान्ने 4xx कोडबाट 429 लाई बाहिर राख्छ।
के cache ले क्रलरको लोड घटाउन सक्छ?
प्रायः rate limit भन्दा बढी। क्रलरले धेरैजसो हरेक आगन्तुकका लागि उस्तै हुने सार्वजनिक पेज माग्छन्, त्यसैले तिनलाई CDN वा page cache बाट दिँदा महँगो render सस्तो hit मा बदलिन्छ। तपाईंको cache ले क्रलरका user agent का लागि cache नगरिएको छुट्टै भेरियन्ट राख्दैन भनेर जाँच्नुहोस्।
conditional request ले पनि मद्दत गर्छन्। Google भन्छ यसका क्रलरले ETag र If-None-Match, तथा Last-Modified र If-Modified-Since सहित HTTP caching समर्थन गर्छन्, र दुवै हुँदा ETag प्रयोग गर्छन्। OpenAI, Anthropic र Perplexity का क्रलर पेजले तिनका क्रलरले conditional request पठाउँछन् कि बताउँदैनन्, त्यसैले त्यो बचत Google का लागि मात्र गन्नुहोस्।
क्रलरलाई ढिलो बनाउँदा के नगर्ने?
- फायरवालमा कम्पनीका IP दायरा ब्लक गर्ने। Anthropic चेतावनी दिन्छ यसले ठीकसँग काम नगर्न वा opt-out कायम नराख्न सक्छ, किनभने यसले यसका बटलाई तपाईंको robots.txt पढ्नबाट रोक्छ।
- दिनौँसम्म
5xxवा429दिने। Google भन्छ यी फर्काइरहने URL यसको इन्डेक्सबाट हट्न सक्छन्। - बट सुरक्षालाई throttle का रूपमा प्रयोग गर्ने। Cloudflare को Bot Fight Mode ले बटलाई गणनात्मक रूपमा महँगा च्यालेन्ज दिन्छ र WAF custom rule ले छोड्न सकिँदैन, त्यसैले तपाईं राख्न चाहेका क्रलरलाई छुट दिन सक्नुहुन्न।
- bandwidth बचाउन सर्च क्रलर निषेध गर्ने।
OAI-SearchBot,Claude-SearchBotवाPerplexityBotका लागिDisallowले ती क्रलरले सामग्री दिने उत्तरबाट तपाईंलाई हटाउँछ।
क्रलर अझै छिर्छन् कि कसरी जाँच्ने?
rate limit धेरै कडा राख्न सजिलो छ। AISeeWhy को निःशुल्क जाँचले पेजलाई वास्तविक ब्राउजरको छेउमा 16 AI र सर्च क्रलरका रूपमा ल्याउँछ, हरेक क्रलरका लागि तपाईंको robots.txt लागू गर्छ र फायरवालका च्यालेन्ज पेज पहिचान गर्छ, त्यसैले क्रलरलाई ब्राउजरभन्दा फरक जवाफ दिने नियम देखिन्छ। प्रति क्रलर एउटा अनुरोधले उचित सीमा नाघ्दैन, र उद्देश्य यही हो: सामान्य अनुरोध अझै छिर्छन् भनेर पक्का गर्न नियम बदलेपछि यो चलाउनुहोस्। निःशुल्क AI क्रलर IP जाँचले तपाईंको लगको कुनै IP वास्तवमै GPTBot वा अर्को क्रलरको हो कि होइन बताउँछ।
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- AI क्रलर IP जाँच
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
के Google ले Crawl-delay समर्थन गर्छ?
गर्दैन। Google को robots.txt कागजातले crawl-delay लाई आफूले समर्थन नगर्ने फिल्डमा राख्छ। Googlebot लाई छोटो समय ढिलो बनाउन केही अनुरोधलाई 503, 500 वा 429 फर्काउनुहोस्; लामो समयसम्म घटाउन Google ले Search Console मार्फत विशेष अनुरोधको सुविधा दिन्छ।
के ClaudeBot ले Crawl-delay मान्छ?
Anthropic भन्छ यसले गैर-मानक Crawl-delay एक्सटेन्सन समर्थन गर्छ। यसलाई ClaudeBot समूहमा राख्नुहोस् र आफ्नो User-agent: * समूहका सबै Disallow नियम त्यहाँ दोहोर्याउनुहोस्।
के GPTBot र PerplexityBot ले Crawl-delay समर्थन गर्छन्?
OpenAI र Perplexity का क्रलर पेजले Crawl-delay को उल्लेख गर्दैनन्, त्यसैले यसको असरको कागजात छैन। सीमाभन्दा बढी अनुरोधलाई 429 दिने सर्भर-साइड सीमा प्रयोग गर्नुहोस्।
के 429 जवाफले मेरो रैंकिङमा असर गर्छ?
छोटो अवधिका लागि गर्दैन। Google ले 429 र 503 लाई अस्थायी रूपमा क्रलिङ घटाउने तरिका भन्छ, तर धेरै दिनसम्म यी फर्काउने URL यसको इन्डेक्सबाट हट्न सक्ने चेतावनी दिन्छ।
लोड घटाउन GPTBot ब्लक गर्नुपर्छ?
गर्न सक्नुहुन्छ। OpenAI भन्छ GPTBot ले ट्रेनिङमा प्रयोग हुन सक्ने सामग्री क्रल गर्छ र हरेक robots.txt सेटिङ स्वतन्त्र हुन्छ, त्यसैले यसलाई निषेध गर्दा तपाईं ChatGPT सर्चबाट हट्नुहुन्न, जसले OAI-SearchBot प्रयोग गर्छ। लोड OpenAI का ठेगानाबाटै आएको हो भनेर पक्का गर्न पहिले आफ्नो लग जाँच्नुहोस्।
स्रोतहरू
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers