AI क्रलरलाई ब्लक नगरी कसरी ढिलो बनाउने

प्रकाशित

छोटो उत्तर

ब्लक नगरी rate limit गर्नुहोस्। सीमाभन्दा बढी क्रलर अनुरोधलाई Retry-After हेडरसहित 429 वा 503 दिनुहोस्, हरेक क्रलरलाई आफ्नै बजेट दिनुहोस्, /robots.txt लाई कुनै पनि सीमाबाहिर राख्नुहोस्, र क्रलरलाई cache बाट सामग्री दिनुहोस्। robots.txt को Crawl-delay ले सञ्चालकले कागजातमा बताएको ठाउँमा मात्र मद्दत गर्छ: Anthropic र Bing ले बताउँछन्, Google भन्छ यसले समर्थन गर्दैन, र OpenAI तथा Perplexity ले यसको उल्लेख गर्दैनन्। AI सर्च क्रलरलाई अनुमति दिइराख्नुहोस्, नत्र तिनले सामग्री दिने उत्तरबाट पनि तपाईं बाहिरिनुहुन्छ।

कुनै क्रलरले घण्टामा हजारौँ अनुरोध पठाउँदा तुरुन्तको उपाय Disallow: / वा फायरवाल ब्लक हो। ट्रेनिङ क्रलरका लागि यो उचित छनोट हुन सक्छ। OAI-SearchBot, Claude-SearchBot वा PerplexityBot का लागि भने यसले तपाईं देखिन चाहेका AI उत्तरबाट तपाईंका पेज हटाउँछ। धेरैजसो बेला क्रलरले पहिल्यै बुझ्ने संकेत प्रयोग गरेर त्यो नगुमाई लोड घटाउन सकिन्छ: स्थिति कोड, cache र, केही सञ्चालकका लागि, Crawl-delay।

यस पेजमा
  1. वास्तवमा कुन क्रलरले लोड बढाइरहेको छ?
  2. के Crawl-delay ले AI क्रलरमा काम गर्छ?
  3. 429 र 503 जवाफले क्रलरलाई कसरी ढिलो बनाउँछन्?
  4. AI क्रलरका लागि rate limit कसरी सेट गर्ने?
  5. के cache ले क्रलरको लोड घटाउन सक्छ?
  6. क्रलरलाई ढिलो बनाउँदा के नगर्ने?
  7. क्रलर अझै छिर्छन् कि कसरी जाँच्ने?

वास्तवमा कुन क्रलरले लोड बढाइरहेको छ?

केही बदल्नुअघि हेर्नुहोस्। access log मा user agent र घण्टाअनुसार अनुरोध गन्नुहोस्, र स्रोत IP लाई हरेक कम्पनीले प्रकाशित गर्ने दायरासँग जाँच्नुहोस्; सर्भर लगमा AI क्रलर जाँच्नेबारे हाम्रो गाइडमा कमान्ड छन्। दुई निष्कर्ष प्रायः भेटिन्छन्:

क्रलरलाई कामअनुसार पनि छुट्याउनुहोस्। GPTBot र ClaudeBot जस्ता ट्रेनिङ क्रलरले तपाईंलाई AI सर्चमा उद्धृत हुन योग्य बनाउँदैनन्, त्यसैले समस्या तीमध्ये कुनै हो भने त्यसलाई निषेध गर्नु उचित विकल्प हो। यो गाइडको बाँकी भाग तपाईं राख्न चाहने क्रलरका लागि हो।

के Crawl-delay ले AI क्रलरमा काम गर्छ?

Crawl-delay RFC 9309 को भाग होइन, त्यसैले यसलाई पढ्ने कि नपढ्ने हरेक सञ्चालकले निर्णय गर्छ। नोभेम्बर 2026 सम्म कागजातले यस्तो भन्छ:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

समूहको तर्कमा ध्यान दिनुहोस्। आफ्नै नामको समूह भेट्ने क्रलरले User-agent: * समूहलाई पूरै बेवास्ता गर्छ, त्यसैले Crawl-delay मात्र भएको ClaudeBot समूहले अरू सबैका लागि राखेका सबै Disallow हटाइदिन्छ। माथि जस्तै तिनलाई दोहोर्‍याउनुहोस्। Bing ले Crawl-delay लाई कुनै पनि समूहबाट पढ्ने अपवाद भन्छ, तर अन्य क्रलरका लागि त्यस्तो नमान्नुहोस्।

429 र 503 जवाफले क्रलरलाई कसरी ढिलो बनाउँछन्?

लोडको उछालमा स्थिति कोड नै क्रलरले मान्न बनाइएको संकेत हो। RFC 6585 मा परिभाषित 429 Too Many Requests को अर्थ क्लाइन्टले तोकिएको समयमा धेरै अनुरोध पठायो, र यसमा कति पर्खने भन्ने Retry-After हेडर हुन सक्छ। 503 Service Unavailable ले सर्भरले अहिले धान्न सक्दैन भन्छ।

Google ले Googlebot को क्रल दर छिटो घटाउने तरिका यही बताउँछ: केही क्रल अनुरोधलाई 200 को सट्टा 500, 503 वा 429 फर्काउनुहोस्। यसले पूरै hostname को क्रल दर घटाउँछ र Retry-After मा सेकेन्डको संख्या वा मिति राख्न सकिन्छ भन्छ।

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

छोटो राख्नुहोस्। Google एक वा दुई दिनभन्दा लामो यसो नगर्न सल्लाह दिन्छ, किनभने धेरै दिनसम्म यी कोड फर्काउने URL यसको इन्डेक्सबाट हट्न सक्छ। लामो समयसम्म घटाउन Google ले बरु Search Console मार्फत विशेष अनुरोधको सुविधा दिन्छ।

OpenAI, Anthropic र Perplexity ले आफ्ना क्रलरले 429, 503 वा Retry-After मा कस्तो प्रतिक्रिया दिन्छन् भनेर कागजातमा बताउँदैनन्। यी कोड कम माग्ने मानक तरिका हुन्, तर हरेक AI क्रलर कति छिटो पछि हट्छ भन्ने कुरा कतै हेर्न सकिँदैन।

AI क्रलरका लागि rate limit कसरी सेट गर्ने?

सबै ट्राफिकका लागि एउटै सीमाको सट्टा हरेक क्रलरलाई आफ्नै बजेट दिनुहोस्, र त्यसभन्दा बढीका अनुरोधलाई 429 दिनुहोस्। nginx मा limit_req मोड्युलले यो गर्छ। खाली key भएका अनुरोध गनिँदैनन्, त्यसैले क्रलरका user agent का लागि मात्र key फर्काउने map ले मानव आगन्तुकलाई छुँदैन। यहाँ हरेक क्रलरले मिनेटमा 60 अनुरोध र 20 को burst पाउँछ:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

यहाँ key user agent हो, त्यसैले क्रलरको नाम कपी गर्ने जोसुकैले त्यो क्रलरको बजेट बाँड्छ। rate limit का लागि यो स्वीकार्य छ। allow नियमका लागि भने कम्पनीले प्रकाशित गरेका IP दायरा पनि मिलाउनुहोस्।

Cloudflare मा rate limiting rule ले edge मा यही काम गर्छन्। Free प्लानमा 10 सेकेन्डमा प्रति IP गनिने एउटा नियम पाइन्छ, र नियमको expression ले path र Verified Bot फिल्ड प्रयोग गर्न सक्छ। धेरै ठेगानाबाट अनुरोध फैलाउने क्रलरका लागि प्रति IP गन्ती मोटामोटी हुन्छ, र माथिल्ला प्लानमा गन्तीका थप विकल्प छन्। डिफल्ट जवाफ 429 हो, र तपाईं अर्को 4xx कोड र आफ्नै body राख्न सक्नुहुन्छ। AI Crawl Control ले हरेक क्रलरका लागि Allow, Block र, private beta मा, Charge दिन्छ, तर गतिको सेटिङ दिँदैन।

जे प्रयोग गरे पनि /robots.txt लाई सीमाबाहिर राख्नुहोस्। RFC 9309 भन्छ robots.txt को सर्भर त्रुटिको अर्थ क्रलरले पूरै साइट निषेधित मान्नुपर्छ, र Google ले फाइल नभएको मान्ने 4xx कोडबाट 429 लाई बाहिर राख्छ।

के cache ले क्रलरको लोड घटाउन सक्छ?

प्रायः rate limit भन्दा बढी। क्रलरले धेरैजसो हरेक आगन्तुकका लागि उस्तै हुने सार्वजनिक पेज माग्छन्, त्यसैले तिनलाई CDN वा page cache बाट दिँदा महँगो render सस्तो hit मा बदलिन्छ। तपाईंको cache ले क्रलरका user agent का लागि cache नगरिएको छुट्टै भेरियन्ट राख्दैन भनेर जाँच्नुहोस्।

conditional request ले पनि मद्दत गर्छन्। Google भन्छ यसका क्रलरले ETag र If-None-Match, तथा Last-Modified र If-Modified-Since सहित HTTP caching समर्थन गर्छन्, र दुवै हुँदा ETag प्रयोग गर्छन्। OpenAI, Anthropic र Perplexity का क्रलर पेजले तिनका क्रलरले conditional request पठाउँछन् कि बताउँदैनन्, त्यसैले त्यो बचत Google का लागि मात्र गन्नुहोस्।

क्रलरलाई ढिलो बनाउँदा के नगर्ने?

क्रलर अझै छिर्छन् कि कसरी जाँच्ने?

rate limit धेरै कडा राख्न सजिलो छ। AISeeWhy को निःशुल्क जाँचले पेजलाई वास्तविक ब्राउजरको छेउमा 16 AI र सर्च क्रलरका रूपमा ल्याउँछ, हरेक क्रलरका लागि तपाईंको robots.txt लागू गर्छ र फायरवालका च्यालेन्ज पेज पहिचान गर्छ, त्यसैले क्रलरलाई ब्राउजरभन्दा फरक जवाफ दिने नियम देखिन्छ। प्रति क्रलर एउटा अनुरोधले उचित सीमा नाघ्दैन, र उद्देश्य यही हो: सामान्य अनुरोध अझै छिर्छन् भनेर पक्का गर्न नियम बदलेपछि यो चलाउनुहोस्। निःशुल्क AI क्रलर IP जाँचले तपाईंको लगको कुनै IP वास्तवमै GPTBot वा अर्को क्रलरको हो कि होइन बताउँछ।

निःशुल्क टुल

अर्को कदम

यस लेखमा भएका क्रलर

बारम्बार सोधिने प्रश्नहरू

के Google ले Crawl-delay समर्थन गर्छ?

गर्दैन। Google को robots.txt कागजातले crawl-delay लाई आफूले समर्थन नगर्ने फिल्डमा राख्छ। Googlebot लाई छोटो समय ढिलो बनाउन केही अनुरोधलाई 503, 500 वा 429 फर्काउनुहोस्; लामो समयसम्म घटाउन Google ले Search Console मार्फत विशेष अनुरोधको सुविधा दिन्छ।

के ClaudeBot ले Crawl-delay मान्छ?

Anthropic भन्छ यसले गैर-मानक Crawl-delay एक्सटेन्सन समर्थन गर्छ। यसलाई ClaudeBot समूहमा राख्नुहोस् र आफ्नो User-agent: * समूहका सबै Disallow नियम त्यहाँ दोहोर्‍याउनुहोस्।

के GPTBot र PerplexityBot ले Crawl-delay समर्थन गर्छन्?

OpenAI र Perplexity का क्रलर पेजले Crawl-delay को उल्लेख गर्दैनन्, त्यसैले यसको असरको कागजात छैन। सीमाभन्दा बढी अनुरोधलाई 429 दिने सर्भर-साइड सीमा प्रयोग गर्नुहोस्।

के 429 जवाफले मेरो रैंकिङमा असर गर्छ?

छोटो अवधिका लागि गर्दैन। Google ले 429 र 503 लाई अस्थायी रूपमा क्रलिङ घटाउने तरिका भन्छ, तर धेरै दिनसम्म यी फर्काउने URL यसको इन्डेक्सबाट हट्न सक्ने चेतावनी दिन्छ।

लोड घटाउन GPTBot ब्लक गर्नुपर्छ?

गर्न सक्नुहुन्छ। OpenAI भन्छ GPTBot ले ट्रेनिङमा प्रयोग हुन सक्ने सामग्री क्रल गर्छ र हरेक robots.txt सेटिङ स्वतन्त्र हुन्छ, त्यसैले यसलाई निषेध गर्दा तपाईं ChatGPT सर्चबाट हट्नुहुन्न, जसले OAI-SearchBot प्रयोग गर्छ। लोड OpenAI का ठेगानाबाटै आएको हो भनेर पक्का गर्न पहिले आफ्नो लग जाँच्नुहोस्।

स्रोतहरू

थप लेखहरू