AI क्रॉलरों को ब्लॉक किए बिना धीमा कैसे करें
ब्लॉक करने की बजाय रेट लिमिट लगाएं। ज़्यादा क्रॉलर रिक्वेस्ट को 429 या 503 और Retry-After हेडर के साथ जवाब दें, हर क्रॉलर को अपना बजट दें, /robots.txt को हर लिमिट से बाहर रखें, और क्रॉलरों को कैश से पेज दें। robots.txt में Crawl-delay सिर्फ़ वहीं मदद करता है जहां ऑपरेटर इसे दस्तावेज़ित करता है: Anthropic और Bing करते हैं, Google कहता है कि वह इसे सपोर्ट नहीं करता, और OpenAI व Perplexity इसका ज़िक्र नहीं करते। AI सर्च क्रॉलरों को अनुमति देते रहें, वरना आप उनके उत्तरों से भी बाहर हो जाएंगे।
जब कोई क्रॉलर एक घंटे में हज़ारों रिक्वेस्ट भेजता है, तो तुरंत का उपाय Disallow: / या फ़ायरवॉल ब्लॉक है। किसी ट्रेनिंग क्रॉलर के लिए यह ठीक विकल्प हो सकता है। OAI-SearchBot, Claude-SearchBot या PerplexityBot के लिए यह आपके पेजों को उन AI उत्तरों से हटा देता है जिनमें आप दिखना चाहते हैं। ज़्यादातर मामलों में लोड को यह छोड़े बिना घटाया जा सकता है, ऐसे सिग्नल से जिन्हें क्रॉलर पहले से समझते हैं: स्टेटस कोड, कैशिंग और, कुछ ऑपरेटरों के लिए, Crawl-delay।
इस पेज पर
- असल में कौन-सा क्रॉलर लोड पैदा कर रहा है?
- क्या Crawl-delay AI क्रॉलरों पर काम करता है?
- 429 और 503 जवाब क्रॉलरों को कैसे धीमा करते हैं?
- AI क्रॉलरों के लिए रेट लिमिट कैसे सेट करें?
- क्या कैशिंग क्रॉलर लोड घटा सकती है?
- क्रॉलरों को धीमा करते समय किन चीज़ों से बचें?
- कैसे जांचें कि क्रॉलर अब भी पहुंच पा रहे हैं?
असल में कौन-सा क्रॉलर लोड पैदा कर रहा है?
कुछ भी बदलने से पहले देखें। अपने एक्सेस लॉग में हर यूज़र एजेंट और हर घंटे की रिक्वेस्ट गिनें, और स्रोत IP को हर वेंडर की प्रकाशित रेंज से मिलाएं; AI क्रॉलरों के लिए सर्वर लॉग जांचने पर हमारी गाइड में कमांड हैं। दो नतीजे अक्सर सामने आते हैं:
- भारी ट्रैफ़िक सिर्फ़ AI क्रॉलर होने का दावा करता है। अगर IP वेंडर की सूची में नहीं हैं, तो असली क्रॉलर के नियम मदद नहीं करेंगे। उस ट्रैफ़िक को उसके स्रोत के आधार पर सीमित या ब्लॉक करें।
- कोई असली क्रॉलर क्रॉल ट्रैप में फंसा है, जैसे अंतहीन कैलेंडर पेज, फ़िल्टर के संयोजन या URL में सेशन ID। उन पाथ के लिए
Disallowनियमों से ट्रैप बंद करना किसी भी रेट लिमिट से ज़्यादा बचाता है।
क्रॉलरों को उनके काम के हिसाब से भी छांटें। GPTBot और ClaudeBot जैसे ट्रेनिंग क्रॉलर वे नहीं हैं जो आपको AI सर्च में हवाला पाने लायक बनाते हैं, इसलिए अगर समस्या इनमें से कोई है, तो उसे disallow करना उचित विकल्प है। इस गाइड का बाकी हिस्सा उन क्रॉलरों के लिए है जिन्हें आप रखना चाहते हैं।
क्या Crawl-delay AI क्रॉलरों पर काम करता है?
Crawl-delay RFC 9309 का हिस्सा नहीं है, इसलिए हर ऑपरेटर तय करता है कि उसे पढ़े या नहीं। नवंबर 2026 तक दस्तावेज़ यह कहते हैं:
- Anthropic: सपोर्ट है। उसका हेल्प पेज कहता है कि वह क्रॉलिंग गतिविधि सीमित करने के लिए गैर-मानक
Crawl-delayएक्सटेंशन सपोर्ट करती है, और उदाहरण मेंClaudeBotग्रुप मेंCrawl-delay: 1है। - Microsoft Bing: सपोर्ट है। Bing का वेबमास्टर ब्लॉग इस वैल्यू को 1 से 30 सेकंड की समय-सीमा बताता है जिसमें
bingbotज़्यादा से ज़्यादा एक पेज क्रॉल करता है, और कहता है कि robots.txt का crawl delay, Bing Webmaster Tools की क्रॉल सेटिंग से ऊपर है। - Google: सपोर्ट नहीं है। Google के robots.txt दस्तावेज़
crawl-delayको ऐसा फ़ील्ड बताते हैं जिसे वह सपोर्ट नहीं करता। - OpenAI और Perplexity: उनके क्रॉलर पेज इसका ज़िक्र नहीं करते, इसलिए
GPTBot,OAI-SearchBotयाPerplexityBotपर इसका असर दस्तावेज़ित नहीं है।
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ ग्रुप का तर्क ध्यान में रखें। जिस क्रॉलर को अपने नाम वाला ग्रुप मिलता है, वह User-agent: * ग्रुप को पूरी तरह अनदेखा करता है, इसलिए सिर्फ़ Crawl-delay वाला ClaudeBot ग्रुप बाकी सबके लिए सेट किया हर Disallow हटा देगा। उन्हें दोहराएं, जैसा ऊपर है। Bing, Crawl-delay को ऐसा अपवाद बताता है जिसे वह किसी भी ग्रुप से पढ़ता है, लेकिन दूसरे क्रॉलरों के लिए यह न मानें।
429 और 503 जवाब क्रॉलरों को कैसे धीमा करते हैं?
लोड के उछाल में स्टेटस कोड ही वह सिग्नल है जिसका सम्मान करने के लिए क्रॉलर बने हैं। RFC 6585 में परिभाषित 429 Too Many Requests का मतलब है कि क्लाइंट ने तय समय में बहुत ज़्यादा रिक्वेस्ट भेजीं, और इसके साथ Retry-After हेडर हो सकता है जो बताए कि कितना इंतज़ार करना है। 503 Service Unavailable कहता है कि सर्वर अभी संभाल नहीं पा रहा।
Google इसे Googlebot की क्रॉल रेट जल्दी घटाने का तरीका बताता है: कुछ क्रॉल रिक्वेस्ट पर 200 की जगह 500, 503 या 429 लौटाएं। वह कहता है कि इससे पूरे होस्टनेम की क्रॉल रेट घटती है, और Retry-After में सेकंड की संख्या या तारीख़ हो सकती है।
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. इसे थोड़े समय के लिए रखें। Google एक या दो दिन से ज़्यादा ऐसा न करने की सलाह देता है, क्योंकि जो URL कई दिनों तक ये कोड लौटाता है वह उसके इंडेक्स से हट सकता है। स्थायी कमी के लिए Google इसकी जगह Search Console के ज़रिए एक खास अनुरोध की सुविधा देता है।
OpenAI, Anthropic और Perplexity यह दस्तावेज़ित नहीं करते कि उनके क्रॉलर 429, 503 या Retry-After पर कैसी प्रतिक्रिया देते हैं। ये कोड कम मांगने का मानक तरीका हैं, लेकिन हर AI क्रॉलर कितनी जल्दी पीछे हटता है, यह कहीं देखा नहीं जा सकता।
AI क्रॉलरों के लिए रेट लिमिट कैसे सेट करें?
सारे ट्रैफ़िक के लिए एक लिमिट की बजाय हर क्रॉलर को अपना बजट दें, और उससे ज़्यादा रिक्वेस्ट को 429 से जवाब दें। nginx में limit_req मॉड्यूल यह करता है। खाली key वाली रिक्वेस्ट गिनी नहीं जातीं, इसलिए एक map जो सिर्फ़ क्रॉलर यूज़र एजेंट के लिए key लौटाता है, इंसानी विज़िटरों को छोड़ देता है। यहां हर क्रॉलर को प्रति मिनट 60 रिक्वेस्ट और 20 का burst मिलता है:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} यहां key यूज़र एजेंट है, इसलिए जो भी किसी क्रॉलर का नाम कॉपी करता है, वह उस क्रॉलर का बजट साझा करता है। रेट लिमिट के लिए यह ठीक है। allow नियम के लिए वेंडर की प्रकाशित IP रेंज भी मिलाएं।
Cloudflare पर रेट लिमिटिंग नियम edge पर यही काम करते हैं। Free प्लान पर आपको एक नियम मिलता है, जो 10 सेकंड में हर IP के हिसाब से गिनता है, और नियम के एक्सप्रेशन में पाथ और Verified Bot फ़ील्ड इस्तेमाल हो सकते हैं। कई पतों पर रिक्वेस्ट बांटने वाले क्रॉलरों के लिए हर IP के हिसाब से गिनना मोटा तरीका है, और ऊंचे प्लान गिनने के और विकल्प देते हैं। डिफ़ॉल्ट जवाब 429 है, और आप कोई दूसरा 4xx कोड और कस्टम बॉडी सेट कर सकते हैं। AI Crawl Control हर क्रॉलर के लिए Allow, Block और, निजी बीटा में, Charge देता है, लेकिन रफ़्तार की कोई सेटिंग नहीं।
आप जो भी इस्तेमाल करें, /robots.txt को लिमिट से बाहर रखें। RFC 9309 कहता है कि robots.txt के लिए सर्वर एरर का मतलब है कि क्रॉलर को पूरी साइट disallow माननी होगी, और Google 429 को उन 4xx कोड में नहीं गिनता जिन्हें वह फ़ाइल न होने की तरह मानता है।
क्या कैशिंग क्रॉलर लोड घटा सकती है?
अक्सर रेट लिमिट से भी ज़्यादा। क्रॉलर ज़्यादातर सार्वजनिक पेज मांगते हैं जो हर विज़िटर के लिए एक जैसे होते हैं, इसलिए उन्हें CDN या पेज कैश से देने पर महंगे रेंडर सस्ते cache hit में बदल जाते हैं। जांचें कि आपका कैश क्रॉलर यूज़र एजेंट के लिए कोई अलग, बिना कैश वाला वेरिएंट न रखता हो।
कंडीशनल रिक्वेस्ट भी मदद करती हैं। Google कहता है कि उसके क्रॉलर ETag और If-None-Match, और Last-Modified और If-Modified-Since के साथ HTTP कैशिंग सपोर्ट करते हैं, और दोनों मौजूद होने पर ETag इस्तेमाल करते हैं। OpenAI, Anthropic और Perplexity के क्रॉलर पेज नहीं बताते कि उनके क्रॉलर कंडीशनल रिक्वेस्ट भेजते हैं या नहीं, इसलिए यह बचत सिर्फ़ Google के लिए मानें।
क्रॉलरों को धीमा करते समय किन चीज़ों से बचें?
- फ़ायरवॉल पर किसी वेंडर की IP रेंज ब्लॉक करना। Anthropic चेतावनी देती है कि यह ठीक से काम न करे या ऑप्ट-आउट बनाए न रखे, क्योंकि इससे उसके बॉट आपका robots.txt नहीं पढ़ पाते।
- कई दिनों तक
5xxया429लौटाना। Google कहता है कि लगातार ये कोड लौटाने वाले URL उसके इंडेक्स से हट सकते हैं। - बॉट प्रोटेक्शन को थ्रॉटल की तरह इस्तेमाल करना। Cloudflare का Bot Fight Mode बॉट को कंप्यूटेशन के लिहाज़ से महंगे चैलेंज देता है और WAF कस्टम नियमों से स्किप नहीं किया जा सकता, इसलिए आप उन क्रॉलरों को छूट नहीं दे सकते जिन्हें रखना चाहते हैं।
- बैंडविड्थ बचाने के लिए किसी सर्च क्रॉलर को disallow करना।
OAI-SearchBot,Claude-SearchBotयाPerplexityBotके लिएDisallowआपको उन उत्तरों से बाहर कर देता है जिन्हें ये क्रॉलर भरते हैं।
कैसे जांचें कि क्रॉलर अब भी पहुंच पा रहे हैं?
रेट लिमिट ज़रूरत से ज़्यादा सख़्त सेट होना आसान है। AISeeWhy की मुफ़्त जांच किसी पेज को असली ब्राउज़र के साथ-साथ 16 AI और सर्च क्रॉलरों के रूप में फ़ेच करती है, हर क्रॉलर पर आपका robots.txt लागू करती है और फ़ायरवॉल के चैलेंज पेज पहचानती है, इसलिए ब्राउज़र से अलग तरह से क्रॉलरों को जवाब देने वाला नियम सामने आ जाता है। हर क्रॉलर की एक रिक्वेस्ट किसी समझदार लिमिट को ट्रिगर नहीं करेगी, और यही मकसद है: नियम बदलने के बाद इसे चलाकर पुष्टि करें कि सामान्य रिक्वेस्ट अब भी निकल रही हैं। मुफ़्त AI क्रॉलर IP जांच बताती है कि आपके लॉग का कोई IP सच में GPTBot या किसी दूसरे क्रॉलर का है या नहीं।
अगले कदम
- AI क्रॉलर के लिए robots.txt टेस्टर और चेकर
- AI क्रॉलर IP जाँच
- पूरी रिपोर्ट का एक उदाहरण देखें
- AI क्रॉलर मॉनिटरिंग
- प्लान और कीमतें
इस लेख के क्रॉलर
अक्सर पूछे जाने वाले प्रश्न
क्या Google, Crawl-delay सपोर्ट करता है?
नहीं। Google के robots.txt दस्तावेज़ crawl-delay को उन फ़ील्ड में गिनाते हैं जिन्हें वह सपोर्ट नहीं करता। Googlebot को थोड़े समय के लिए धीमा करने के लिए कुछ रिक्वेस्ट पर 503, 500 या 429 लौटाएं; लंबी कमी के लिए Google, Search Console के ज़रिए एक खास अनुरोध की सुविधा देता है।
क्या ClaudeBot, Crawl-delay का पालन करता है?
Anthropic कहती है कि वह गैर-मानक Crawl-delay एक्सटेंशन सपोर्ट करती है। इसे ClaudeBot ग्रुप में रखें और अपने User-agent: * ग्रुप के सभी Disallow नियम वहां दोहराएं।
क्या GPTBot और PerplexityBot, Crawl-delay सपोर्ट करते हैं?
OpenAI और Perplexity के क्रॉलर पेज Crawl-delay का ज़िक्र नहीं करते, इसलिए इसका असर दस्तावेज़ित नहीं है। सर्वर-साइड लिमिट इस्तेमाल करें जो ज़्यादा रिक्वेस्ट को 429 से जवाब दे।
क्या 429 जवाब से मेरी रैंकिंग को नुकसान होगा?
थोड़े समय के लिए नहीं। Google 429 और 503 को क्रॉलिंग अस्थायी रूप से घटाने का तरीका बताता है, लेकिन चेतावनी देता है कि कई दिनों तक इन्हें लौटाने वाले URL उसके इंडेक्स से हट सकते हैं।
क्या लोड घटाने के लिए मुझे GPTBot ब्लॉक करना चाहिए?
कर सकते हैं। OpenAI कहती है कि GPTBot ऐसा कंटेंट क्रॉल करता है जो ट्रेनिंग में इस्तेमाल हो सकता है और robots.txt की हर सेटिंग स्वतंत्र है, इसलिए इसे disallow करने से आप ChatGPT सर्च से नहीं हटते, जो OAI-SearchBot इस्तेमाल करता है। पहले अपने लॉग जांचें ताकि पक्का हो कि लोड OpenAI के पतों से आ रहा है।
स्रोत
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP कैशिंग)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers