AI क्रॉलरना ब्लॉक न करता त्यांचा वेग कसा कमी करावा
ब्लॉक करण्याऐवजी rate limit लावा. क्रॉलरच्या जादा विनंत्यांना Retry-After हेडरसह 429 किंवा 503 द्या, प्रत्येक क्रॉलरला स्वतःचे बजेट द्या, /robots.txt ला प्रत्येक मर्यादेबाहेर ठेवा, आणि क्रॉलरना कॅशमधून पेजेस द्या. robots.txt मधील Crawl-delay फक्त ऑपरेटरने दस्तऐवजात नमूद केले असेल तिथेच मदत करते: Anthropic आणि Bing करतात, Google सांगते की ते सपोर्ट करत नाही, आणि OpenAI व Perplexity त्याचा उल्लेख करत नाहीत. AI सर्च क्रॉलरना परवानगी ठेवा, नाहीतर ते ज्या उत्तरांना मजकूर पुरवतात त्यातूनही तुम्ही बाहेर पडता.
क्रॉलर तासाला हजारो विनंत्या पाठवतो तेव्हा झटपट उपाय म्हणजे Disallow: / किंवा फायरवॉल ब्लॉक. ट्रेनिंग क्रॉलरसाठी हा योग्य पर्याय असू शकतो. OAI-SearchBot, Claude-SearchBot किंवा PerplexityBot साठी मात्र तो तुमची पेजेस तुम्हाला ज्या AI उत्तरांमध्ये दिसायचे आहे त्यातून काढून टाकतो. बहुतेक वेळा हे न गमावता लोड कमी करता येतो, क्रॉलरना आधीच समजणाऱ्या संकेतांनी: स्टेटस कोड, कॅशिंग आणि काही ऑपरेटरसाठी Crawl-delay.
या पेजवर
प्रत्यक्षात कोणता क्रॉलर लोड निर्माण करत आहे?
काहीही बदलण्याआधी पाहा. तुमच्या ॲक्सेस लॉगमध्ये प्रत्येक युजर एजंट आणि प्रत्येक तासानुसार विनंत्या मोजा, आणि स्रोत IP प्रत्येक विक्रेता प्रकाशित करत असलेल्या रेंजशी तपासा; AI क्रॉलरसाठी सर्व्हर लॉग तपासण्यावरील आमच्या मार्गदर्शकात कमांड आहेत. दोन निष्कर्ष वारंवार येतात:
- जास्त ट्रॅफिक फक्त AI क्रॉलर असल्याचा दावा करते. IP विक्रेत्याच्या यादीत नसल्यास, खऱ्या क्रॉलरसाठीचे नियम उपयोगी पडणार नाहीत. त्याऐवजी ते ट्रॅफिक त्याच्या उगमानुसार मर्यादित किंवा ब्लॉक करा.
- खरा क्रॉलर crawl trap मध्ये अडकला आहे, जसे न संपणारी कॅलेंडर पेजेस, फिल्टरची संयोजने किंवा URL मधील session ID. त्या पाथसाठी
Disallowनियमांनी trap बंद केल्यास कोणत्याही rate limit पेक्षा जास्त बचत होते.
क्रॉलरची कामानुसारही वर्गवारी करा. GPTBot आणि ClaudeBot सारखे ट्रेनिंग क्रॉलर तुम्हाला AI सर्चमध्ये उद्धृत होण्याजोगे बनवणारे नाहीत, त्यामुळे यापैकी एखादा समस्या असेल तर त्याला नाकारणे हा योग्य पर्याय आहे. हा मार्गदर्शक पुढे तुम्हाला ठेवायच्या असलेल्या क्रॉलरबद्दल आहे.
Crawl-delay AI क्रॉलरसाठी काम करते का?
Crawl-delay हे RFC 9309 चा भाग नाही, त्यामुळे ते वाचायचे की नाही हे प्रत्येक ऑपरेटर ठरवतो. नोव्हेंबर 2026 पर्यंत दस्तऐवज असे सांगतात:
- Anthropic: सपोर्ट आहे. त्याच्या मदत पेजनुसार क्रॉलिंग मर्यादित करण्यासाठी ते अमानक
Crawl-delayविस्ताराला सपोर्ट करते, आणि उदाहरण म्हणूनClaudeBotगटातCrawl-delay: 1दिले आहे. - Microsoft Bing: सपोर्ट आहे. Bing चा webmaster ब्लॉग या मूल्याचे वर्णन 1 ते 30 सेकंदांची वेळ-खिडकी असे करतो, ज्यात
bingbotजास्तीत जास्त एक पेज क्रॉल करतो, आणि सांगतो की robots.txt मधील crawl delay Bing Webmaster Tools मधील क्रॉल सेटिंगपेक्षा प्राधान्याचा ठरतो. - Google: सपोर्ट नाही. Google चे robots.txt दस्तऐवज
crawl-delayला सपोर्ट नसलेले फील्ड म्हणून नमूद करतात. - OpenAI आणि Perplexity: त्यांच्या क्रॉलर पेजेसवर याचा उल्लेख नाही, त्यामुळे
GPTBot,OAI-SearchBotकिंवाPerplexityBotवरील त्याचा परिणाम दस्तऐवजीकृत नाही.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ गटांच्या तर्काकडे लक्ष द्या. स्वतःच्या नावाचा गट सापडलेला क्रॉलर User-agent: * गटाकडे पूर्णपणे दुर्लक्ष करतो, त्यामुळे फक्त Crawl-delay असलेल्या ClaudeBot गटामुळे तुम्ही इतर सर्वांसाठी सेट केलेले प्रत्येक Disallow गळून पडेल. वर दाखवल्याप्रमाणे ते पुन्हा लिहा. Bing Crawl-delay चे वर्णन कोणत्याही गटातून वाचला जाणारा अपवाद असे करते, पण इतर क्रॉलरसाठी तसे गृहीत धरू नका.
429 आणि 503 प्रतिसाद क्रॉलरचा वेग कसा कमी करतात?
लोडच्या शिखरांसाठी, स्टेटस कोड हाच क्रॉलर पाळण्यासाठी बनवलेला संकेत आहे. RFC 6585 मध्ये परिभाषित 429 Too Many Requests म्हणजे क्लायंटने ठरावीक वेळेत खूप जास्त विनंत्या पाठवल्या, आणि त्यासोबत किती वेळ थांबायचे हे सांगणारा Retry-After हेडर असू शकतो. 503 Service Unavailable सांगतो की सर्व्हर आत्ता भार सहन करू शकत नाही.
Googlebot चा क्रॉल दर पटकन कमी करण्याचा मार्ग म्हणून Google हेच नोंदवते: काही क्रॉल विनंत्यांना 200 ऐवजी 500, 503 किंवा 429 परत द्या. त्यानुसार यामुळे संपूर्ण hostname साठी क्रॉल दर कमी होतो, आणि Retry-After मध्ये सेकंदांची संख्या किंवा तारीख असू शकते.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. हे थोडक्यात ठेवा. Google एक-दोन दिवसांपेक्षा जास्त काळ असे करण्याविरुद्ध सल्ला देते, कारण अनेक दिवस हे कोड देणारी URL त्याच्या इंडेक्समधून काढली जाऊ शकते. कायमस्वरूपी कपातीसाठी Google त्याऐवजी Search Console मधून विशेष विनंतीचा पर्याय देते.
OpenAI, Anthropic आणि Perplexity त्यांचे क्रॉलर 429, 503 किंवा Retry-After ला कसा प्रतिसाद देतात याचे दस्तऐवज देत नाहीत. कमी विनंत्या मागण्याचा हा मानक मार्ग आहे, पण प्रत्येक AI क्रॉलर किती लवकर मागे हटतो हे कुठेही पाहता येत नाही.
AI क्रॉलरसाठी rate limit कसे सेट करावे?
सर्व ट्रॅफिकसाठी एकच मर्यादा न ठेवता प्रत्येक क्रॉलरला स्वतःचे बजेट द्या, आणि त्यापलीकडच्या विनंत्यांना 429 द्या. nginx मध्ये limit_req मॉड्यूल हे करते. रिकाम्या key असलेल्या विनंत्या मोजल्या जात नाहीत, त्यामुळे फक्त क्रॉलर युजर एजंटसाठी key परत देणारा map मानवी अभ्यागतांना वगळतो. इथे प्रत्येक क्रॉलरला मिनिटाला 60 विनंत्या आणि 20 चा burst मिळतो:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} इथे key युजर एजंट आहे, त्यामुळे क्रॉलरचे नाव कॉपी करणारा कोणीही त्या क्रॉलरचे बजेट वाटून घेतो. rate limit साठी हे चालते. allow नियमासाठी मात्र विक्रेत्याच्या प्रकाशित IP रेंजही जुळवा.
Cloudflare वर rate limiting नियम हेच काम edge वर करतात. Free प्लॅनवर तुम्हाला एक नियम मिळतो, जो 10 सेकंदांत प्रति IP मोजतो, आणि नियमाच्या expression मध्ये पाथ आणि Verified Bot फील्ड वापरता येते. अनेक पत्त्यांवर विनंत्या विखुरणाऱ्या क्रॉलरसाठी प्रति IP मोजणी ढोबळ आहे, आणि वरच्या प्लॅनमध्ये मोजणीचे अधिक पर्याय येतात. डीफॉल्ट प्रतिसाद 429 आहे, आणि तुम्ही दुसरा 4xx कोड आणि कस्टम body सेट करू शकता. AI Crawl Control प्रत्येक क्रॉलरसाठी Allow, Block आणि, private beta मध्ये, Charge देते, पण वेगाची कोणतीही सेटिंग नाही.
तुम्ही काहीही वापरा, /robots.txt मर्यादेबाहेर ठेवा. RFC 9309 नुसार robots.txt साठी सर्व्हर एरर म्हणजे क्रॉलरने संपूर्ण साइट नाकारलेली आहे असे गृहीत धरले पाहिजे, आणि Google फाइल नसल्यासारखे मानत असलेल्या 4xx कोडमधून 429 वगळते.
कॅशिंगमुळे क्रॉलरचा लोड कमी होऊ शकतो का?
बहुधा rate limit पेक्षाही जास्त. क्रॉलर बहुतेक वेळा प्रत्येक अभ्यागतासाठी सारखीच असलेली सार्वजनिक पेजेस मागतात, त्यामुळे ती CDN किंवा पेज कॅशमधून दिल्यास महागडे रेंडर स्वस्त hits मध्ये बदलतात. तुमचा कॅश क्रॉलर युजर एजंटसाठी वेगळा, कॅश न होणारा प्रकार ठेवत नाही ना, हे तपासा.
Conditional विनंत्याही मदत करतात. Google सांगते की त्याचे क्रॉलर ETag आणि If-None-Match, तसेच Last-Modified आणि If-Modified-Since सह HTTP कॅशिंगला सपोर्ट करतात, आणि दोन्ही असल्यास ETag वापरतात. OpenAI, Anthropic आणि Perplexity ची क्रॉलर पेजेस त्यांचे क्रॉलर conditional विनंत्या पाठवतात का हे सांगत नाहीत, त्यामुळे ही बचत फक्त Google साठी गृहीत धरा.
क्रॉलरचा वेग कमी करताना काय टाळावे?
- फायरवॉलवर विक्रेत्याच्या IP रेंज ब्लॉक करणे. Anthropic इशारा देते की हे नीट काम करू शकत नाही किंवा opt-out टिकवून ठेवू शकत नाही, कारण त्यामुळे त्याच्या बॉटना तुमची robots.txt वाचता येत नाही.
- अनेक दिवस
5xxकिंवा429देणे. Google सांगते की सतत हे परत देणाऱ्या URL त्याच्या इंडेक्समधून काढल्या जाऊ शकतात. - बॉट संरक्षणाचा थ्रॉटल म्हणून वापर. Cloudflare चे Bot Fight Mode बॉटना संगणकीयदृष्ट्या महागडी चॅलेंज देते आणि WAF custom rules ने वगळता येत नाही, त्यामुळे तुम्हाला ठेवायचे असलेले क्रॉलर तुम्ही त्यातून वगळू शकत नाही.
- बँडविड्थ वाचवण्यासाठी सर्च क्रॉलरला नाकारणे.
OAI-SearchBot,Claude-SearchBotकिंवाPerplexityBotसाठीचेDisallowतुम्हाला ते क्रॉलर ज्या उत्तरांना मजकूर पुरवतात त्यातून बाहेर काढते.
क्रॉलर अजूनही आत येतात हे कसे तपासावे?
Rate limit गरजेपेक्षा कडक सेट होणे सोपे असते. AISeeWhy ची मोफत तपासणी खऱ्या ब्राउझरच्या बाजूने पेज 16 AI आणि सर्च क्रॉलर म्हणून मिळवते, प्रत्येक क्रॉलरसाठी तुमची robots.txt लागू करते आणि फायरवॉल चॅलेंज पेज ओळखते, त्यामुळे क्रॉलरना ब्राउझरपेक्षा वेगळे उत्तर देणारा नियम लगेच दिसतो. प्रत्येक क्रॉलरसाठी एक विनंती समजूतदार मर्यादा ओलांडणार नाही, आणि हाच मुद्दा आहे: नियम बदलल्यानंतर सामान्य विनंत्या अजूनही जातात याची खात्री करण्यासाठी ती चालवा. मोफत AI क्रॉलर IP तपासणी तुमच्या लॉगमधील IP खरोखर GPTBot किंवा दुसऱ्या क्रॉलरचा आहे का ते सांगते.
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- AI क्रॉलर IP तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
Google Crawl-delay ला सपोर्ट करते का?
नाही. Google चे robots.txt दस्तऐवज crawl-delay ला सपोर्ट नसलेल्या फील्डमध्ये गणतात. Googlebot चा वेग थोड्या काळासाठी कमी करण्यासाठी काही विनंत्यांना 503, 500 किंवा 429 परत द्या; दीर्घ कपातीसाठी Google Search Console मधून विशेष विनंतीचा पर्याय देते.
ClaudeBot Crawl-delay पाळतो का?
Anthropic सांगते की ते अमानक Crawl-delay विस्ताराला सपोर्ट करते. ते ClaudeBot गटात ठेवा आणि तुमच्या User-agent: * गटातील कोणतेही Disallow नियम तिथे पुन्हा लिहा.
GPTBot आणि PerplexityBot Crawl-delay ला सपोर्ट करतात का?
OpenAI आणि Perplexity च्या क्रॉलर पेजेसवर Crawl-delay चा उल्लेख नाही, त्यामुळे त्याचा परिणाम दस्तऐवजीकृत नाही. जादा विनंत्यांना 429 देणारी सर्व्हर-साइड मर्यादा वापरा.
429 प्रतिसादामुळे माझ्या रँकिंगला हानी होईल का?
थोड्या काळासाठी नाही. Google 429 आणि 503 ला क्रॉलिंग तात्पुरते कमी करण्याचा मार्ग म्हणून नोंदवते, पण इशारा देते की अनेक दिवस हे परत देणाऱ्या URL त्याच्या इंडेक्समधून काढल्या जाऊ शकतात.
लोड कमी करण्यासाठी मी GPTBot ब्लॉक करावा का?
करू शकता. OpenAI सांगते की GPTBot ट्रेनिंगसाठी वापरला जाऊ शकणारा मजकूर क्रॉल करतो आणि प्रत्येक robots.txt सेटिंग स्वतंत्र आहे, त्यामुळे त्याला नाकारल्याने तुम्ही OAI-SearchBot वापरणाऱ्या ChatGPT सर्चमधून बाहेर पडत नाही. लोड OpenAI च्या पत्त्यांवरूनच येत आहे याची खात्री करण्यासाठी आधी तुमचे लॉग तपासा.
स्रोत
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers