AI क्रॉलरना ब्लॉक न करता त्यांचा वेग कसा कमी करावा

प्रकाशित

छोटे उत्तर

ब्लॉक करण्याऐवजी rate limit लावा. क्रॉलरच्या जादा विनंत्यांना Retry-After हेडरसह 429 किंवा 503 द्या, प्रत्येक क्रॉलरला स्वतःचे बजेट द्या, /robots.txt ला प्रत्येक मर्यादेबाहेर ठेवा, आणि क्रॉलरना कॅशमधून पेजेस द्या. robots.txt मधील Crawl-delay फक्त ऑपरेटरने दस्तऐवजात नमूद केले असेल तिथेच मदत करते: Anthropic आणि Bing करतात, Google सांगते की ते सपोर्ट करत नाही, आणि OpenAI व Perplexity त्याचा उल्लेख करत नाहीत. AI सर्च क्रॉलरना परवानगी ठेवा, नाहीतर ते ज्या उत्तरांना मजकूर पुरवतात त्यातूनही तुम्ही बाहेर पडता.

क्रॉलर तासाला हजारो विनंत्या पाठवतो तेव्हा झटपट उपाय म्हणजे Disallow: / किंवा फायरवॉल ब्लॉक. ट्रेनिंग क्रॉलरसाठी हा योग्य पर्याय असू शकतो. OAI-SearchBot, Claude-SearchBot किंवा PerplexityBot साठी मात्र तो तुमची पेजेस तुम्हाला ज्या AI उत्तरांमध्ये दिसायचे आहे त्यातून काढून टाकतो. बहुतेक वेळा हे न गमावता लोड कमी करता येतो, क्रॉलरना आधीच समजणाऱ्या संकेतांनी: स्टेटस कोड, कॅशिंग आणि काही ऑपरेटरसाठी Crawl-delay.

या पेजवर
  1. प्रत्यक्षात कोणता क्रॉलर लोड निर्माण करत आहे?
  2. Crawl-delay AI क्रॉलरसाठी काम करते का?
  3. 429 आणि 503 प्रतिसाद क्रॉलरचा वेग कसा कमी करतात?
  4. AI क्रॉलरसाठी rate limit कसे सेट करावे?
  5. कॅशिंगमुळे क्रॉलरचा लोड कमी होऊ शकतो का?
  6. क्रॉलरचा वेग कमी करताना काय टाळावे?
  7. क्रॉलर अजूनही आत येतात हे कसे तपासावे?

प्रत्यक्षात कोणता क्रॉलर लोड निर्माण करत आहे?

काहीही बदलण्याआधी पाहा. तुमच्या ॲक्सेस लॉगमध्ये प्रत्येक युजर एजंट आणि प्रत्येक तासानुसार विनंत्या मोजा, आणि स्रोत IP प्रत्येक विक्रेता प्रकाशित करत असलेल्या रेंजशी तपासा; AI क्रॉलरसाठी सर्व्हर लॉग तपासण्यावरील आमच्या मार्गदर्शकात कमांड आहेत. दोन निष्कर्ष वारंवार येतात:

क्रॉलरची कामानुसारही वर्गवारी करा. GPTBot आणि ClaudeBot सारखे ट्रेनिंग क्रॉलर तुम्हाला AI सर्चमध्ये उद्धृत होण्याजोगे बनवणारे नाहीत, त्यामुळे यापैकी एखादा समस्या असेल तर त्याला नाकारणे हा योग्य पर्याय आहे. हा मार्गदर्शक पुढे तुम्हाला ठेवायच्या असलेल्या क्रॉलरबद्दल आहे.

Crawl-delay AI क्रॉलरसाठी काम करते का?

Crawl-delay हे RFC 9309 चा भाग नाही, त्यामुळे ते वाचायचे की नाही हे प्रत्येक ऑपरेटर ठरवतो. नोव्हेंबर 2026 पर्यंत दस्तऐवज असे सांगतात:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

गटांच्या तर्काकडे लक्ष द्या. स्वतःच्या नावाचा गट सापडलेला क्रॉलर User-agent: * गटाकडे पूर्णपणे दुर्लक्ष करतो, त्यामुळे फक्त Crawl-delay असलेल्या ClaudeBot गटामुळे तुम्ही इतर सर्वांसाठी सेट केलेले प्रत्येक Disallow गळून पडेल. वर दाखवल्याप्रमाणे ते पुन्हा लिहा. Bing Crawl-delay चे वर्णन कोणत्याही गटातून वाचला जाणारा अपवाद असे करते, पण इतर क्रॉलरसाठी तसे गृहीत धरू नका.

429 आणि 503 प्रतिसाद क्रॉलरचा वेग कसा कमी करतात?

लोडच्या शिखरांसाठी, स्टेटस कोड हाच क्रॉलर पाळण्यासाठी बनवलेला संकेत आहे. RFC 6585 मध्ये परिभाषित 429 Too Many Requests म्हणजे क्लायंटने ठरावीक वेळेत खूप जास्त विनंत्या पाठवल्या, आणि त्यासोबत किती वेळ थांबायचे हे सांगणारा Retry-After हेडर असू शकतो. 503 Service Unavailable सांगतो की सर्व्हर आत्ता भार सहन करू शकत नाही.

Googlebot चा क्रॉल दर पटकन कमी करण्याचा मार्ग म्हणून Google हेच नोंदवते: काही क्रॉल विनंत्यांना 200 ऐवजी 500, 503 किंवा 429 परत द्या. त्यानुसार यामुळे संपूर्ण hostname साठी क्रॉल दर कमी होतो, आणि Retry-After मध्ये सेकंदांची संख्या किंवा तारीख असू शकते.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

हे थोडक्यात ठेवा. Google एक-दोन दिवसांपेक्षा जास्त काळ असे करण्याविरुद्ध सल्ला देते, कारण अनेक दिवस हे कोड देणारी URL त्याच्या इंडेक्समधून काढली जाऊ शकते. कायमस्वरूपी कपातीसाठी Google त्याऐवजी Search Console मधून विशेष विनंतीचा पर्याय देते.

OpenAI, Anthropic आणि Perplexity त्यांचे क्रॉलर 429, 503 किंवा Retry-After ला कसा प्रतिसाद देतात याचे दस्तऐवज देत नाहीत. कमी विनंत्या मागण्याचा हा मानक मार्ग आहे, पण प्रत्येक AI क्रॉलर किती लवकर मागे हटतो हे कुठेही पाहता येत नाही.

AI क्रॉलरसाठी rate limit कसे सेट करावे?

सर्व ट्रॅफिकसाठी एकच मर्यादा न ठेवता प्रत्येक क्रॉलरला स्वतःचे बजेट द्या, आणि त्यापलीकडच्या विनंत्यांना 429 द्या. nginx मध्ये limit_req मॉड्यूल हे करते. रिकाम्या key असलेल्या विनंत्या मोजल्या जात नाहीत, त्यामुळे फक्त क्रॉलर युजर एजंटसाठी key परत देणारा map मानवी अभ्यागतांना वगळतो. इथे प्रत्येक क्रॉलरला मिनिटाला 60 विनंत्या आणि 20 चा burst मिळतो:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

इथे key युजर एजंट आहे, त्यामुळे क्रॉलरचे नाव कॉपी करणारा कोणीही त्या क्रॉलरचे बजेट वाटून घेतो. rate limit साठी हे चालते. allow नियमासाठी मात्र विक्रेत्याच्या प्रकाशित IP रेंजही जुळवा.

Cloudflare वर rate limiting नियम हेच काम edge वर करतात. Free प्लॅनवर तुम्हाला एक नियम मिळतो, जो 10 सेकंदांत प्रति IP मोजतो, आणि नियमाच्या expression मध्ये पाथ आणि Verified Bot फील्ड वापरता येते. अनेक पत्त्यांवर विनंत्या विखुरणाऱ्या क्रॉलरसाठी प्रति IP मोजणी ढोबळ आहे, आणि वरच्या प्लॅनमध्ये मोजणीचे अधिक पर्याय येतात. डीफॉल्ट प्रतिसाद 429 आहे, आणि तुम्ही दुसरा 4xx कोड आणि कस्टम body सेट करू शकता. AI Crawl Control प्रत्येक क्रॉलरसाठी Allow, Block आणि, private beta मध्ये, Charge देते, पण वेगाची कोणतीही सेटिंग नाही.

तुम्ही काहीही वापरा, /robots.txt मर्यादेबाहेर ठेवा. RFC 9309 नुसार robots.txt साठी सर्व्हर एरर म्हणजे क्रॉलरने संपूर्ण साइट नाकारलेली आहे असे गृहीत धरले पाहिजे, आणि Google फाइल नसल्यासारखे मानत असलेल्या 4xx कोडमधून 429 वगळते.

कॅशिंगमुळे क्रॉलरचा लोड कमी होऊ शकतो का?

बहुधा rate limit पेक्षाही जास्त. क्रॉलर बहुतेक वेळा प्रत्येक अभ्यागतासाठी सारखीच असलेली सार्वजनिक पेजेस मागतात, त्यामुळे ती CDN किंवा पेज कॅशमधून दिल्यास महागडे रेंडर स्वस्त hits मध्ये बदलतात. तुमचा कॅश क्रॉलर युजर एजंटसाठी वेगळा, कॅश न होणारा प्रकार ठेवत नाही ना, हे तपासा.

Conditional विनंत्याही मदत करतात. Google सांगते की त्याचे क्रॉलर ETag आणि If-None-Match, तसेच Last-Modified आणि If-Modified-Since सह HTTP कॅशिंगला सपोर्ट करतात, आणि दोन्ही असल्यास ETag वापरतात. OpenAI, Anthropic आणि Perplexity ची क्रॉलर पेजेस त्यांचे क्रॉलर conditional विनंत्या पाठवतात का हे सांगत नाहीत, त्यामुळे ही बचत फक्त Google साठी गृहीत धरा.

क्रॉलरचा वेग कमी करताना काय टाळावे?

क्रॉलर अजूनही आत येतात हे कसे तपासावे?

Rate limit गरजेपेक्षा कडक सेट होणे सोपे असते. AISeeWhy ची मोफत तपासणी खऱ्या ब्राउझरच्या बाजूने पेज 16 AI आणि सर्च क्रॉलर म्हणून मिळवते, प्रत्येक क्रॉलरसाठी तुमची robots.txt लागू करते आणि फायरवॉल चॅलेंज पेज ओळखते, त्यामुळे क्रॉलरना ब्राउझरपेक्षा वेगळे उत्तर देणारा नियम लगेच दिसतो. प्रत्येक क्रॉलरसाठी एक विनंती समजूतदार मर्यादा ओलांडणार नाही, आणि हाच मुद्दा आहे: नियम बदलल्यानंतर सामान्य विनंत्या अजूनही जातात याची खात्री करण्यासाठी ती चालवा. मोफत AI क्रॉलर IP तपासणी तुमच्या लॉगमधील IP खरोखर GPTBot किंवा दुसऱ्या क्रॉलरचा आहे का ते सांगते.

मोफत टूल्स

पुढील पायऱ्या

या लेखातील क्रॉलर

वारंवार विचारले जाणारे प्रश्न

Google Crawl-delay ला सपोर्ट करते का?

नाही. Google चे robots.txt दस्तऐवज crawl-delay ला सपोर्ट नसलेल्या फील्डमध्ये गणतात. Googlebot चा वेग थोड्या काळासाठी कमी करण्यासाठी काही विनंत्यांना 503, 500 किंवा 429 परत द्या; दीर्घ कपातीसाठी Google Search Console मधून विशेष विनंतीचा पर्याय देते.

ClaudeBot Crawl-delay पाळतो का?

Anthropic सांगते की ते अमानक Crawl-delay विस्ताराला सपोर्ट करते. ते ClaudeBot गटात ठेवा आणि तुमच्या User-agent: * गटातील कोणतेही Disallow नियम तिथे पुन्हा लिहा.

GPTBot आणि PerplexityBot Crawl-delay ला सपोर्ट करतात का?

OpenAI आणि Perplexity च्या क्रॉलर पेजेसवर Crawl-delay चा उल्लेख नाही, त्यामुळे त्याचा परिणाम दस्तऐवजीकृत नाही. जादा विनंत्यांना 429 देणारी सर्व्हर-साइड मर्यादा वापरा.

429 प्रतिसादामुळे माझ्या रँकिंगला हानी होईल का?

थोड्या काळासाठी नाही. Google 429 आणि 503 ला क्रॉलिंग तात्पुरते कमी करण्याचा मार्ग म्हणून नोंदवते, पण इशारा देते की अनेक दिवस हे परत देणाऱ्या URL त्याच्या इंडेक्समधून काढल्या जाऊ शकतात.

लोड कमी करण्यासाठी मी GPTBot ब्लॉक करावा का?

करू शकता. OpenAI सांगते की GPTBot ट्रेनिंगसाठी वापरला जाऊ शकणारा मजकूर क्रॉल करतो आणि प्रत्येक robots.txt सेटिंग स्वतंत्र आहे, त्यामुळे त्याला नाकारल्याने तुम्ही OAI-SearchBot वापरणाऱ्या ChatGPT सर्चमधून बाहेर पडत नाही. लोड OpenAI च्या पत्त्यांवरूनच येत आहे याची खात्री करण्यासाठी आधी तुमचे लॉग तपासा.

स्रोत

आणखी लेख