AI ક્રૉલરને બ્લૉક કર્યા વગર ધીમા કેવી રીતે કરવા
બ્લૉક કરવાને બદલે રેટ લિમિટ કરો. ક્રૉલરની વધારાની વિનંતીઓને Retry-After હેડર સાથે 429 કે 503 આપો, દરેક ક્રૉલરને પોતાનું બજેટ આપો, /robots.txtને દરેક લિમિટની બહાર રાખો, અને ક્રૉલરને કૅશમાંથી પેજ આપો. robots.txtમાં Crawl-delay ફક્ત ત્યાં જ મદદ કરે છે જ્યાં ઑપરેટર તેને દસ્તાવેજિત કરે છે: Anthropic અને Bing કરે છે, Google કહે છે કે તે સપોર્ટ કરતું નથી, અને OpenAI તથા Perplexity તેનો ઉલ્લેખ કરતાં નથી. AI સર્ચ ક્રૉલરને મંજૂરી રહેવા દો, નહીં તો તેઓ જે જવાબો પૂરા પાડે છે તેમાંથી પણ તમે નીકળી જશો.
જ્યારે કોઈ ક્રૉલર કલાકમાં હજારો વિનંતીઓ મોકલે, ત્યારે ઝડપી ઉપાય Disallow: / કે ફાયરવૉલ બ્લૉક છે. ટ્રેનિંગ ક્રૉલર માટે આ યોગ્ય પસંદગી હોઈ શકે છે. OAI-SearchBot, Claude-SearchBot કે PerplexityBot માટે તે તમારાં પેજને એ AI જવાબોમાંથી દૂર કરે છે જેમાં તમે દેખાવા માગો છો. મોટા ભાગે એ છોડ્યા વગર લોડ ઘટાડી શકાય છે, ક્રૉલર પહેલેથી સમજે છે એવા સિગ્નલ વડે: સ્ટેટસ કોડ, કૅશિંગ અને, કેટલાક ઑપરેટર માટે, Crawl-delay.
આ પેજ પર
ખરેખર કયો ક્રૉલર લોડ વધારે છે?
કંઈ પણ બદલતાં પહેલાં જુઓ. તમારા ઍક્સેસ લૉગમાં યુઝર એજન્ટ દીઠ અને કલાક દીઠ વિનંતીઓ ગણો, અને સ્રોત IPને દરેક કંપની પ્રકાશિત કરે તે રેન્જ સાથે સરખાવો; સર્વર લૉગમાં AI ક્રૉલર તપાસવા પરની અમારી માર્ગદર્શિકામાં કમાન્ડ છે. બે તારણ વારંવાર મળે છે:
- ભારે ટ્રાફિક ફક્ત AI ક્રૉલર હોવાનો દાવો કરે છે. જો IP કંપનીની યાદીમાં ન હોય, તો સાચા ક્રૉલર માટેના નિયમો મદદ નહીં કરે. તેના બદલે એ ટ્રાફિકને તેના સ્રોત પ્રમાણે મર્યાદિત કે બ્લૉક કરો.
- સાચો ક્રૉલર crawl trap માં ફસાયો છે, જેમ કે અનંત કૅલેન્ડર પેજ, ફિલ્ટરનાં સંયોજનો કે URLમાં session ID. એ પાથ માટે
Disallowનિયમો વડે trap બંધ કરવાથી કોઈ પણ રેટ લિમિટ કરતાં વધુ બચત થાય છે.
ક્રૉલરને તેમના કામ પ્રમાણે પણ વર્ગીકૃત કરો. GPTBot અને ClaudeBot જેવા ટ્રેનિંગ ક્રૉલર તમને AI સર્ચમાં ટાંકવા લાયક બનાવતા નથી, તેથી જો તેમાંથી કોઈ સમસ્યા હોય, તો તેને મનાઈ કરવી વાજબી વિકલ્પ છે. આ માર્ગદર્શિકાનો બાકીનો ભાગ એ ક્રૉલર માટે છે જેમને તમે રાખવા માગો છો.
શું Crawl-delay AI ક્રૉલર માટે કામ કરે છે?
Crawl-delay RFC 9309નો ભાગ નથી, તેથી દરેક ઑપરેટર નક્કી કરે છે કે તેને વાંચવું કે નહીં. નવેમ્બર 2026 સુધી દસ્તાવેજ આ કહે છે:
- Anthropic: સપોર્ટેડ. તેનું હેલ્પ પેજ કહે છે કે ક્રૉલિંગ પ્રવૃત્તિ મર્યાદિત કરવા તે બિન-માનક
Crawl-delayextension ને સપોર્ટ કરે છે, અને ઉદાહરણ તરીકેClaudeBotજૂથમાંCrawl-delay: 1આપે છે. - Microsoft Bing: સપોર્ટેડ. Bingનો webmaster blog આ વૅલ્યૂને 1 થી 30 સેકન્ડની સમયમર્યાદા તરીકે વર્ણવે છે જેમાં
bingbotવધુમાં વધુ એક પેજ ક્રૉલ કરે છે, અને કહે છે કે robots.txtનો crawl delay Bing Webmaster Toolsનાં ક્રૉલ સેટિંગ પર અગ્રતા ધરાવે છે. - Google: સપોર્ટેડ નથી. Googleના robots.txt દસ્તાવેજ
crawl-delayને સપોર્ટ ન કરાતા ફીલ્ડ તરીકે ગણાવે છે. - OpenAI અને Perplexity: તેમનાં ક્રૉલર પેજ તેનો ઉલ્લેખ કરતાં નથી, તેથી
GPTBot,OAI-SearchBotકેPerplexityBotપર તેની અસર દસ્તાવેજિત નથી.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ જૂથનો તર્ક ધ્યાનમાં રાખો. જે ક્રૉલરને પોતાના નામનું જૂથ મળે તે User-agent: * જૂથને સંપૂર્ણપણે અવગણે છે, તેથી ફક્ત Crawl-delay ધરાવતું ClaudeBot જૂથ બીજા બધા માટે તમે સેટ કરેલા દરેક Disallowને રદ કરી દેશે. ઉપર મુજબ તેમને ફરી લખો. Bing Crawl-delayને એવા અપવાદ તરીકે વર્ણવે છે જે તે બેમાંથી કોઈ પણ જૂથમાંથી વાંચે છે, પણ બીજા ક્રૉલર માટે એવું ન માની લો.
429 અને 503 જવાબો ક્રૉલરને કેવી રીતે ધીમા કરે છે?
લોડની ટોચ વખતે, સ્ટેટસ કોડ એ સિગ્નલ છે જેનું માન રાખવા ક્રૉલર બનાવાયા છે. RFC 6585માં વ્યાખ્યાયિત 429 Too Many Requestsનો અર્થ છે કે ક્લાયન્ટે આપેલા સમયમાં વધુ પડતી વિનંતીઓ મોકલી, અને તેમાં કેટલી રાહ જોવી તે જણાવતું Retry-After હેડર હોઈ શકે છે. 503 Service Unavailable કહે છે કે સર્વર અત્યારે સંભાળી શકતું નથી.
Google આને Googlebotનો ક્રૉલ દર ઝડપથી ઘટાડવાની રીત તરીકે દસ્તાવેજિત કરે છે: કેટલીક ક્રૉલ વિનંતીઓને 200ને બદલે 500, 503 કે 429 આપો. તે કહે છે કે આનાથી આખા hostname માટે ક્રૉલ દર ઘટે છે, અને Retry-Afterમાં સેકન્ડની સંખ્યા કે તારીખ હોઈ શકે છે.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. તેને ટૂંકું રાખો. Google એક કે બે દિવસથી વધુ આવું કરવા સામે સલાહ આપે છે, કારણ કે ઘણા દિવસ સુધી આ કોડ આપતું URL તેના ઇન્ડેક્સમાંથી દૂર થઈ શકે છે. લાંબા ગાળાના ઘટાડા માટે, Google તેના બદલે Search Console દ્વારા ખાસ વિનંતીની સુવિધા આપે છે.
OpenAI, Anthropic અને Perplexity દસ્તાવેજમાં જણાવતાં નથી કે તેમના ક્રૉલર 429, 503 કે Retry-After પર કેવી પ્રતિક્રિયા આપે છે. ઓછું માગવાની આ માનક રીત છે, પણ દરેક AI ક્રૉલર કેટલી ઝડપથી પાછો હટે છે તે ક્યાંય જોઈ શકાતું નથી.
AI ક્રૉલર માટે રેટ લિમિટ કેવી રીતે સેટ કરવી?
બધા ટ્રાફિક માટે એક લિમિટને બદલે દરેક ક્રૉલરને પોતાનું બજેટ આપો, અને તેનાથી વધુ વિનંતીઓને 429 આપો. nginxમાં limit_req મૉડ્યુલ આ કામ કરે છે. ખાલી key વાળી વિનંતીઓ ગણાતી નથી, તેથી ફક્ત ક્રૉલર યુઝર એજન્ટ માટે key આપતો map માણસ મુલાકાતીઓને અસર કરતો નથી. અહીં દરેક ક્રૉલરને મિનિટે 60 વિનંતીઓ અને 20નો burst મળે છે:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} અહીં key યુઝર એજન્ટ છે, તેથી જે કોઈ ક્રૉલરનું નામ કૉપિ કરે તે એ ક્રૉલરનું બજેટ વહેંચે છે. રેટ લિમિટ માટે આ ચાલે. allow નિયમ માટે, કંપનીની પ્રકાશિત IP રેન્જ પણ મેળવો.
Cloudflare પર rate limiting rules આ જ કામ edge પર કરે છે. Free પ્લાનમાં તમને એક નિયમ મળે છે, જે 10 સેકન્ડમાં IP દીઠ ગણાય છે, અને નિયમના expression માં પાથ અને Verified Bot ફીલ્ડ વાપરી શકાય છે. ઘણાં સરનામાં પર વિનંતીઓ ફેલાવતા ક્રૉલર માટે IP દીઠ ગણતરી સ્થૂળ છે, અને ઊંચા પ્લાન ગણતરીના વધુ વિકલ્પો ઉમેરે છે. ડિફૉલ્ટ જવાબ 429 છે, અને તમે બીજો 4xx કોડ અને custom body સેટ કરી શકો છો. AI Crawl Control દરેક ક્રૉલર માટે Allow, Block અને, private beta માં, Charge આપે છે, પણ દરનું કોઈ સેટિંગ નથી.
તમે ગમે તે વાપરો, /robots.txtને લિમિટની બહાર રાખો. RFC 9309 કહે છે કે robots.txt માટે સર્વર error નો અર્થ છે કે ક્રૉલરે આખી સાઇટ મનાઈ છે એમ માની લેવું જોઈએ, અને Google 429ને એ 4xx કોડમાંથી બાકાત રાખે છે જેને તે ગેરહાજર ફાઇલ તરીકે ગણે છે.
શું કૅશિંગ ક્રૉલરનો લોડ ઘટાડી શકે?
ઘણી વાર રેટ લિમિટ કરતાં વધુ. ક્રૉલર મોટા ભાગે એવાં જાહેર પેજ માગે છે જે દરેક મુલાકાતી માટે સરખાં હોય, તેથી તેમને CDN કે page cache માંથી આપવાથી મોંઘા રેન્ડર સસ્તા hits માં ફેરવાય છે. તપાસો કે તમારું કૅશ ક્રૉલર યુઝર એજન્ટ માટે અલગ, કૅશ ન થયેલું વર્ઝન રાખતું નથી.
conditional requests પણ મદદ કરે છે. Google કહે છે કે તેના ક્રૉલર ETag અને If-None-Match, તથા Last-Modified અને If-Modified-Since સાથે HTTP કૅશિંગને સપોર્ટ કરે છે, અને બંને હોય ત્યારે ETag વાપરે છે. OpenAI, Anthropic અને Perplexityનાં ક્રૉલર પેજ જણાવતાં નથી કે તેમના ક્રૉલર conditional requests મોકલે છે કે નહીં, તેથી આ બચતની ગણતરી ફક્ત Google માટે કરો.
ક્રૉલરને ધીમા કરતી વખતે શું ટાળવું?
- ફાયરવૉલ પર કંપનીની IP રેન્જ બ્લૉક કરવી. Anthropic ચેતવે છે કે આ બરાબર કામ ન કરે કે opt-out ટકાવી ન રાખે એવું બને, કારણ કે તેનાથી તેના bots તમારી robots.txt વાંચી શકતા નથી.
- દિવસો સુધી
5xxકે429આપવા. Google કહે છે કે તે આપતાં રહેતાં URL તેના ઇન્ડેક્સમાંથી દૂર થઈ શકે છે. - બૉટ પ્રોટેક્શનને throttle તરીકે વાપરવું. Cloudflareનો Bot Fight Mode bots ને ગણતરીની દૃષ્ટિએ મોંઘી ચેલેન્જ આપે છે અને WAF custom rules વડે સ્કિપ કરી શકાતો નથી, તેથી તમે રાખવા માગો છો તે ક્રૉલરને છૂટ આપી શકતા નથી.
- bandwidth બચાવવા સર્ચ ક્રૉલરને મનાઈ કરવી.
OAI-SearchBot,Claude-SearchBotકેPerplexityBotમાટેDisallowતમને એ ક્રૉલર જે જવાબો પૂરા પાડે છે તેમાંથી બહાર કરે છે.
ક્રૉલર હજી પસાર થાય છે કે નહીં, કેવી રીતે તપાસવું?
રેટ લિમિટ વધુ પડતી કડક સેટ થઈ જવી સહેલી છે. AISeeWhyની મફત તપાસ પેજને સાચા બ્રાઉઝરની સાથે 16 AI અને સર્ચ ક્રૉલર તરીકે મેળવે છે, દરેક ક્રૉલર માટે તમારી robots.txt લાગુ કરે છે અને ફાયરવૉલનાં ચેલેન્જ પેજ ઓળખે છે, તેથી ક્રૉલરને બ્રાઉઝર કરતાં અલગ જવાબ આપતો નિયમ દેખાઈ આવે છે. ક્રૉલર દીઠ એક વિનંતી કોઈ વાજબી લિમિટને ટ્રિગર નહીં કરે, અને એ જ હેતુ છે: નિયમો બદલ્યા પછી તેને ચલાવીને ખાતરી કરો કે સામાન્ય વિનંતીઓ હજી પસાર થાય છે. મફત AI ક્રૉલર IP તપાસ જણાવે છે કે તમારા લૉગમાંનું IP ખરેખર GPTBot કે બીજા ક્રૉલરનું છે કે નહીં.
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- AI ક્રૉલરની IP તપાસ
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
વારંવાર પૂછાતા પ્રશ્નો
શું Google Crawl-delay ને સપોર્ટ કરે છે?
ના. Googleના robots.txt દસ્તાવેજ crawl-delayને સપોર્ટ ન કરાતાં ફીલ્ડમાં ગણાવે છે. Googlebotને થોડા સમય માટે ધીમો કરવા, કેટલીક વિનંતીઓને 503, 500 કે 429 આપો; લાંબા ઘટાડા માટે, Google Search Console દ્વારા ખાસ વિનંતીની સુવિધા આપે છે.
શું ClaudeBot Crawl-delay નું પાલન કરે છે?
Anthropic કહે છે કે તે બિન-માનક Crawl-delay extension ને સપોર્ટ કરે છે. તેને ClaudeBot જૂથમાં મૂકો અને તમારા User-agent: * જૂથના કોઈ પણ Disallow નિયમો ત્યાં ફરી લખો.
શું GPTBot અને PerplexityBot Crawl-delay ને સપોર્ટ કરે છે?
OpenAI અને Perplexityનાં ક્રૉલર પેજ Crawl-delayનો ઉલ્લેખ કરતાં નથી, તેથી તેની અસર દસ્તાવેજિત નથી. વધારાની વિનંતીઓને 429 આપતી સર્વર-સાઇડ લિમિટ વાપરો.
શું 429 જવાબ મારા રેન્કિંગને નુકસાન કરશે?
ટૂંકા સમય માટે નહીં. Google 429 અને 503ને ક્રૉલિંગ અસ્થાયી રીતે ઘટાડવાની રીત તરીકે દસ્તાવેજિત કરે છે, પણ ચેતવે છે કે ઘણા દિવસ સુધી તે આપતાં URL તેના ઇન્ડેક્સમાંથી દૂર થઈ શકે છે.
શું લોડ ઘટાડવા મારે GPTBot બ્લૉક કરવો જોઈએ?
કરી શકો. OpenAI કહે છે કે GPTBot એવું કન્ટેન્ટ ક્રૉલ કરે છે જે ટ્રેનિંગ માટે વપરાઈ શકે, અને દરેક robots.txt સેટિંગ સ્વતંત્ર છે, તેથી તેને મનાઈ કરવાથી તમે ChatGPT સર્ચમાંથી દૂર થતા નથી, જે OAI-SearchBot વાપરે છે. પહેલાં તમારા લૉગ તપાસીને ખાતરી કરો કે લોડ OpenAIનાં સરનામાં પરથી આવે છે.
સ્રોતો
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers