AI ક્રૉલરને બ્લૉક કર્યા વગર ધીમા કેવી રીતે કરવા

પ્રકાશિત

ટૂંકો જવાબ

બ્લૉક કરવાને બદલે રેટ લિમિટ કરો. ક્રૉલરની વધારાની વિનંતીઓને Retry-After હેડર સાથે 429 કે 503 આપો, દરેક ક્રૉલરને પોતાનું બજેટ આપો, /robots.txtને દરેક લિમિટની બહાર રાખો, અને ક્રૉલરને કૅશમાંથી પેજ આપો. robots.txtમાં Crawl-delay ફક્ત ત્યાં જ મદદ કરે છે જ્યાં ઑપરેટર તેને દસ્તાવેજિત કરે છે: Anthropic અને Bing કરે છે, Google કહે છે કે તે સપોર્ટ કરતું નથી, અને OpenAI તથા Perplexity તેનો ઉલ્લેખ કરતાં નથી. AI સર્ચ ક્રૉલરને મંજૂરી રહેવા દો, નહીં તો તેઓ જે જવાબો પૂરા પાડે છે તેમાંથી પણ તમે નીકળી જશો.

જ્યારે કોઈ ક્રૉલર કલાકમાં હજારો વિનંતીઓ મોકલે, ત્યારે ઝડપી ઉપાય Disallow: / કે ફાયરવૉલ બ્લૉક છે. ટ્રેનિંગ ક્રૉલર માટે આ યોગ્ય પસંદગી હોઈ શકે છે. OAI-SearchBot, Claude-SearchBot કે PerplexityBot માટે તે તમારાં પેજને એ AI જવાબોમાંથી દૂર કરે છે જેમાં તમે દેખાવા માગો છો. મોટા ભાગે એ છોડ્યા વગર લોડ ઘટાડી શકાય છે, ક્રૉલર પહેલેથી સમજે છે એવા સિગ્નલ વડે: સ્ટેટસ કોડ, કૅશિંગ અને, કેટલાક ઑપરેટર માટે, Crawl-delay.

આ પેજ પર
  1. ખરેખર કયો ક્રૉલર લોડ વધારે છે?
  2. શું Crawl-delay AI ક્રૉલર માટે કામ કરે છે?
  3. 429 અને 503 જવાબો ક્રૉલરને કેવી રીતે ધીમા કરે છે?
  4. AI ક્રૉલર માટે રેટ લિમિટ કેવી રીતે સેટ કરવી?
  5. શું કૅશિંગ ક્રૉલરનો લોડ ઘટાડી શકે?
  6. ક્રૉલરને ધીમા કરતી વખતે શું ટાળવું?
  7. ક્રૉલર હજી પસાર થાય છે કે નહીં, કેવી રીતે તપાસવું?

ખરેખર કયો ક્રૉલર લોડ વધારે છે?

કંઈ પણ બદલતાં પહેલાં જુઓ. તમારા ઍક્સેસ લૉગમાં યુઝર એજન્ટ દીઠ અને કલાક દીઠ વિનંતીઓ ગણો, અને સ્રોત IPને દરેક કંપની પ્રકાશિત કરે તે રેન્જ સાથે સરખાવો; સર્વર લૉગમાં AI ક્રૉલર તપાસવા પરની અમારી માર્ગદર્શિકામાં કમાન્ડ છે. બે તારણ વારંવાર મળે છે:

ક્રૉલરને તેમના કામ પ્રમાણે પણ વર્ગીકૃત કરો. GPTBot અને ClaudeBot જેવા ટ્રેનિંગ ક્રૉલર તમને AI સર્ચમાં ટાંકવા લાયક બનાવતા નથી, તેથી જો તેમાંથી કોઈ સમસ્યા હોય, તો તેને મનાઈ કરવી વાજબી વિકલ્પ છે. આ માર્ગદર્શિકાનો બાકીનો ભાગ એ ક્રૉલર માટે છે જેમને તમે રાખવા માગો છો.

શું Crawl-delay AI ક્રૉલર માટે કામ કરે છે?

Crawl-delay RFC 9309નો ભાગ નથી, તેથી દરેક ઑપરેટર નક્કી કરે છે કે તેને વાંચવું કે નહીં. નવેમ્બર 2026 સુધી દસ્તાવેજ આ કહે છે:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

જૂથનો તર્ક ધ્યાનમાં રાખો. જે ક્રૉલરને પોતાના નામનું જૂથ મળે તે User-agent: * જૂથને સંપૂર્ણપણે અવગણે છે, તેથી ફક્ત Crawl-delay ધરાવતું ClaudeBot જૂથ બીજા બધા માટે તમે સેટ કરેલા દરેક Disallowને રદ કરી દેશે. ઉપર મુજબ તેમને ફરી લખો. Bing Crawl-delayને એવા અપવાદ તરીકે વર્ણવે છે જે તે બેમાંથી કોઈ પણ જૂથમાંથી વાંચે છે, પણ બીજા ક્રૉલર માટે એવું ન માની લો.

429 અને 503 જવાબો ક્રૉલરને કેવી રીતે ધીમા કરે છે?

લોડની ટોચ વખતે, સ્ટેટસ કોડ એ સિગ્નલ છે જેનું માન રાખવા ક્રૉલર બનાવાયા છે. RFC 6585માં વ્યાખ્યાયિત 429 Too Many Requestsનો અર્થ છે કે ક્લાયન્ટે આપેલા સમયમાં વધુ પડતી વિનંતીઓ મોકલી, અને તેમાં કેટલી રાહ જોવી તે જણાવતું Retry-After હેડર હોઈ શકે છે. 503 Service Unavailable કહે છે કે સર્વર અત્યારે સંભાળી શકતું નથી.

Google આને Googlebotનો ક્રૉલ દર ઝડપથી ઘટાડવાની રીત તરીકે દસ્તાવેજિત કરે છે: કેટલીક ક્રૉલ વિનંતીઓને 200ને બદલે 500, 503 કે 429 આપો. તે કહે છે કે આનાથી આખા hostname માટે ક્રૉલ દર ઘટે છે, અને Retry-Afterમાં સેકન્ડની સંખ્યા કે તારીખ હોઈ શકે છે.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

તેને ટૂંકું રાખો. Google એક કે બે દિવસથી વધુ આવું કરવા સામે સલાહ આપે છે, કારણ કે ઘણા દિવસ સુધી આ કોડ આપતું URL તેના ઇન્ડેક્સમાંથી દૂર થઈ શકે છે. લાંબા ગાળાના ઘટાડા માટે, Google તેના બદલે Search Console દ્વારા ખાસ વિનંતીની સુવિધા આપે છે.

OpenAI, Anthropic અને Perplexity દસ્તાવેજમાં જણાવતાં નથી કે તેમના ક્રૉલર 429, 503 કે Retry-After પર કેવી પ્રતિક્રિયા આપે છે. ઓછું માગવાની આ માનક રીત છે, પણ દરેક AI ક્રૉલર કેટલી ઝડપથી પાછો હટે છે તે ક્યાંય જોઈ શકાતું નથી.

AI ક્રૉલર માટે રેટ લિમિટ કેવી રીતે સેટ કરવી?

બધા ટ્રાફિક માટે એક લિમિટને બદલે દરેક ક્રૉલરને પોતાનું બજેટ આપો, અને તેનાથી વધુ વિનંતીઓને 429 આપો. nginxમાં limit_req મૉડ્યુલ આ કામ કરે છે. ખાલી key વાળી વિનંતીઓ ગણાતી નથી, તેથી ફક્ત ક્રૉલર યુઝર એજન્ટ માટે key આપતો map માણસ મુલાકાતીઓને અસર કરતો નથી. અહીં દરેક ક્રૉલરને મિનિટે 60 વિનંતીઓ અને 20નો burst મળે છે:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

અહીં key યુઝર એજન્ટ છે, તેથી જે કોઈ ક્રૉલરનું નામ કૉપિ કરે તે એ ક્રૉલરનું બજેટ વહેંચે છે. રેટ લિમિટ માટે આ ચાલે. allow નિયમ માટે, કંપનીની પ્રકાશિત IP રેન્જ પણ મેળવો.

Cloudflare પર rate limiting rules આ જ કામ edge પર કરે છે. Free પ્લાનમાં તમને એક નિયમ મળે છે, જે 10 સેકન્ડમાં IP દીઠ ગણાય છે, અને નિયમના expression માં પાથ અને Verified Bot ફીલ્ડ વાપરી શકાય છે. ઘણાં સરનામાં પર વિનંતીઓ ફેલાવતા ક્રૉલર માટે IP દીઠ ગણતરી સ્થૂળ છે, અને ઊંચા પ્લાન ગણતરીના વધુ વિકલ્પો ઉમેરે છે. ડિફૉલ્ટ જવાબ 429 છે, અને તમે બીજો 4xx કોડ અને custom body સેટ કરી શકો છો. AI Crawl Control દરેક ક્રૉલર માટે Allow, Block અને, private beta માં, Charge આપે છે, પણ દરનું કોઈ સેટિંગ નથી.

તમે ગમે તે વાપરો, /robots.txtને લિમિટની બહાર રાખો. RFC 9309 કહે છે કે robots.txt માટે સર્વર error નો અર્થ છે કે ક્રૉલરે આખી સાઇટ મનાઈ છે એમ માની લેવું જોઈએ, અને Google 429ને એ 4xx કોડમાંથી બાકાત રાખે છે જેને તે ગેરહાજર ફાઇલ તરીકે ગણે છે.

શું કૅશિંગ ક્રૉલરનો લોડ ઘટાડી શકે?

ઘણી વાર રેટ લિમિટ કરતાં વધુ. ક્રૉલર મોટા ભાગે એવાં જાહેર પેજ માગે છે જે દરેક મુલાકાતી માટે સરખાં હોય, તેથી તેમને CDN કે page cache માંથી આપવાથી મોંઘા રેન્ડર સસ્તા hits માં ફેરવાય છે. તપાસો કે તમારું કૅશ ક્રૉલર યુઝર એજન્ટ માટે અલગ, કૅશ ન થયેલું વર્ઝન રાખતું નથી.

conditional requests પણ મદદ કરે છે. Google કહે છે કે તેના ક્રૉલર ETag અને If-None-Match, તથા Last-Modified અને If-Modified-Since સાથે HTTP કૅશિંગને સપોર્ટ કરે છે, અને બંને હોય ત્યારે ETag વાપરે છે. OpenAI, Anthropic અને Perplexityનાં ક્રૉલર પેજ જણાવતાં નથી કે તેમના ક્રૉલર conditional requests મોકલે છે કે નહીં, તેથી આ બચતની ગણતરી ફક્ત Google માટે કરો.

ક્રૉલરને ધીમા કરતી વખતે શું ટાળવું?

ક્રૉલર હજી પસાર થાય છે કે નહીં, કેવી રીતે તપાસવું?

રેટ લિમિટ વધુ પડતી કડક સેટ થઈ જવી સહેલી છે. AISeeWhyની મફત તપાસ પેજને સાચા બ્રાઉઝરની સાથે 16 AI અને સર્ચ ક્રૉલર તરીકે મેળવે છે, દરેક ક્રૉલર માટે તમારી robots.txt લાગુ કરે છે અને ફાયરવૉલનાં ચેલેન્જ પેજ ઓળખે છે, તેથી ક્રૉલરને બ્રાઉઝર કરતાં અલગ જવાબ આપતો નિયમ દેખાઈ આવે છે. ક્રૉલર દીઠ એક વિનંતી કોઈ વાજબી લિમિટને ટ્રિગર નહીં કરે, અને એ જ હેતુ છે: નિયમો બદલ્યા પછી તેને ચલાવીને ખાતરી કરો કે સામાન્ય વિનંતીઓ હજી પસાર થાય છે. મફત AI ક્રૉલર IP તપાસ જણાવે છે કે તમારા લૉગમાંનું IP ખરેખર GPTBot કે બીજા ક્રૉલરનું છે કે નહીં.

મફત ટૂલ

આગળનાં પગલાં

આ લેખમાંના ક્રૉલર

વારંવાર પૂછાતા પ્રશ્નો

શું Google Crawl-delay ને સપોર્ટ કરે છે?

ના. Googleના robots.txt દસ્તાવેજ crawl-delayને સપોર્ટ ન કરાતાં ફીલ્ડમાં ગણાવે છે. Googlebotને થોડા સમય માટે ધીમો કરવા, કેટલીક વિનંતીઓને 503, 500 કે 429 આપો; લાંબા ઘટાડા માટે, Google Search Console દ્વારા ખાસ વિનંતીની સુવિધા આપે છે.

શું ClaudeBot Crawl-delay નું પાલન કરે છે?

Anthropic કહે છે કે તે બિન-માનક Crawl-delay extension ને સપોર્ટ કરે છે. તેને ClaudeBot જૂથમાં મૂકો અને તમારા User-agent: * જૂથના કોઈ પણ Disallow નિયમો ત્યાં ફરી લખો.

શું GPTBot અને PerplexityBot Crawl-delay ને સપોર્ટ કરે છે?

OpenAI અને Perplexityનાં ક્રૉલર પેજ Crawl-delayનો ઉલ્લેખ કરતાં નથી, તેથી તેની અસર દસ્તાવેજિત નથી. વધારાની વિનંતીઓને 429 આપતી સર્વર-સાઇડ લિમિટ વાપરો.

શું 429 જવાબ મારા રેન્કિંગને નુકસાન કરશે?

ટૂંકા સમય માટે નહીં. Google 429 અને 503ને ક્રૉલિંગ અસ્થાયી રીતે ઘટાડવાની રીત તરીકે દસ્તાવેજિત કરે છે, પણ ચેતવે છે કે ઘણા દિવસ સુધી તે આપતાં URL તેના ઇન્ડેક્સમાંથી દૂર થઈ શકે છે.

શું લોડ ઘટાડવા મારે GPTBot બ્લૉક કરવો જોઈએ?

કરી શકો. OpenAI કહે છે કે GPTBot એવું કન્ટેન્ટ ક્રૉલ કરે છે જે ટ્રેનિંગ માટે વપરાઈ શકે, અને દરેક robots.txt સેટિંગ સ્વતંત્ર છે, તેથી તેને મનાઈ કરવાથી તમે ChatGPT સર્ચમાંથી દૂર થતા નથી, જે OAI-SearchBot વાપરે છે. પહેલાં તમારા લૉગ તપાસીને ખાતરી કરો કે લોડ OpenAIનાં સરનામાં પરથી આવે છે.

સ્રોતો

વધુ લેખો