AI ക്രോളറുകളെ തടയാതെ എങ്ങനെ വേഗത കുറയ്ക്കാം

പ്രസിദ്ധീകരിച്ചത്

ചുരുക്കത്തിൽ

തടയുന്നതിന് പകരം നിരക്ക് പരിമിതപ്പെടുത്തുക. അധികമുള്ള ക്രോളർ അഭ്യർത്ഥനകൾക്ക് Retry-After ഹെഡർ സഹിതം 429 അല്ലെങ്കിൽ 503 നൽകുക, ഓരോ ക്രോളറിനും സ്വന്തം ബജറ്റ് നൽകുക, /robots.txt ഒരു പരിധിയിലും ഉൾപ്പെടുത്താതിരിക്കുക, കാഷിൽ നിന്ന് ക്രോളറുകൾക്ക് പേജുകൾ നൽകുക. robots.txt-ലെ Crawl-delay ഓപ്പറേറ്റർ ഡോക്യുമെന്റ് ചെയ്യുന്നിടത്ത് മാത്രമേ സഹായിക്കൂ: Anthropic-ഉം Bing-ഉം ചെയ്യുന്നു, Google പിന്തുണയ്ക്കുന്നില്ലെന്ന് പറയുന്നു, OpenAI-യും Perplexity-യും ഇത് പരാമർശിക്കുന്നില്ല. AI സെർച്ച് ക്രോളറുകളെ അനുവദിച്ചുതന്നെ നിർത്തുക, അല്ലാത്തപക്ഷം അവ നൽകുന്ന ഉത്തരങ്ങളിൽ നിന്നും നിങ്ങൾ പുറത്താകും.

ഒരു ക്രോളർ മണിക്കൂറിൽ ആയിരക്കണക്കിന് അഭ്യർത്ഥനകൾ അയയ്ക്കുമ്പോൾ, പെട്ടെന്നുള്ള പരിഹാരം Disallow: / അല്ലെങ്കിൽ ഒരു ഫയർവാൾ തടയലാണ്. ഒരു പരിശീലന ക്രോളറിന് അത് ന്യായമായ തിരഞ്ഞെടുപ്പാകാം. എന്നാൽ OAI-SearchBot, Claude-SearchBot അല്ലെങ്കിൽ PerplexityBot-ന് അത് നിങ്ങൾ പ്രത്യക്ഷപ്പെടാൻ ആഗ്രഹിക്കുന്ന AI ഉത്തരങ്ങളിൽ നിന്ന് നിങ്ങളുടെ പേജുകൾ നീക്കം ചെയ്യുന്നു. മിക്കപ്പോഴും, അത് ഉപേക്ഷിക്കാതെ തന്നെ, ക്രോളറുകൾക്ക് ഇതിനകം മനസ്സിലാകുന്ന സിഗ്നലുകൾ ഉപയോഗിച്ച് ലോഡ് കുറയ്ക്കാം: സ്റ്റാറ്റസ് കോഡുകൾ, കാഷിംഗ്, ചില ഓപ്പറേറ്റർമാർക്ക് Crawl-delay.

ഈ പേജിൽ
  1. യഥാർത്ഥത്തിൽ ഏത് ക്രോളറാണ് ലോഡ് ഉണ്ടാക്കുന്നത്?
  2. AI ക്രോളറുകൾക്ക് Crawl-delay പ്രവർത്തിക്കുമോ?
  3. 429, 503 മറുപടികൾ ക്രോളറുകളുടെ വേഗത എങ്ങനെ കുറയ്ക്കുന്നു?
  4. AI ക്രോളറുകൾക്ക് ഒരു നിരക്ക് പരിധി എങ്ങനെ സജ്ജമാക്കാം?
  5. കാഷിംഗിന് ക്രോളർ ലോഡ് കുറയ്ക്കാനാകുമോ?
  6. ക്രോളറുകളുടെ വേഗത കുറയ്ക്കുമ്പോൾ എന്ത് ഒഴിവാക്കണം?
  7. ക്രോളറുകൾ ഇപ്പോഴും കടന്നുപോകുന്നുണ്ടോ എന്ന് എങ്ങനെ പരിശോധിക്കാം?

യഥാർത്ഥത്തിൽ ഏത് ക്രോളറാണ് ലോഡ് ഉണ്ടാക്കുന്നത്?

എന്തെങ്കിലും മാറ്റുന്നതിന് മുമ്പ് നോക്കുക. ആക്‌സസ് ലോഗുകളിൽ യൂസർ ഏജന്റ് അനുസരിച്ചും മണിക്കൂർ അനുസരിച്ചും അഭ്യർത്ഥനകൾ എണ്ണുക, ഓരോ വെണ്ടറും പ്രസിദ്ധീകരിക്കുന്ന ശ്രേണികളുമായി ഉറവിട IP-കൾ ഒത്തുനോക്കുക; AI ക്രോളറുകൾക്കായി സെർവർ ലോഗുകൾ പരിശോധിക്കുന്നതിനെക്കുറിച്ചുള്ള ഞങ്ങളുടെ ഗൈഡിൽ കമാൻഡുകളുണ്ട്. രണ്ട് കണ്ടെത്തലുകൾ പലപ്പോഴും ഉണ്ടാകുന്നു:

ജോലി അനുസരിച്ചും ക്രോളറുകളെ തരംതിരിക്കുക. GPTBot, ClaudeBot പോലുള്ള പരിശീലന ക്രോളറുകളല്ല AI സെർച്ചിൽ നിങ്ങളെ ഉദ്ധരിക്കാവുന്നതാക്കുന്നത്, അതിനാൽ അവയിൽ ഒന്നാണ് പ്രശ്നമെങ്കിൽ, അതിനെ വിലക്കുന്നത് ന്യായമായ ഓപ്ഷനാണ്. ഈ ഗൈഡിന്റെ ബാക്കി ഭാഗം നിങ്ങൾ നിലനിർത്താൻ ആഗ്രഹിക്കുന്ന ക്രോളറുകൾക്കുള്ളതാണ്.

AI ക്രോളറുകൾക്ക് Crawl-delay പ്രവർത്തിക്കുമോ?

Crawl-delay RFC 9309-ന്റെ ഭാഗമല്ല, അതിനാൽ അത് വായിക്കണോ എന്ന് ഓരോ ഓപ്പറേറ്ററും തീരുമാനിക്കുന്നു. 2026 നവംബർ വരെ ഡോക്യുമെന്റേഷൻ പറയുന്നത് ഇതാണ്:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

ഗ്രൂപ്പ് യുക്തി ശ്രദ്ധിക്കുക. സ്വന്തം പേരുള്ള ഗ്രൂപ്പ് കണ്ടെത്തുന്ന ഒരു ക്രോളർ User-agent: * ഗ്രൂപ്പ് പൂർണ്ണമായും അവഗണിക്കുന്നു, അതിനാൽ Crawl-delay മാത്രമുള്ള ഒരു ClaudeBot ഗ്രൂപ്പ് മറ്റെല്ലാവർക്കുമായി നിങ്ങൾ സജ്ജമാക്കിയ എല്ലാ Disallow-ഉം ഉപേക്ഷിക്കും. മുകളിലെ പോലെ അവ ആവർത്തിക്കുക. ഏത് ഗ്രൂപ്പിൽ നിന്നും വായിക്കുന്ന ഒരു അപവാദമായാണ് Bing Crawl-delay-നെ വിവരിക്കുന്നത്, പക്ഷേ മറ്റ് ക്രോളറുകൾക്ക് അത് അനുമാനിക്കരുത്.

429, 503 മറുപടികൾ ക്രോളറുകളുടെ വേഗത എങ്ങനെ കുറയ്ക്കുന്നു?

ലോഡ് കുതിപ്പുകൾക്ക്, ക്രോളറുകൾ മാനിക്കാൻ നിർമ്മിച്ചിരിക്കുന്ന സിഗ്നലാണ് സ്റ്റാറ്റസ് കോഡ്. RFC 6585-ൽ നിർവചിച്ച 429 Too Many Requests എന്നാൽ ഒരു നിശ്ചിത സമയത്തിനുള്ളിൽ ക്ലയന്റ് വളരെയധികം അഭ്യർത്ഥനകൾ അയച്ചു എന്നാണ്, എത്ര സമയം കാത്തിരിക്കണമെന്ന് പറയുന്ന Retry-After ഹെഡർ അതിൽ ഉണ്ടാകാം. 503 Service Unavailable എന്നാൽ സെർവറിന് ഇപ്പോൾ താങ്ങാനാകുന്നില്ല എന്നാണ്.

Googlebot-ന്റെ ക്രോൾ നിരക്ക് വേഗത്തിൽ കുറയ്ക്കാനുള്ള വഴിയായി Google ഇത് ഡോക്യുമെന്റ് ചെയ്യുന്നു: ചില ക്രോൾ അഭ്യർത്ഥനകൾക്ക് 200-ന് പകരം 500, 503 അല്ലെങ്കിൽ 429 നൽകുക. ഇത് മുഴുവൻ ഹോസ്റ്റ്നെയിമിനുമുള്ള ക്രോൾ നിരക്ക് കുറയ്ക്കുമെന്നും Retry-After-ൽ സെക്കൻഡുകളുടെ എണ്ണമോ ഒരു തീയതിയോ ഉൾപ്പെടുത്താമെന്നും അത് പറയുന്നു.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

ഇത് ചുരുക്കി നിർത്തുക. ഒന്നോ രണ്ടോ ദിവസത്തിൽ കൂടുതൽ ഇങ്ങനെ ചെയ്യരുതെന്ന് Google ഉപദേശിക്കുന്നു, കാരണം ഈ കോഡുകൾ ദിവസങ്ങളോളം നൽകുന്ന ഒരു URL അതിന്റെ ഇൻഡക്സിൽ നിന്ന് നീക്കം ചെയ്യപ്പെട്ടേക്കാം. ദീർഘകാല കുറവിനായി, Search Console വഴി ഒരു പ്രത്യേക അഭ്യർത്ഥനയാണ് Google വാഗ്ദാനം ചെയ്യുന്നത്.

തങ്ങളുടെ ക്രോളറുകൾ 429, 503 അല്ലെങ്കിൽ Retry-After-നോട് എങ്ങനെ പ്രതികരിക്കുന്നുവെന്ന് OpenAI, Anthropic, Perplexity എന്നിവ ഡോക്യുമെന്റ് ചെയ്യുന്നില്ല. കുറവ് ആവശ്യപ്പെടാനുള്ള സ്റ്റാൻഡേർഡ് മാർഗമാണ് ഈ കോഡുകൾ, പക്ഷേ ഓരോ AI ക്രോളറും എത്ര വേഗത്തിൽ പിന്മാറുന്നുവെന്ന് എവിടെയും കണ്ടെത്താനാകില്ല.

AI ക്രോളറുകൾക്ക് ഒരു നിരക്ക് പരിധി എങ്ങനെ സജ്ജമാക്കാം?

എല്ലാ ട്രാഫിക്കിനും ഒരു പരിധിക്ക് പകരം ഓരോ ക്രോളറിനും സ്വന്തം ബജറ്റ് നൽകുക, അതിന് മുകളിലുള്ള അഭ്യർത്ഥനകൾക്ക് 429 നൽകുക. nginx-ൽ limit_req മൊഡ്യൂൾ ഇത് ചെയ്യുന്നു. ശൂന്യമായ കീയുള്ള അഭ്യർത്ഥനകൾ എണ്ണില്ല, അതിനാൽ ക്രോളർ യൂസർ ഏജന്റുകൾക്ക് മാത്രം കീ നൽകുന്ന ഒരു map മനുഷ്യ സന്ദർശകരെ ബാധിക്കില്ല. ഇവിടെ ഓരോ ക്രോളറിനും മിനിറ്റിൽ 60 അഭ്യർത്ഥനകളും 20-ന്റെ ബർസ്റ്റും ലഭിക്കുന്നു:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

ഇവിടെ കീ യൂസർ ഏജന്റാണ്, അതിനാൽ ഒരു ക്രോളറിന്റെ പേര് പകർത്തുന്ന ആരും ആ ക്രോളറിന്റെ ബജറ്റ് പങ്കിടും. ഒരു നിരക്ക് പരിധിക്ക് അത് സ്വീകാര്യമാണ്. ഒരു അനുവദിക്കൽ നിയമത്തിന്, വെണ്ടർ പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളും പൊരുത്തപ്പെടുത്തുക.

Cloudflare-ൽ, rate limiting നിയമങ്ങൾ എഡ്ജിൽ ഇതേ ജോലി ചെയ്യുന്നു. Free പ്ലാനിൽ 10 സെക്കൻഡിൽ IP അനുസരിച്ച് എണ്ണുന്ന ഒരു നിയമം ലഭിക്കും, നിയമ എക്സ്പ്രഷനിൽ പാത്തും Verified Bot ഫീൽഡും ഉപയോഗിക്കാം. പല വിലാസങ്ങളിലായി അഭ്യർത്ഥനകൾ വിതരണം ചെയ്യുന്ന ക്രോളറുകൾക്ക് IP അനുസരിച്ചുള്ള എണ്ണൽ പരുക്കനാണ്, ഉയർന്ന പ്ലാനുകൾ കൂടുതൽ എണ്ണൽ ഓപ്ഷനുകൾ ചേർക്കുന്നു. ഡിഫോൾട്ട് മറുപടി 429 ആണ്, മറ്റൊരു 4xx കോഡും കസ്റ്റം ബോഡിയും സജ്ജമാക്കാം. AI Crawl Control ഓരോ ക്രോളറിനും Allow, Block, ഒരു സ്വകാര്യ ബീറ്റയിൽ Charge എന്നിവ നൽകുന്നു, പക്ഷേ നിരക്ക് ക്രമീകരണമില്ല.

എന്ത് ഉപയോഗിച്ചാലും, /robots.txt പരിധിയിൽ നിന്ന് പുറത്ത് നിർത്തുക. robots.txt-ന് ഒരു സെർവർ പിശക് ലഭിച്ചാൽ സൈറ്റ് മുഴുവൻ വിലക്കപ്പെട്ടതായി ക്രോളർ കണക്കാക്കണമെന്ന് RFC 9309 പറയുന്നു, കാണാതായ ഫയലായി കണക്കാക്കുന്ന 4xx കോഡുകളിൽ നിന്ന് Google 429 ഒഴിവാക്കുന്നു.

കാഷിംഗിന് ക്രോളർ ലോഡ് കുറയ്ക്കാനാകുമോ?

പലപ്പോഴും ഒരു നിരക്ക് പരിധിയേക്കാൾ കൂടുതൽ. ക്രോളറുകൾ കൂടുതലും എല്ലാ സന്ദർശകർക്കും ഒരുപോലെയുള്ള പൊതു പേജുകളാണ് ആവശ്യപ്പെടുന്നത്, അതിനാൽ ഒരു CDN-ൽ നിന്നോ പേജ് കാഷിൽ നിന്നോ അവ നൽകുന്നത് ചെലവേറിയ റെൻഡറുകളെ ചെലവ് കുറഞ്ഞ ഹിറ്റുകളാക്കി മാറ്റുന്നു. ക്രോളർ യൂസർ ഏജന്റുകൾക്കായി നിങ്ങളുടെ കാഷ് കാഷ് ചെയ്യാത്ത ഒരു പ്രത്യേക വേരിയന്റ് സൂക്ഷിക്കുന്നില്ലെന്ന് പരിശോധിക്കുക.

കണ്ടീഷണൽ അഭ്യർത്ഥനകളും സഹായിക്കുന്നു. തങ്ങളുടെ ക്രോളറുകൾ ETag, If-None-Match എന്നിവയും Last-Modified, If-Modified-Since എന്നിവയും ഉപയോഗിച്ചുള്ള HTTP കാഷിംഗ് പിന്തുണയ്ക്കുന്നുവെന്നും രണ്ടും ഉള്ളപ്പോൾ ETag ഉപയോഗിക്കുന്നുവെന്നും Google പറയുന്നു. OpenAI, Anthropic, Perplexity എന്നിവയുടെ ക്രോളർ പേജുകൾ തങ്ങളുടെ ക്രോളറുകൾ കണ്ടീഷണൽ അഭ്യർത്ഥനകൾ അയയ്ക്കുന്നുണ്ടോ എന്ന് പറയുന്നില്ല, അതിനാൽ ആ ലാഭം Google-ന് മാത്രം പ്രതീക്ഷിക്കുക.

ക്രോളറുകളുടെ വേഗത കുറയ്ക്കുമ്പോൾ എന്ത് ഒഴിവാക്കണം?

ക്രോളറുകൾ ഇപ്പോഴും കടന്നുപോകുന്നുണ്ടോ എന്ന് എങ്ങനെ പരിശോധിക്കാം?

നിരക്ക് പരിധികൾ വളരെ കർശനമായി സജ്ജമാക്കാൻ എളുപ്പമാണ്. സൗജന്യ AISeeWhy പരിശോധന ഒരു യഥാർത്ഥ ബ്രൗസറിനൊപ്പം 16 AI, സെർച്ച് ക്രോളറുകളായി ഒരു പേജ് എടുക്കുന്നു, ഓരോ ക്രോളറിനും നിങ്ങളുടെ robots.txt ബാധകമാക്കുന്നു, ഫയർവാൾ ചലഞ്ച് പേജുകൾ തിരിച്ചറിയുന്നു, അതിനാൽ ബ്രൗസറുകളിൽ നിന്ന് വ്യത്യസ്തമായി ക്രോളറുകൾക്ക് മറുപടി നൽകുന്ന ഒരു നിയമം വെളിവാകുന്നു. ഓരോ ക്രോളറിനും ഒരു അഭ്യർത്ഥന ന്യായമായ ഒരു പരിധി ട്രിഗർ ചെയ്യില്ല, അതുതന്നെയാണ് ഉദ്ദേശ്യം: സാധാരണ അഭ്യർത്ഥനകൾ ഇപ്പോഴും കടന്നുപോകുന്നുവെന്ന് സ്ഥിരീകരിക്കാൻ നിയമങ്ങൾ മാറ്റിയ ശേഷം ഇത് പ്രവർത്തിപ്പിക്കുക. നിങ്ങളുടെ ലോഗുകളിലെ ഒരു IP യഥാർത്ഥത്തിൽ GPTBot-ന്റെയോ മറ്റൊരു ക്രോളറിന്റെയോ ആണോ എന്ന് സൗജന്യ AI ക്രോളർ IP പരിശോധന പറയുന്നു.

സൗജന്യ ടൂളുകൾ

അടുത്ത ഘട്ടങ്ങൾ

ഈ ലേഖനത്തിലെ ക്രോളറുകൾ

പതിവ് ചോദ്യങ്ങൾ

Google Crawl-delay പിന്തുണയ്ക്കുന്നുണ്ടോ?

ഇല്ല. Google-ന്റെ robots.txt ഡോക്യുമെന്റേഷൻ പിന്തുണയ്ക്കാത്ത ഫീൽഡുകളിൽ crawl-delay ഉൾപ്പെടുത്തുന്നു. Googlebot-ന്റെ വേഗത കുറച്ചുനേരത്തേക്ക് കുറയ്ക്കാൻ, ചില അഭ്യർത്ഥനകൾക്ക് 503, 500 അല്ലെങ്കിൽ 429 നൽകുക; ദീർഘമായ കുറവിനായി Google, Search Console വഴി ഒരു പ്രത്യേക അഭ്യർത്ഥന വാഗ്ദാനം ചെയ്യുന്നു.

ClaudeBot Crawl-delay മാനിക്കുമോ?

നിലവാരമില്ലാത്ത Crawl-delay എക്സ്റ്റൻഷൻ പിന്തുണയ്ക്കുന്നുവെന്ന് Anthropic പറയുന്നു. അത് ഒരു ClaudeBot ഗ്രൂപ്പിൽ ചേർത്ത്, നിങ്ങളുടെ User-agent: * ഗ്രൂപ്പിലെ എല്ലാ Disallow നിയമങ്ങളും അവിടെ ആവർത്തിക്കുക.

GPTBot-ഉം PerplexityBot-ഉം Crawl-delay പിന്തുണയ്ക്കുന്നുണ്ടോ?

OpenAI-യുടെയും Perplexity-യുടെയും ക്രോളർ പേജുകൾ Crawl-delay പരാമർശിക്കുന്നില്ല, അതിനാൽ അതിന്റെ സ്വാധീനം ഡോക്യുമെന്റ് ചെയ്തിട്ടില്ല. അധികമുള്ള അഭ്യർത്ഥനകൾക്ക് 429 നൽകുന്ന ഒരു സെർവർ-സൈഡ് പരിധി ഉപയോഗിക്കുക.

429 മറുപടി എന്റെ റാങ്കിംഗിനെ ബാധിക്കുമോ?

കുറഞ്ഞ സമയത്തേക്ക് ഇല്ല. ക്രോളിംഗ് താൽക്കാലികമായി കുറയ്ക്കാനുള്ള വഴിയായി Google 429-ഉം 503-ഉം ഡോക്യുമെന്റ് ചെയ്യുന്നു, പക്ഷേ ദിവസങ്ങളോളം അവ നൽകുന്ന URL-കൾ തങ്ങളുടെ ഇൻഡക്സിൽ നിന്ന് നീക്കം ചെയ്യപ്പെട്ടേക്കാമെന്ന് മുന്നറിയിപ്പ് നൽകുന്നു.

ലോഡ് കുറയ്ക്കാൻ GPTBot-നെ തടയണോ?

തടയാം. പരിശീലനത്തിന് ഉപയോഗിച്ചേക്കാവുന്ന ഉള്ളടക്കമാണ് GPTBot ക്രോൾ ചെയ്യുന്നതെന്നും ഓരോ robots.txt ക്രമീകരണവും സ്വതന്ത്രമാണെന്നും OpenAI പറയുന്നു, അതിനാൽ അതിനെ വിലക്കുന്നത് OAI-SearchBot ഉപയോഗിക്കുന്ന ChatGPT സെർച്ചിൽ നിന്ന് നിങ്ങളെ നീക്കം ചെയ്യുന്നില്ല. ലോഡ് OpenAI-യുടെ വിലാസങ്ങളിൽ നിന്നാണ് വരുന്നതെന്ന് ഉറപ്പാക്കാൻ ആദ്യം ലോഗുകൾ പരിശോധിക്കുക.

ഉറവിടങ്ങൾ

കൂടുതൽ ലേഖനങ്ങൾ