Paano pabagalin ang mga AI crawler nang hindi sila bina-block

Inilathala

Maikling sagot

Mag-rate-limit sa halip na mag-block. Sagutin ang sobrang request ng crawler ng 429 o 503 at header na Retry-After, bigyan ang bawat crawler ng sariling budget, ilabas ang /robots.txt sa bawat limit, at ihain sa mga crawler ang mga pahina mula sa cache. Nakakatulong lang ang Crawl-delay sa robots.txt kung saan ito dinodokumento ng operator: dinodokumento ito ng Anthropic at Bing, sabi ng Google na hindi nito ito sinusuportahan, at hindi ito binabanggit ng OpenAI at Perplexity. Panatilihing pinapayagan ang mga AI search crawler, o mawawala ka rin sa mga sagot na pinapakain nila.

Kapag nagpapadala ang isang crawler ng libu-libong request kada oras, ang mabilis na solusyon ay Disallow: / o firewall block. Para sa training crawler, puwedeng makatwirang pagpili iyon. Para sa OAI-SearchBot, Claude-SearchBot o PerplexityBot, inaalis nito ang mga pahina mo sa mismong mga AI answer na gusto mong paglabasan. Kadalasan, mababawasan ang load nang hindi isinusuko iyon, gamit ang mga signal na naiintindihan na ng mga crawler: mga status code, caching at, para sa ilang operator, Crawl-delay.

Sa pahinang ito
  1. Aling crawler talaga ang nagdudulot ng load?
  2. Gumagana ba ang Crawl-delay para sa mga AI crawler?
  3. Paano pinababagal ng mga response na 429 at 503 ang mga crawler?
  4. Paano ako magtatakda ng rate limit para sa mga AI crawler?
  5. Mababawasan ba ng caching ang load mula sa crawler?
  6. Ano ang dapat iwasan kapag pinababagal ang mga crawler?
  7. Paano ko masusuri na nakakalusot pa rin ang mga crawler?

Aling crawler talaga ang nagdudulot ng load?

Tumingin muna bago magbago ng anuman. Bilangin ang mga request ayon sa user agent at kada oras sa mga access log mo, at ikumpara ang mga source IP sa mga range na inilalathala ng bawat vendor; nasa gabay namin sa pagsusuri ng server log para sa mga AI crawler ang mga command. Dalawang natuklasan ang madalas lumabas:

Pagbukud-bukurin din ang mga crawler ayon sa trabaho. Hindi ang mga training crawler gaya ng GPTBot at ClaudeBot ang nagpapasipi sa iyo sa AI search, kaya kung isa sa kanila ang problema, makatwirang opsyon ang pag-disallow dito. Ang natitirang bahagi ng gabay na ito ay para sa mga crawler na gusto mong panatilihin.

Gumagana ba ang Crawl-delay para sa mga AI crawler?

Hindi bahagi ng RFC 9309 ang Crawl-delay, kaya bawat operator ang nagpapasya kung babasahin ito. Ito ang sinasabi ng documentation hanggang Nobyembre 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Bantayan ang lohika ng grupo. Hindi na papansin nang buo ng crawler na nakahanap ng grupong may sarili nitong pangalan ang grupong User-agent: *, kaya ang grupong ClaudeBot na Crawl-delay lang ang laman ay magtatapon sa bawat Disallow na itinakda mo para sa iba. Ulitin ang mga ito, gaya sa itaas. Inilalarawan ng Bing ang Crawl-delay bilang eksepsiyong binabasa nito mula sa alinmang grupo, pero hindi mo dapat ipagpalagay iyon para sa ibang crawler.

Paano pinababagal ng mga response na 429 at 503 ang mga crawler?

Para sa mga peak ng load, ang status code ang signal na ginawa ang mga crawler para igalang. Ang 429 Too Many Requests, na dinepina sa RFC 6585, ay nangangahulugang nagpadala ang client ng sobrang daming request sa isang takdang oras, at puwedeng may kasamang header na Retry-After na nagsasabi kung gaano katagal maghihintay. Sinasabi ng 503 Service Unavailable na hindi kaya ng server sa ngayon.

Dinodokumento ito ng Google bilang paraan para mabilis na bawasan ang crawl rate ng Googlebot: magbalik ng 500, 503 o 429 sa halip na 200 sa ilang crawl request. Sabi nito, binababa nito ang crawl rate para sa buong hostname, at puwedeng maglaman ang Retry-After ng bilang ng segundo o ng petsa.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Panatilihin itong maikli. Hindi inirerekomenda ng Google na gawin ito nang higit sa isa o dalawang araw, dahil puwedeng alisin sa index nito ang URL na nagbabalik ng mga code na ito nang ilang araw. Para sa pangmatagalang pagbawas, nag-aalok ang Google ng espesyal na request sa pamamagitan ng Search Console.

Hindi dinodokumento ng OpenAI, Anthropic at Perplexity kung paano tumutugon ang mga crawler nila sa 429, 503 o Retry-After. Ang mga code ang karaniwang paraan para humingi ng mas kaunti, pero hindi mo mahahanap kahit saan kung gaano kabilis umatras ang bawat AI crawler.

Paano ako magtatakda ng rate limit para sa mga AI crawler?

Bigyan ang bawat crawler ng sariling budget sa halip na iisang limit para sa lahat ng traffic, at sagutin ng 429 ang mga request na lampas dito. Sa nginx, ginagawa ito ng module na limit_req. Hindi binibilang ang mga request na walang laman ang key, kaya ang map na nagbabalik ng key para lang sa mga user agent ng crawler ay hindi gumagalaw sa mga taong bisita. Dito, 60 request kada minuto na may burst na 20 ang nakukuha ng bawat crawler:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Ang user agent ang key dito, kaya ang sinumang kumopya sa pangalan ng isang crawler ay kahati sa budget ng crawler na iyon. Katanggap-tanggap iyon para sa rate limit. Para sa allow rule, itugma rin ang mga IP range na inilathala ng vendor.

Sa Cloudflare, ganoon din ang ginagawa ng mga rate limiting rule sa edge. Sa Free plan, isang rule ang makukuha mo, na nagbibilang kada IP sa loob ng 10 segundo, at puwedeng gamitin ng rule expression ang path at ang field na Verified Bot. Magaspang ang pagbilang kada IP para sa mga crawler na nagkakalat ng request sa maraming address, at nagdadagdag ng mas maraming opsyon sa pagbilang ang mas matataas na plan. Ang default na response ay 429, at puwede kang magtakda ng ibang 4xx code at custom na body. Nag-aalok ang AI Crawl Control ng Allow, Block at, sa private beta, Charge para sa bawat crawler, pero walang rate setting.

Anuman ang gamitin mo, ilabas ang /robots.txt sa limit. Sabi ng RFC 9309, ang server error para sa robots.txt ay nangangahulugang dapat ituring ng crawler na disallowed ang buong site, at hindi isinasama ng Google ang 429 sa mga 4xx code na itinuturing nitong nawawalang file.

Mababawasan ba ng caching ang load mula sa crawler?

Kadalasan nang mas malaki kaysa sa rate limit. Karamihan sa hinihingi ng mga crawler ay mga pampublikong pahina na pareho para sa bawat bisita, kaya ang paghahain sa mga ito mula sa CDN o page cache ay ginagawang murang hit ang mamahaling render. Tiyaking hindi nagtatabi ang cache mo ng hiwalay at hindi naka-cache na variant para sa mga user agent ng crawler.

Nakakatulong din ang mga conditional request. Sabi ng Google, sinusuportahan ng mga crawler nito ang HTTP caching gamit ang ETag at If-None-Match, at gamit ang Last-Modified at If-Modified-Since, at ginagamit ang ETag kapag naroon ang dalawa. Hindi sinasabi ng mga crawler page ng OpenAI, Anthropic at Perplexity kung nagpapadala ng conditional request ang mga crawler nila, kaya sa Google lang umasa sa tipid na iyon.

Ano ang dapat iwasan kapag pinababagal ang mga crawler?

Paano ko masusuri na nakakalusot pa rin ang mga crawler?

Madaling maitakda nang sobrang higpit ang mga rate limit. Kinukuha ng libreng pagsusuri ng AISeeWhy ang isang pahina bilang 16 na AI at search crawler katabi ng totoong browser, inilalapat ang robots.txt mo sa bawat crawler at nakikilala ang mga challenge page ng firewall, kaya lumalabas ang rule na iba ang trato sa mga crawler kaysa sa mga browser. Hindi magti-trigger ng makatwirang limit ang isang request kada crawler, at iyon mismo ang punto: patakbuhin ito pagkatapos baguhin ang mga rule para makumpirmang nakakalusot pa rin ang mga normal na request. Sinasabi sa iyo ng libreng AI crawler IP check kung talagang pag-aari ng GPTBot o ng ibang crawler ang isang IP mula sa mga log mo.

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga madalas itanong

Sinusuportahan ba ng Google ang Crawl-delay?

Hindi. Inililista ng robots.txt documentation ng Google ang crawl-delay sa mga field na hindi nito sinusuportahan. Para pabagalin sandali ang Googlebot, magbalik ng 503, 500 o 429 sa ilang request; para sa mas matagal na pagbawas, nag-aalok ang Google ng espesyal na request sa pamamagitan ng Search Console.

Iginagalang ba ng ClaudeBot ang Crawl-delay?

Sabi ng Anthropic, sinusuportahan nito ang non-standard na extension na Crawl-delay. Ilagay ito sa grupong ClaudeBot at ulitin doon ang anumang rule na Disallow mula sa grupong User-agent: * mo.

Sinusuportahan ba ng GPTBot at PerplexityBot ang Crawl-delay?

Hindi binabanggit ng mga crawler page ng OpenAI at Perplexity ang Crawl-delay, kaya hindi dokumentado ang epekto nito. Gumamit ng server-side na limit na sumasagot sa sobrang request ng 429.

Masisira ba ng 429 response ang ranking ko?

Hindi kung maikling panahon lang. Dinodokumento ng Google ang 429 at 503 bilang paraan para pansamantalang bawasan ang crawling, pero nagbababala ito na puwedeng alisin sa index nito ang mga URL na nagbabalik ng mga ito nang ilang araw.

Dapat ko bang i-block ang GPTBot para mabawasan ang load?

Puwede. Sabi ng OpenAI, kinu-crawl ng GPTBot ang content na puwedeng gamitin sa training at independiyente ang bawat robots.txt setting, kaya hindi ka maaalis sa ChatGPT search, na gumagamit ng OAI-SearchBot, kapag dinisallow mo ito. Suriin muna ang mga log mo para matiyak na galing sa mga address ng OpenAI ang load.

Mga pinagmulan

Iba pang artikulo