Paano pabagalin ang mga AI crawler nang hindi sila bina-block
Mag-rate-limit sa halip na mag-block. Sagutin ang sobrang request ng crawler ng 429 o 503 at header na Retry-After, bigyan ang bawat crawler ng sariling budget, ilabas ang /robots.txt sa bawat limit, at ihain sa mga crawler ang mga pahina mula sa cache. Nakakatulong lang ang Crawl-delay sa robots.txt kung saan ito dinodokumento ng operator: dinodokumento ito ng Anthropic at Bing, sabi ng Google na hindi nito ito sinusuportahan, at hindi ito binabanggit ng OpenAI at Perplexity. Panatilihing pinapayagan ang mga AI search crawler, o mawawala ka rin sa mga sagot na pinapakain nila.
Kapag nagpapadala ang isang crawler ng libu-libong request kada oras, ang mabilis na solusyon ay Disallow: / o firewall block. Para sa training crawler, puwedeng makatwirang pagpili iyon. Para sa OAI-SearchBot, Claude-SearchBot o PerplexityBot, inaalis nito ang mga pahina mo sa mismong mga AI answer na gusto mong paglabasan. Kadalasan, mababawasan ang load nang hindi isinusuko iyon, gamit ang mga signal na naiintindihan na ng mga crawler: mga status code, caching at, para sa ilang operator, Crawl-delay.
Sa pahinang ito
- Aling crawler talaga ang nagdudulot ng load?
- Gumagana ba ang Crawl-delay para sa mga AI crawler?
- Paano pinababagal ng mga response na 429 at 503 ang mga crawler?
- Paano ako magtatakda ng rate limit para sa mga AI crawler?
- Mababawasan ba ng caching ang load mula sa crawler?
- Ano ang dapat iwasan kapag pinababagal ang mga crawler?
- Paano ko masusuri na nakakalusot pa rin ang mga crawler?
Aling crawler talaga ang nagdudulot ng load?
Tumingin muna bago magbago ng anuman. Bilangin ang mga request ayon sa user agent at kada oras sa mga access log mo, at ikumpara ang mga source IP sa mga range na inilalathala ng bawat vendor; nasa gabay namin sa pagsusuri ng server log para sa mga AI crawler ang mga command. Dalawang natuklasan ang madalas lumabas:
- Nagpapanggap lang na AI crawler ang mabigat na traffic. Kung wala sa listahan ng vendor ang mga IP, hindi makakatulong ang mga rule para sa tunay na crawler. Limitahan o i-block na lang ang traffic na iyon ayon sa pinagmulan nito.
- Naipit ang isang tunay na crawler sa crawl trap, gaya ng walang katapusang mga pahina ng kalendaryo, mga kombinasyon ng filter o mga session ID sa mga URL. Mas malaki ang natitipid sa pagsasara ng trap gamit ang mga rule na
Disallowpara sa mga path na iyon kaysa sa anumang rate limit.
Pagbukud-bukurin din ang mga crawler ayon sa trabaho. Hindi ang mga training crawler gaya ng GPTBot at ClaudeBot ang nagpapasipi sa iyo sa AI search, kaya kung isa sa kanila ang problema, makatwirang opsyon ang pag-disallow dito. Ang natitirang bahagi ng gabay na ito ay para sa mga crawler na gusto mong panatilihin.
Gumagana ba ang Crawl-delay para sa mga AI crawler?
Hindi bahagi ng RFC 9309 ang Crawl-delay, kaya bawat operator ang nagpapasya kung babasahin ito. Ito ang sinasabi ng documentation hanggang Nobyembre 2026:
- Anthropic: sinusuportahan. Sabi ng help page nito, sinusuportahan nito ang non-standard na extension na
Crawl-delaypara limitahan ang crawling activity, na mayCrawl-delay: 1sa grupongClaudeBotbilang halimbawa. - Microsoft Bing: sinusuportahan. Inilalarawan ng webmaster blog ng Bing ang value bilang time window na 1 hanggang 30 segundo kung saan pinakamarami ay isang pahina ang kinu-crawl ng
bingbot, at sinasabing nananaig ang crawl delay sa robots.txt sa mga crawl setting sa Bing Webmaster Tools. - Google: hindi sinusuportahan. Pinapangalanan ng robots.txt documentation ng Google ang
crawl-delaybilang field na hindi nito sinusuportahan. - OpenAI at Perplexity: hindi ito binabanggit ng mga crawler page nila, kaya hindi dokumentado ang epekto nito sa
GPTBot,OAI-SearchBotoPerplexityBot.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Bantayan ang lohika ng grupo. Hindi na papansin nang buo ng crawler na nakahanap ng grupong may sarili nitong pangalan ang grupong User-agent: *, kaya ang grupong ClaudeBot na Crawl-delay lang ang laman ay magtatapon sa bawat Disallow na itinakda mo para sa iba. Ulitin ang mga ito, gaya sa itaas. Inilalarawan ng Bing ang Crawl-delay bilang eksepsiyong binabasa nito mula sa alinmang grupo, pero hindi mo dapat ipagpalagay iyon para sa ibang crawler.
Paano pinababagal ng mga response na 429 at 503 ang mga crawler?
Para sa mga peak ng load, ang status code ang signal na ginawa ang mga crawler para igalang. Ang 429 Too Many Requests, na dinepina sa RFC 6585, ay nangangahulugang nagpadala ang client ng sobrang daming request sa isang takdang oras, at puwedeng may kasamang header na Retry-After na nagsasabi kung gaano katagal maghihintay. Sinasabi ng 503 Service Unavailable na hindi kaya ng server sa ngayon.
Dinodokumento ito ng Google bilang paraan para mabilis na bawasan ang crawl rate ng Googlebot: magbalik ng 500, 503 o 429 sa halip na 200 sa ilang crawl request. Sabi nito, binababa nito ang crawl rate para sa buong hostname, at puwedeng maglaman ang Retry-After ng bilang ng segundo o ng petsa.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Panatilihin itong maikli. Hindi inirerekomenda ng Google na gawin ito nang higit sa isa o dalawang araw, dahil puwedeng alisin sa index nito ang URL na nagbabalik ng mga code na ito nang ilang araw. Para sa pangmatagalang pagbawas, nag-aalok ang Google ng espesyal na request sa pamamagitan ng Search Console.
Hindi dinodokumento ng OpenAI, Anthropic at Perplexity kung paano tumutugon ang mga crawler nila sa 429, 503 o Retry-After. Ang mga code ang karaniwang paraan para humingi ng mas kaunti, pero hindi mo mahahanap kahit saan kung gaano kabilis umatras ang bawat AI crawler.
Paano ako magtatakda ng rate limit para sa mga AI crawler?
Bigyan ang bawat crawler ng sariling budget sa halip na iisang limit para sa lahat ng traffic, at sagutin ng 429 ang mga request na lampas dito. Sa nginx, ginagawa ito ng module na limit_req. Hindi binibilang ang mga request na walang laman ang key, kaya ang map na nagbabalik ng key para lang sa mga user agent ng crawler ay hindi gumagalaw sa mga taong bisita. Dito, 60 request kada minuto na may burst na 20 ang nakukuha ng bawat crawler:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Ang user agent ang key dito, kaya ang sinumang kumopya sa pangalan ng isang crawler ay kahati sa budget ng crawler na iyon. Katanggap-tanggap iyon para sa rate limit. Para sa allow rule, itugma rin ang mga IP range na inilathala ng vendor.
Sa Cloudflare, ganoon din ang ginagawa ng mga rate limiting rule sa edge. Sa Free plan, isang rule ang makukuha mo, na nagbibilang kada IP sa loob ng 10 segundo, at puwedeng gamitin ng rule expression ang path at ang field na Verified Bot. Magaspang ang pagbilang kada IP para sa mga crawler na nagkakalat ng request sa maraming address, at nagdadagdag ng mas maraming opsyon sa pagbilang ang mas matataas na plan. Ang default na response ay 429, at puwede kang magtakda ng ibang 4xx code at custom na body. Nag-aalok ang AI Crawl Control ng Allow, Block at, sa private beta, Charge para sa bawat crawler, pero walang rate setting.
Anuman ang gamitin mo, ilabas ang /robots.txt sa limit. Sabi ng RFC 9309, ang server error para sa robots.txt ay nangangahulugang dapat ituring ng crawler na disallowed ang buong site, at hindi isinasama ng Google ang 429 sa mga 4xx code na itinuturing nitong nawawalang file.
Mababawasan ba ng caching ang load mula sa crawler?
Kadalasan nang mas malaki kaysa sa rate limit. Karamihan sa hinihingi ng mga crawler ay mga pampublikong pahina na pareho para sa bawat bisita, kaya ang paghahain sa mga ito mula sa CDN o page cache ay ginagawang murang hit ang mamahaling render. Tiyaking hindi nagtatabi ang cache mo ng hiwalay at hindi naka-cache na variant para sa mga user agent ng crawler.
Nakakatulong din ang mga conditional request. Sabi ng Google, sinusuportahan ng mga crawler nito ang HTTP caching gamit ang ETag at If-None-Match, at gamit ang Last-Modified at If-Modified-Since, at ginagamit ang ETag kapag naroon ang dalawa. Hindi sinasabi ng mga crawler page ng OpenAI, Anthropic at Perplexity kung nagpapadala ng conditional request ang mga crawler nila, kaya sa Google lang umasa sa tipid na iyon.
Ano ang dapat iwasan kapag pinababagal ang mga crawler?
- Pag-block sa mga IP range ng vendor sa firewall. Nagbababala ang Anthropic na puwedeng hindi ito gumana nang tama o hindi mapanatili ang opt-out, dahil pinipigilan nito ang mga bot nito na basahin ang robots.txt mo.
- Paghahain ng
5xxo429nang ilang araw. Sabi ng Google, puwedeng alisin sa index nito ang mga URL na patuloy na nagbabalik ng mga ito. - Paggamit ng bot protection bilang preno. Nagbibigay ang Bot Fight Mode ng Cloudflare ng mga computationally expensive na challenge sa mga bot at hindi ito malalaktawan gamit ang mga WAF custom rule, kaya hindi mo mae-exempt ang mga crawler na gusto mong panatilihin.
- Pag-disallow sa search crawler para makatipid sa bandwidth. Inaalis ka ng
Disallowpara saOAI-SearchBot,Claude-SearchBotoPerplexityBotsa mga sagot na pinapakain ng mga crawler na iyon.
Paano ko masusuri na nakakalusot pa rin ang mga crawler?
Madaling maitakda nang sobrang higpit ang mga rate limit. Kinukuha ng libreng pagsusuri ng AISeeWhy ang isang pahina bilang 16 na AI at search crawler katabi ng totoong browser, inilalapat ang robots.txt mo sa bawat crawler at nakikilala ang mga challenge page ng firewall, kaya lumalabas ang rule na iba ang trato sa mga crawler kaysa sa mga browser. Hindi magti-trigger ng makatwirang limit ang isang request kada crawler, at iyon mismo ang punto: patakbuhin ito pagkatapos baguhin ang mga rule para makumpirmang nakakalusot pa rin ang mga normal na request. Sinasabi sa iyo ng libreng AI crawler IP check kung talagang pag-aari ng GPTBot o ng ibang crawler ang isang IP mula sa mga log mo.
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Pagsusuri ng IP ng AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Sinusuportahan ba ng Google ang Crawl-delay?
Hindi. Inililista ng robots.txt documentation ng Google ang crawl-delay sa mga field na hindi nito sinusuportahan. Para pabagalin sandali ang Googlebot, magbalik ng 503, 500 o 429 sa ilang request; para sa mas matagal na pagbawas, nag-aalok ang Google ng espesyal na request sa pamamagitan ng Search Console.
Iginagalang ba ng ClaudeBot ang Crawl-delay?
Sabi ng Anthropic, sinusuportahan nito ang non-standard na extension na Crawl-delay. Ilagay ito sa grupong ClaudeBot at ulitin doon ang anumang rule na Disallow mula sa grupong User-agent: * mo.
Sinusuportahan ba ng GPTBot at PerplexityBot ang Crawl-delay?
Hindi binabanggit ng mga crawler page ng OpenAI at Perplexity ang Crawl-delay, kaya hindi dokumentado ang epekto nito. Gumamit ng server-side na limit na sumasagot sa sobrang request ng 429.
Masisira ba ng 429 response ang ranking ko?
Hindi kung maikling panahon lang. Dinodokumento ng Google ang 429 at 503 bilang paraan para pansamantalang bawasan ang crawling, pero nagbababala ito na puwedeng alisin sa index nito ang mga URL na nagbabalik ng mga ito nang ilang araw.
Dapat ko bang i-block ang GPTBot para mabawasan ang load?
Puwede. Sabi ng OpenAI, kinu-crawl ng GPTBot ang content na puwedeng gamitin sa training at independiyente ang bawat robots.txt setting, kaya hindi ka maaalis sa ChatGPT search, na gumagamit ng OAI-SearchBot, kapag dinisallow mo ito. Suriin muna ang mga log mo para matiyak na galing sa mga address ng OpenAI ang load.
Mga pinagmulan
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers