Jinsi ya kupunguza kasi ya crawler za AI bila kuzizuia
Weka kikomo cha kasi badala ya kuzuia. Jibu maombi ya ziada ya crawler kwa 429 au 503 pamoja na kichwa cha Retry-After, ipe kila crawler bajeti yake, weka /robots.txt nje ya kila kikomo, na uhudumie crawler kutoka cache. Crawl-delay katika robots.txt husaidia tu pale mwendeshaji anapoieleza: Anthropic na Bing hufanya hivyo, Google inasema haiiauni, na OpenAI na Perplexity haziitaji. Acha crawler za utafutaji wa AI zikiwa zimeruhusiwa, la sivyo unatoka pia katika majibu zinazoyalisha.
Crawler inapotuma maelfu ya maombi kwa saa, suluhisho la haraka ni Disallow: / au kizuizi cha firewall. Kwa crawler ya mafunzo huo unaweza kuwa uamuzi wa haki. Kwa OAI-SearchBot, Claude-SearchBot au PerplexityBot huondoa kurasa zako katika majibu ya AI unayotaka kuonekana ndani yake. Mara nyingi mzigo unaweza kupunguzwa bila kuacha hilo, kwa ishara ambazo crawler tayari zinaelewa: misimbo ya hali, cache na, kwa baadhi ya waendeshaji, Crawl-delay.
Kwenye ukurasa huu
- Ni crawler gani hasa inayosababisha mzigo?
- Je, Crawl-delay inafanya kazi kwa crawler za AI?
- Majibu ya 429 na 503 hupunguzaje kasi ya crawler?
- Nitawekaje kikomo cha kasi kwa crawler za AI?
- Je, cache inaweza kupunguza mzigo wa crawler?
- Niepuke nini ninapopunguza kasi ya crawler?
- Nitakaguaje kwamba crawler bado zinapita?
Ni crawler gani hasa inayosababisha mzigo?
Angalia kabla ya kubadilisha chochote. Hesabu maombi kwa kila user agent na kwa kila saa katika kumbukumbu zako za ufikiaji, na ukague IP za chanzo dhidi ya masafa ambayo kila mtoa huduma huchapisha; mwongozo wetu wa kukagua kumbukumbu za seva kwa crawler za AI una amri hizo. Matokeo mawili hujitokeza mara nyingi:
- Trafiki nzito inadai tu kuwa crawler ya AI. Ikiwa IP hazimo katika orodha ya mtoa huduma, sheria za crawler halisi hazitasaidia. Badala yake, weka kikomo au zuia trafiki hiyo kwa chanzo chake.
- Crawler halisi imekwama katika mtego wa upitiaji, kama kurasa za kalenda zisizo na mwisho, michanganyiko ya vichujio au vitambulisho vya kipindi katika URL. Kufunga mtego kwa sheria za
Disallowkwa njia hizo huokoa zaidi ya kikomo chochote cha kasi.
Panga pia crawler kwa kazi zao. Crawler za mafunzo kama GPTBot na ClaudeBot si zile zinazokufanya unukuliwe katika utafutaji wa AI, kwa hivyo ikiwa mojawapo ndiyo tatizo, kuizuia ni chaguo la busara. Sehemu iliyobaki ya mwongozo huu ni kwa crawler unazotaka kubaki nazo.
Je, Crawl-delay inafanya kazi kwa crawler za AI?
Crawl-delay si sehemu ya RFC 9309, kwa hivyo kila mwendeshaji huamua kama ataisoma. Hiki ndicho nyaraka zinasema kufikia Novemba 2026:
- Anthropic: inaauniwa. Ukurasa wake wa usaidizi unasema inaauni kiendelezi kisicho cha kiwango
Crawl-delayili kupunguza shughuli za upitiaji, ikitoaCrawl-delay: 1katika kikundi chaClaudeBotkama mfano. - Microsoft Bing: inaauniwa. Blogu ya wasimamizi wa wavuti ya Bing inaeleza thamani hiyo kama dirisha la muda la sekunde 1 hadi 30 ambamo
bingbothupitia ukurasa mmoja tu zaidi, na inasema kuchelewesha kwa upitiaji katika robots.txt kunatangulia mipangilio ya upitiaji katika Bing Webmaster Tools. - Google: haiauniwi. Nyaraka za Google kuhusu robots.txt zinataja
crawl-delaykama sehemu isiyoauniwa. - OpenAI na Perplexity: kurasa zao za crawler haziitaji, kwa hivyo athari yake kwa
GPTBot,OAI-SearchBotauPerplexityBothaijaelezwa.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Zingatia mantiki ya vikundi. Crawler inayopata kikundi chenye jina lake hupuuza kabisa kikundi cha User-agent: *, kwa hivyo kikundi cha ClaudeBot chenye Crawl-delay pekee kingefuta kila Disallow uliyoweka kwa wengine wote. Zirudie, kama ilivyo hapo juu. Bing inaeleza Crawl-delay kama ubaguzi inaousoma kutoka kikundi chochote kati ya hivyo viwili, lakini hupaswi kuchukulia hivyo kwa crawler nyingine.
Majibu ya 429 na 503 hupunguzaje kasi ya crawler?
Kwa vilele vya mzigo, msimbo wa hali ndiyo ishara ambayo crawler zimeundwa kuiheshimu. 429 Too Many Requests, uliofafanuliwa katika RFC 6585, unamaanisha mteja ametuma maombi mengi mno ndani ya muda fulani, na unaweza kubeba kichwa cha Retry-After kinachosema asubiri kwa muda gani. 503 Service Unavailable unasema seva haiwezi kuhimili kwa sasa.
Google inaeleza hili kama njia ya kupunguza haraka kasi ya upitiaji ya Googlebot: rudisha 500, 503 au 429 badala ya 200 kwa baadhi ya maombi ya upitiaji. Inasema hili hupunguza kasi ya upitiaji kwa jina zima la mwenyeji, na kwamba Retry-After inaweza kubeba idadi ya sekunde au tarehe.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Fanya iwe fupi. Google inashauri dhidi ya kufanya hivi kwa zaidi ya siku moja au mbili, kwa sababu URL inayorudisha misimbo hii kwa siku kadhaa inaweza kuondolewa kwenye faharasa yake. Kwa upunguzaji wa kudumu, Google inatoa badala yake ombi maalum kupitia Search Console.
OpenAI, Anthropic na Perplexity hazielezi jinsi crawler zao zinavyoitikia 429, 503 au Retry-After. Misimbo hii ni njia ya kawaida ya kuomba maombi machache, lakini kasi ambayo kila crawler ya AI hurudi nyuma si kitu unachoweza kukitafuta katika nyaraka.
Nitawekaje kikomo cha kasi kwa crawler za AI?
Ipe kila crawler bajeti yake badala ya kikomo kimoja kwa trafiki yote, na ujibu maombi yanayozidi kwa 429. Katika nginx, moduli ya limit_req hufanya hivi. Maombi yenye ufunguo mtupu hayahesabiwi, kwa hivyo map inayorudisha ufunguo kwa user agent za crawler pekee huwaacha wageni wa kibinadamu bila kuguswa. Hapa kila crawler inapata maombi 60 kwa dakika pamoja na wimbi (burst) la 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Ufunguo hapa ni user agent, kwa hivyo yeyote anayenakili jina la crawler anashiriki bajeti ya crawler hiyo. Hilo linakubalika kwa kikomo cha kasi. Kwa sheria ya kuruhusu, linganisha pia masafa ya IP yaliyochapishwa na mtoa huduma.
Kwenye Cloudflare, sheria za kikomo cha kasi hufanya kazi hiyohiyo kwenye ukingo wa mtandao. Kwenye mpango wa Free unapata sheria moja, inayohesabu kwa kila IP katika sekunde 10, na usemi wa sheria unaweza kutumia njia na sehemu ya Verified Bot. Kuhesabu kwa IP ni kugumu kwa crawler zinazosambaza maombi kwenye anwani nyingi, na mipango ya juu huongeza chaguo zaidi za kuhesabu. Jibu la msingi ni 429, na unaweza kuweka msimbo mwingine wa 4xx na maudhui maalum ya jibu. AI Crawl Control inatoa Allow, Block na, katika beta ya faragha, Charge kwa kila crawler, lakini hakuna mpangilio wa kasi.
Chochote unachotumia, weka /robots.txt nje ya kikomo. RFC 9309 inasema hitilafu ya seva kwa robots.txt inamaanisha crawler lazima ichukulie kuwa tovuti nzima imezuiwa, na Google haijumuishi 429 katika misimbo ya 4xx inayoichukulia kama faili isiyokuwepo.
Je, cache inaweza kupunguza mzigo wa crawler?
Mara nyingi zaidi ya kikomo cha kasi. Crawler kwa kiasi kikubwa huomba kurasa za umma zilizo sawa kwa kila mgeni, kwa hivyo kuzihudumia kutoka CDN au cache ya kurasa hugeuza uchoraji wa gharama kuwa upatikanaji wa bei nafuu kutoka cache. Hakikisha cache yako haihifadhi toleo tofauti lisilowekwa kwenye cache kwa user agent za crawler.
Maombi ya masharti (conditional requests) pia husaidia. Google inasema crawler zake zinaauni cache ya HTTP kwa ETag na If-None-Match, na kwa Last-Modified na If-Modified-Since, na hutumia ETag vyote viwili vinapokuwepo. Kurasa za crawler za OpenAI, Anthropic na Perplexity hazisemi kama crawler zao hutuma maombi ya masharti, kwa hivyo tegemea akiba hiyo kwa Google pekee.
Niepuke nini ninapopunguza kasi ya crawler?
- Kuzuia masafa ya IP ya mtoa huduma kwenye firewall. Anthropic inaonya kwamba huenda hili lisifanye kazi ipasavyo wala kudumisha kujiondoa, kwa sababu huzuia boti zake kusoma robots.txt yako.
- Kutoa
5xxau429kwa siku kadhaa. Google inasema URL zinazoendelea kuzirudisha zinaweza kuondolewa kwenye faharasa yake. - Kutumia kinga dhidi ya boti kama breki. Bot Fight Mode ya Cloudflare huzipa boti changamoto zinazohitaji hesabu nzito na haiwezi kurukwa kwa sheria maalum za WAF, kwa hivyo huwezi kuziondolea kizuizi crawler unazotaka kubaki nazo.
- Kuzuia crawler ya utafutaji ili kuokoa kipimo data.
DisallowkwaOAI-SearchBot,Claude-SearchBotauPerplexityBothukuondoa katika majibu ambayo crawler hizo huyalisha.
Nitakaguaje kwamba crawler bado zinapita?
Ni rahisi kuweka vikomo vya kasi kwa ubana mno. Ukaguzi wa bure wa AISeeWhy hupakua ukurasa kama crawler 16 za AI na za utafutaji kando ya kivinjari halisi, hutumia robots.txt yako kwa kila crawler na hutambua kurasa za changamoto za firewall, kwa hivyo sheria inayojibu crawler tofauti na vivinjari huonekana. Ombi moja kwa kila crawler halitavuka kikomo cha busara, na hilo ndilo lengo: uendeshe baada ya kubadilisha sheria ili kuthibitisha kwamba maombi ya kawaida bado yanapita. Ukaguzi wa bure wa IP ya crawler za AI unakuambia kama IP kutoka kumbukumbu zako kweli ni ya GPTBot au crawler nyingine.
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Ukaguzi wa IP ya crawler za AI
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Maswali yanayoulizwa mara kwa mara
Je, Google inaauni Crawl-delay?
Hapana. Nyaraka za Google kuhusu robots.txt zinaorodhesha crawl-delay miongoni mwa sehemu zisizoauniwa. Ili kupunguza kasi ya Googlebot kwa muda mfupi, rudisha 503, 500 au 429 kwa baadhi ya maombi; kwa upunguzaji wa muda mrefu, Google inatoa ombi maalum kupitia Search Console.
Je, ClaudeBot inaheshimu Crawl-delay?
Anthropic inasema inaauni kiendelezi kisicho cha kiwango Crawl-delay. Kiweke katika kikundi cha ClaudeBot na urudie hapo sheria zozote za Disallow kutoka kikundi chako cha User-agent: *.
Je, GPTBot na PerplexityBot zinaauni Crawl-delay?
Kurasa za crawler za OpenAI na Perplexity hazitaji Crawl-delay, kwa hivyo athari yake haijaelezwa. Tumia kikomo upande wa seva kinachojibu maombi ya ziada kwa 429.
Je, jibu la 429 litaathiri cheo changu?
Si kwa kipindi kifupi. Google inaeleza 429 na 503 kama njia ya kupunguza upitiaji kwa muda, lakini inaonya kwamba URL zinazozirudisha kwa siku kadhaa zinaweza kuondolewa kwenye faharasa yake.
Je, nizuie GPTBot ili kupunguza mzigo?
Unaweza. OpenAI inasema GPTBot hupitia maudhui yanayoweza kutumika kwa mafunzo na kwamba kila mpangilio wa robots.txt unajitegemea, kwa hivyo kuizuia hakukuondoi kwenye utafutaji wa ChatGPT, unaotumia OAI-SearchBot. Kagua kumbukumbu zako kwanza ili kuhakikisha mzigo unatoka kwenye anwani za OpenAI.
Vyanzo
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (cache ya HTTP)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers