Jinsi ya kupunguza kasi ya crawler za AI bila kuzizuia

Imechapishwa

Jibu fupi

Weka kikomo cha kasi badala ya kuzuia. Jibu maombi ya ziada ya crawler kwa 429 au 503 pamoja na kichwa cha Retry-After, ipe kila crawler bajeti yake, weka /robots.txt nje ya kila kikomo, na uhudumie crawler kutoka cache. Crawl-delay katika robots.txt husaidia tu pale mwendeshaji anapoieleza: Anthropic na Bing hufanya hivyo, Google inasema haiiauni, na OpenAI na Perplexity haziitaji. Acha crawler za utafutaji wa AI zikiwa zimeruhusiwa, la sivyo unatoka pia katika majibu zinazoyalisha.

Crawler inapotuma maelfu ya maombi kwa saa, suluhisho la haraka ni Disallow: / au kizuizi cha firewall. Kwa crawler ya mafunzo huo unaweza kuwa uamuzi wa haki. Kwa OAI-SearchBot, Claude-SearchBot au PerplexityBot huondoa kurasa zako katika majibu ya AI unayotaka kuonekana ndani yake. Mara nyingi mzigo unaweza kupunguzwa bila kuacha hilo, kwa ishara ambazo crawler tayari zinaelewa: misimbo ya hali, cache na, kwa baadhi ya waendeshaji, Crawl-delay.

Kwenye ukurasa huu
  1. Ni crawler gani hasa inayosababisha mzigo?
  2. Je, Crawl-delay inafanya kazi kwa crawler za AI?
  3. Majibu ya 429 na 503 hupunguzaje kasi ya crawler?
  4. Nitawekaje kikomo cha kasi kwa crawler za AI?
  5. Je, cache inaweza kupunguza mzigo wa crawler?
  6. Niepuke nini ninapopunguza kasi ya crawler?
  7. Nitakaguaje kwamba crawler bado zinapita?

Ni crawler gani hasa inayosababisha mzigo?

Angalia kabla ya kubadilisha chochote. Hesabu maombi kwa kila user agent na kwa kila saa katika kumbukumbu zako za ufikiaji, na ukague IP za chanzo dhidi ya masafa ambayo kila mtoa huduma huchapisha; mwongozo wetu wa kukagua kumbukumbu za seva kwa crawler za AI una amri hizo. Matokeo mawili hujitokeza mara nyingi:

Panga pia crawler kwa kazi zao. Crawler za mafunzo kama GPTBot na ClaudeBot si zile zinazokufanya unukuliwe katika utafutaji wa AI, kwa hivyo ikiwa mojawapo ndiyo tatizo, kuizuia ni chaguo la busara. Sehemu iliyobaki ya mwongozo huu ni kwa crawler unazotaka kubaki nazo.

Je, Crawl-delay inafanya kazi kwa crawler za AI?

Crawl-delay si sehemu ya RFC 9309, kwa hivyo kila mwendeshaji huamua kama ataisoma. Hiki ndicho nyaraka zinasema kufikia Novemba 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Zingatia mantiki ya vikundi. Crawler inayopata kikundi chenye jina lake hupuuza kabisa kikundi cha User-agent: *, kwa hivyo kikundi cha ClaudeBot chenye Crawl-delay pekee kingefuta kila Disallow uliyoweka kwa wengine wote. Zirudie, kama ilivyo hapo juu. Bing inaeleza Crawl-delay kama ubaguzi inaousoma kutoka kikundi chochote kati ya hivyo viwili, lakini hupaswi kuchukulia hivyo kwa crawler nyingine.

Majibu ya 429 na 503 hupunguzaje kasi ya crawler?

Kwa vilele vya mzigo, msimbo wa hali ndiyo ishara ambayo crawler zimeundwa kuiheshimu. 429 Too Many Requests, uliofafanuliwa katika RFC 6585, unamaanisha mteja ametuma maombi mengi mno ndani ya muda fulani, na unaweza kubeba kichwa cha Retry-After kinachosema asubiri kwa muda gani. 503 Service Unavailable unasema seva haiwezi kuhimili kwa sasa.

Google inaeleza hili kama njia ya kupunguza haraka kasi ya upitiaji ya Googlebot: rudisha 500, 503 au 429 badala ya 200 kwa baadhi ya maombi ya upitiaji. Inasema hili hupunguza kasi ya upitiaji kwa jina zima la mwenyeji, na kwamba Retry-After inaweza kubeba idadi ya sekunde au tarehe.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Fanya iwe fupi. Google inashauri dhidi ya kufanya hivi kwa zaidi ya siku moja au mbili, kwa sababu URL inayorudisha misimbo hii kwa siku kadhaa inaweza kuondolewa kwenye faharasa yake. Kwa upunguzaji wa kudumu, Google inatoa badala yake ombi maalum kupitia Search Console.

OpenAI, Anthropic na Perplexity hazielezi jinsi crawler zao zinavyoitikia 429, 503 au Retry-After. Misimbo hii ni njia ya kawaida ya kuomba maombi machache, lakini kasi ambayo kila crawler ya AI hurudi nyuma si kitu unachoweza kukitafuta katika nyaraka.

Nitawekaje kikomo cha kasi kwa crawler za AI?

Ipe kila crawler bajeti yake badala ya kikomo kimoja kwa trafiki yote, na ujibu maombi yanayozidi kwa 429. Katika nginx, moduli ya limit_req hufanya hivi. Maombi yenye ufunguo mtupu hayahesabiwi, kwa hivyo map inayorudisha ufunguo kwa user agent za crawler pekee huwaacha wageni wa kibinadamu bila kuguswa. Hapa kila crawler inapata maombi 60 kwa dakika pamoja na wimbi (burst) la 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Ufunguo hapa ni user agent, kwa hivyo yeyote anayenakili jina la crawler anashiriki bajeti ya crawler hiyo. Hilo linakubalika kwa kikomo cha kasi. Kwa sheria ya kuruhusu, linganisha pia masafa ya IP yaliyochapishwa na mtoa huduma.

Kwenye Cloudflare, sheria za kikomo cha kasi hufanya kazi hiyohiyo kwenye ukingo wa mtandao. Kwenye mpango wa Free unapata sheria moja, inayohesabu kwa kila IP katika sekunde 10, na usemi wa sheria unaweza kutumia njia na sehemu ya Verified Bot. Kuhesabu kwa IP ni kugumu kwa crawler zinazosambaza maombi kwenye anwani nyingi, na mipango ya juu huongeza chaguo zaidi za kuhesabu. Jibu la msingi ni 429, na unaweza kuweka msimbo mwingine wa 4xx na maudhui maalum ya jibu. AI Crawl Control inatoa Allow, Block na, katika beta ya faragha, Charge kwa kila crawler, lakini hakuna mpangilio wa kasi.

Chochote unachotumia, weka /robots.txt nje ya kikomo. RFC 9309 inasema hitilafu ya seva kwa robots.txt inamaanisha crawler lazima ichukulie kuwa tovuti nzima imezuiwa, na Google haijumuishi 429 katika misimbo ya 4xx inayoichukulia kama faili isiyokuwepo.

Je, cache inaweza kupunguza mzigo wa crawler?

Mara nyingi zaidi ya kikomo cha kasi. Crawler kwa kiasi kikubwa huomba kurasa za umma zilizo sawa kwa kila mgeni, kwa hivyo kuzihudumia kutoka CDN au cache ya kurasa hugeuza uchoraji wa gharama kuwa upatikanaji wa bei nafuu kutoka cache. Hakikisha cache yako haihifadhi toleo tofauti lisilowekwa kwenye cache kwa user agent za crawler.

Maombi ya masharti (conditional requests) pia husaidia. Google inasema crawler zake zinaauni cache ya HTTP kwa ETag na If-None-Match, na kwa Last-Modified na If-Modified-Since, na hutumia ETag vyote viwili vinapokuwepo. Kurasa za crawler za OpenAI, Anthropic na Perplexity hazisemi kama crawler zao hutuma maombi ya masharti, kwa hivyo tegemea akiba hiyo kwa Google pekee.

Niepuke nini ninapopunguza kasi ya crawler?

Nitakaguaje kwamba crawler bado zinapita?

Ni rahisi kuweka vikomo vya kasi kwa ubana mno. Ukaguzi wa bure wa AISeeWhy hupakua ukurasa kama crawler 16 za AI na za utafutaji kando ya kivinjari halisi, hutumia robots.txt yako kwa kila crawler na hutambua kurasa za changamoto za firewall, kwa hivyo sheria inayojibu crawler tofauti na vivinjari huonekana. Ombi moja kwa kila crawler halitavuka kikomo cha busara, na hilo ndilo lengo: uendeshe baada ya kubadilisha sheria ili kuthibitisha kwamba maombi ya kawaida bado yanapita. Ukaguzi wa bure wa IP ya crawler za AI unakuambia kama IP kutoka kumbukumbu zako kweli ni ya GPTBot au crawler nyingine.

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Maswali yanayoulizwa mara kwa mara

Je, Google inaauni Crawl-delay?

Hapana. Nyaraka za Google kuhusu robots.txt zinaorodhesha crawl-delay miongoni mwa sehemu zisizoauniwa. Ili kupunguza kasi ya Googlebot kwa muda mfupi, rudisha 503, 500 au 429 kwa baadhi ya maombi; kwa upunguzaji wa muda mrefu, Google inatoa ombi maalum kupitia Search Console.

Je, ClaudeBot inaheshimu Crawl-delay?

Anthropic inasema inaauni kiendelezi kisicho cha kiwango Crawl-delay. Kiweke katika kikundi cha ClaudeBot na urudie hapo sheria zozote za Disallow kutoka kikundi chako cha User-agent: *.

Je, GPTBot na PerplexityBot zinaauni Crawl-delay?

Kurasa za crawler za OpenAI na Perplexity hazitaji Crawl-delay, kwa hivyo athari yake haijaelezwa. Tumia kikomo upande wa seva kinachojibu maombi ya ziada kwa 429.

Je, jibu la 429 litaathiri cheo changu?

Si kwa kipindi kifupi. Google inaeleza 429 na 503 kama njia ya kupunguza upitiaji kwa muda, lakini inaonya kwamba URL zinazozirudisha kwa siku kadhaa zinaweza kuondolewa kwenye faharasa yake.

Je, nizuie GPTBot ili kupunguza mzigo?

Unaweza. OpenAI inasema GPTBot hupitia maudhui yanayoweza kutumika kwa mafunzo na kwamba kila mpangilio wa robots.txt unajitegemea, kwa hivyo kuizuia hakukuondoi kwenye utafutaji wa ChatGPT, unaotumia OAI-SearchBot. Kagua kumbukumbu zako kwanza ili kuhakikisha mzigo unatoka kwenye anwani za OpenAI.

Vyanzo

Makala zaidi