Kako upočasniti pajke UI, ne da bi jih blokirali

Objavljeno

Kratek odgovor

Namesto blokiranja omejite hitrost. Na odvečne zahteve pajkov odgovorite z 429 ali 503 in glavo Retry-After, vsakemu pajku dajte lasten proračun, /robots.txt izvzemite iz vseh omejitev in pajkom strezite iz predpomnilnika. Crawl-delay v robots.txt pomaga le tam, kjer ga upravljavec dokumentira: Anthropic in Bing ga dokumentirata, Google navaja, da ga ne podpira, OpenAI in Perplexity pa ga ne omenjata. Iskalne pajke UI pustite dovoljene, sicer izginete tudi iz odgovorov, ki jih napajajo.

Ko pajek pošlje na tisoče zahtev na uro, je hitra rešitev Disallow: / ali blokada v požarnem zidu. Za pajka za učenje je to lahko poštena izbira. Pri OAI-SearchBot, Claude-SearchBot ali PerplexityBot pa vaše strani odstrani iz odgovorov UI, v katerih se želite pojavljati. Večinoma je obremenitev mogoče zmanjšati brez te izgube, s signali, ki jih pajki že razumejo: statusnimi kodami, predpomnjenjem in pri nekaterih upravljavcih s Crawl-delay.

Na tej strani
  1. Kateri pajek dejansko povzroča obremenitev?
  2. Ali Crawl-delay deluje za pajke UI?
  3. Kako odgovora 429 in 503 upočasnita pajke?
  4. Kako nastavim omejitev zahtev za pajke UI?
  5. Ali predpomnjenje lahko zmanjša obremenitev s pajki?
  6. Čemu se izogniti pri upočasnjevanju pajkov?
  7. Kako preverim, da pajki še vedno pridejo skozi?

Kateri pajek dejansko povzroča obremenitev?

Preden kar koli spremenite, poglejte. V dnevnikih dostopa preštejte zahteve po uporabniškem agentu in po urah ter izvorne IP-je preverite glede na obsege, ki jih objavlja vsak ponudnik; ukaze najdete v našem vodniku za iskanje pajkov UI v dnevnikih strežnika. Pogosto se pokažeta dve ugotovitvi:

Pajke razvrstite tudi po nalogi. Pajki za učenje, kot sta GPTBot in ClaudeBot, niso tisti, zaradi katerih vas lahko iskanje z UI citira, zato je prepoved, če je težava eden od njih, razumna možnost. Preostanek tega vodnika je namenjen pajkom, ki jih želite obdržati.

Ali Crawl-delay deluje za pajke UI?

Crawl-delay ni del RFC 9309, zato se vsak upravljavec sam odloči, ali ga bo bral. Dokumentacija novembra 2026 pravi tole:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Pazite na logiko skupin. Pajek, ki najde skupino s svojim imenom, skupino User-agent: * v celoti prezre, zato bi skupina ClaudeBot, ki vsebuje le Crawl-delay, odpravila vse Disallow, ki ste jih nastavili za vse druge. Ponovite jih, kot zgoraj. Bing Crawl-delay opisuje kot izjemo, ki jo bere iz katere koli skupine, a tega za druge pajke ne domnevajte.

Kako odgovora 429 in 503 upočasnita pajke?

Pri vrhovih obremenitve je statusna koda signal, ki naj bi ga pajki upoštevali. 429 Too Many Requests, opredeljen v RFC 6585, pomeni, da je odjemalec v danem času poslal preveč zahtev, in lahko vsebuje glavo Retry-After, ki pove, koliko časa naj počaka. 503 Service Unavailable pove, da strežnik trenutno ne zmore.

Google to dokumentira kot način za hitro zmanjšanje hitrosti pregledovanja z Googlebotom: na del zahtev za pregledovanje namesto 200 vrnite 500, 503 ali 429. Navaja, da to zmanjša hitrost pregledovanja za celotno ime gostitelja in da Retry-After lahko vsebuje število sekund ali datum.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Naj traja kratko. Google odsvetuje, da bi to počeli dlje kot dan ali dva, ker lahko URL, ki te kode vrača več dni, izpade iz njegovega indeksa. Za trajno zmanjšanje Google namesto tega ponuja posebno zahtevo prek Search Console.

OpenAI, Anthropic in Perplexity ne dokumentirajo, kako se njihovi pajki odzovejo na 429, 503 ali Retry-After. Kode so standardni način, da prosite za manj, a kako hitro posamezni pajek UI upočasni, ni nikjer zapisano.

Kako nastavim omejitev zahtev za pajke UI?

Namesto ene omejitve za ves promet dajte vsakemu pajku lasten proračun in na zahteve nad njim odgovorite z 429. V nginx to naredi modul limit_req. Zahteve s praznim ključem se ne štejejo, zato map, ki ključ vrne le za uporabniške agente pajkov, človeških obiskovalcev ne prizadene. Tu dobi vsak pajek 60 zahtev na minuto z rafalom 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Ključ je tu uporabniški agent, zato si vsak, ki kopira ime pajka, deli proračun tega pajka. Za omejitev zahtev je to sprejemljivo. Za pravilo za dovolitev preverjajte tudi objavljene obsege IP ponudnika.

V Cloudflaru isto delo na robu omrežja opravijo pravila rate limiting. V paketu Free dobite eno pravilo, ki šteje po IP v 10 sekundah, izraz pravila pa lahko uporabi pot in polje Verified Bot. Štetje po IP je grobo za pajke, ki zahteve razpršijo po več naslovih, višji paketi pa dodajo več možnosti štetja. Privzeti odgovor je 429, nastavite pa lahko drugo kodo 4xx in telo po meri. AI Crawl Control za vsakega pajka ponuja Allow, Block in v zasebni beta različici Charge, nastavitve hitrosti pa ne.

Ne glede na to, kaj uporabite, /robots.txt izvzemite iz omejitve. RFC 9309 pravi, da napaka strežnika za robots.txt pomeni, da mora pajek domnevati, da je prepovedano celotno mesto, Google pa 429 izključi iz kod 4xx, ki jih obravnava kot manjkajočo datoteko.

Ali predpomnjenje lahko zmanjša obremenitev s pajki?

Pogosto bolj kot omejitev zahtev. Pajki večinoma zahtevajo javne strani, ki so enake za vsakega obiskovalca, zato njihovo streženje iz CDN ali predpomnilnika strani drago izrisovanje spremeni v poceni zadetke. Preverite, da vaš predpomnilnik za uporabniške agente pajkov ne hrani ločene, nepredpomnjene različice.

Pomagajo tudi pogojne zahteve. Google navaja, da njegovi pajki podpirajo predpomnjenje HTTP z ETag in If-None-Match ter z Last-Modified in If-Modified-Since in da uporabijo ETag, ko sta prisotna oba. Strani o pajkih OpenAI, Anthropic in Perplexity ne navajajo, ali njihovi pajki pošiljajo pogojne zahteve, zato na ta prihranek računajte le pri Googlu.

Čemu se izogniti pri upočasnjevanju pajkov?

Kako preverim, da pajki še vedno pridejo skozi?

Omejitve zahtev je lahko nastaviti prestrogo. Brezplačna analiza AISeeWhy stran zahteva kot 16 pajkov UI in iskalnikov ob pravem brskalniku, za vsakega pajka uporabi vaš robots.txt in prepozna strani z izzivom požarnega zidu, zato se pravilo, ki pajkom odgovarja drugače kot brskalnikom, pokaže. Ena zahteva na pajka razumne omejitve ne sproži, in prav to je bistvo: zaženite jo po spremembi pravil in potrdite, da običajne zahteve še vedno prehajajo. Brezplačno preverjanje IP pajkov UI vam pove, ali IP iz vaših dnevnikov res pripada GPTBot ali drugemu pajku.

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Pogosta vprašanja

Ali Google podpira Crawl-delay?

Ne. Googlova dokumentacija za robots.txt crawl-delay navaja med polji, ki jih ne podpira. Če želite Googlebot za kratek čas upočasniti, na del zahtev vrnite 503, 500 ali 429; za daljše zmanjšanje Google ponuja posebno zahtevo prek Search Console.

Ali ClaudeBot upošteva Crawl-delay?

Anthropic navaja, da podpira nestandardno razširitev Crawl-delay. Postavite jo v skupino ClaudeBot in tam ponovite vsa pravila Disallow iz skupine User-agent: *.

Ali GPTBot in PerplexityBot podpirata Crawl-delay?

Strani o pajkih OpenAI in Perplexity Crawl-delay ne omenjajo, zato njegov učinek ni dokumentiran. Uporabite omejitev na strežniku, ki na odvečne zahteve odgovori z 429.

Ali odgovor 429 škodi mojim uvrstitvam?

Za kratek čas ne. Google 429 in 503 dokumentira kot način za začasno zmanjšanje pregledovanja, a opozarja, da lahko URL-ji, ki ju vračajo več dni, izpadejo iz njegovega indeksa.

Ali naj blokiram GPTBot, da zmanjšam obremenitev?

Lahko. OpenAI navaja, da GPTBot pregleduje vsebino, ki se lahko uporabi za učenje, in da je vsaka nastavitev robots.txt neodvisna, zato vas njegova prepoved ne odstrani iz iskanja v ChatGPT, ki uporablja OAI-SearchBot. Najprej v dnevnikih preverite, da obremenitev res prihaja z naslovov OpenAI.

Viri

Več člankov