Kuidas AI-roboteid aeglustada neid blokeerimata
Piira kiirust, selle asemel et blokeerida. Vasta robotite liigsetele päringutele koodiga 429 või 503 ja päisega Retry-After, anna igale robotile oma limiit, jäta /robots.txt igast piirangust välja ja serveeri roboteid vahemälust. Crawl-delay robots.txt-s aitab ainult seal, kus haldaja seda dokumenteerib: Anthropic ja Bing teevad seda, Google ütleb, et ei toeta seda, ning OpenAI ja Perplexity seda ei maini. Hoia AI-otsingurobotid lubatuna, muidu kaod ka vastustest, mida nad toidavad.
Kui robot saadab tuhandeid päringuid tunnis, on kiire lahendus Disallow: / või blokeering tulemüüris. Treeningroboti puhul võib see olla mõistlik valik. OAI-SearchBot-i, Claude-SearchBot-i või PerplexityBot-i puhul eemaldab see sinu lehed AI-vastustest, kus sa tahad olla. Enamasti saab koormust vähendada sellest loobumata, signaalidega, mida robotid juba mõistavad: olekukoodid, vahemälu ja mõne haldaja puhul Crawl-delay.
Sellel lehel
- Milline robot koormust tegelikult tekitab?
- Kas Crawl-delay töötab AI-robotite puhul?
- Kuidas aeglustavad vastused 429 ja 503 roboteid?
- Kuidas seada AI-robotitele päringute piirang?
- Kas vahemälu saab robotite koormust vähendada?
- Mida peaksin robotite aeglustamisel vältima?
- Kuidas kontrollida, et robotid ikka läbi pääsevad?
Milline robot koormust tegelikult tekitab?
Vaata enne, kui midagi muudad. Loe oma juurdepääsulogides päringuid user agent'i ja tunni kaupa ning kontrolli lähte-IP-sid iga pakkuja avaldatud vahemike järgi; meie juhendis AI-robotite otsimiseks serveri logidest on käsud olemas. Kaks leidu tulevad sageli ette:
- Raske liiklus ainult väidab end olevat AI-robot. Kui IP-sid pakkuja loendis pole, ei aita päris roboti reeglid. Piira või blokeeri seda liiklust hoopis päritolu järgi.
- Päris robot on jäänud roomamislõksu, näiteks lõputud kalendrilehed, filtrikombinatsioonid või seansi-ID-d URL-ides. Lõksu sulgemine nende teede
Disallow-reeglitega säästab rohkem kui ükski kiirusepiirang.
Jaota robotid ka ülesande järgi. Treeningrobotid nagu GPTBot ja ClaudeBot ei ole need, mis teevad sind AI-otsingus viidatavaks, nii et kui probleem on mõnes neist, on selle keelamine mõistlik valik. Ülejäänud juhend on robotite jaoks, keda tahad alles hoida.
Kas Crawl-delay töötab AI-robotite puhul?
Crawl-delay ei kuulu RFC 9309 hulka, nii et iga haldaja otsustab ise, kas seda lugeda. Dokumentatsioon ütleb 2026. aasta novembri seisuga järgmist:
- Anthropic: toetatud. Tema abileht ütleb, et toetab roomamistegevuse piiramiseks mittestandardset laiendust
Crawl-delay, näiteksCrawl-delay: 1ClaudeBot-i rühmas. - Microsoft Bing: toetatud. Bingi veebihaldurite blogi kirjeldab väärtust kui 1–30-sekundilist ajaakent, mille jooksul
bingbotroomab kõige rohkem ühe lehe, ja ütleb, et robots.txt crawl delay kaalub üles roomamisseaded Bing Webmaster Toolsis. - Google: ei ole toetatud. Google'i robots.txt dokumentatsioon nimetab
crawl-delayvälja, mida ta ei toeta. - OpenAI ja Perplexity: nende robotite lehed seda ei maini, nii et selle mõju
GPTBot-ile,OAI-SearchBot-ile võiPerplexityBot-ile pole dokumenteeritud.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Jälgi rühmade loogikat. Robot, kes leiab oma nimega rühma, eirab rühma User-agent: * täielikult, nii et ClaudeBot-i rühm, milles on ainult Crawl-delay, tühistaks kõik Disallow-read, mille kõigile teistele seadsid. Korda neid, nagu ülal. Bing kirjeldab Crawl-delay-d erandina, mida ta loeb kummastki rühmast, kuid teiste robotite puhul ei tohiks seda eeldada.
Kuidas aeglustavad vastused 429 ja 503 roboteid?
Koormuse tippude puhul on olekukood signaal, mida robotid on loodud austama. 429 Too Many Requests, mis on määratletud RFC 6585-s, tähendab, et klient saatis antud aja jooksul liiga palju päringuid, ja võib sisaldada päist Retry-After, mis ütleb, kui kaua oodata. 503 Service Unavailable ütleb, et server ei tule praegu toime.
Google dokumenteerib seda kui viisi Googleboti roomamiskiirust kiiresti vähendada: tagasta mõnele roomamispäringule 200 asemel 500, 503 või 429. Ta ütleb, et see vähendab roomamiskiirust kogu hostinime jaoks ja et Retry-After võib sisaldada sekundite arvu või kuupäeva.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Hoia see lühike. Google ei soovita seda teha kauem kui üks või kaks päeva, sest URL, mis tagastab neid koode mitu päeva, võidakse tema indeksist eemaldada. Püsivaks vähendamiseks pakub Google selle asemel eritaotlust Search Console'i kaudu.
OpenAI, Anthropic ja Perplexity ei dokumenteeri, kuidas nende robotid reageerivad koodidele 429, 503 või päisele Retry-After. Need koodid on standardne viis vähem paluda, kuid seda, kui kiiresti iga AI-robot tagasi tõmbub, ei saa kusagilt järele vaadata.
Kuidas seada AI-robotitele päringute piirang?
Anna igale robotile oma limiit, selle asemel et kogu liiklusele üks piirang seada, ja vasta seda ületavatele päringutele koodiga 429. nginxis teeb seda moodul limit_req. Tühja võtmega päringuid ei loeta, nii et map, mis tagastab võtme ainult robotite user agent'ide jaoks, jätab inimkülastajad rahule. Siin saab iga robot 60 päringut minutis 20-päringulise pursuga:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Võtmeks on siin user agent, nii et igaüks, kes roboti nime kopeerib, jagab selle roboti limiiti. Kiirusepiirangu puhul on see vastuvõetav. Lubamisreegli puhul kontrolli ka pakkuja avaldatud IP-vahemikke.
Cloudflare'is teevad sama tööd servas päringute piiramise reeglid (rate limiting rules). Free-paketis on üks reegel, mis loeb IP kaupa 10 sekundi jooksul, ja reegli avaldis võib kasutada teed ja välja Verified Bot. IP kaupa lugemine on jäme robotite puhul, mis jaotavad päringud paljude aadresside vahel, ja kõrgemad paketid lisavad rohkem loendusvõimalusi. Vaikevastus on 429 ning saad määrata muu 4xx-koodi ja kohandatud sisu. AI Crawl Control pakub iga roboti jaoks valikuid Allow, Block ja privaatses beetas Charge, kuid kiiruseseadet mitte.
Mida iganes kasutad, jäta /robots.txt piirangust välja. RFC 9309 ütleb, et serveri viga robots.txt puhul tähendab, et robot peab eeldama, et kogu sait on keelatud, ja Google jätab 429 välja 4xx-koodide hulgast, mida ta käsitleb puuduva failina.
Kas vahemälu saab robotite koormust vähendada?
Sageli rohkem kui kiirusepiirang. Robotid küsivad peamiselt avalikke lehti, mis on kõigile külastajatele samad, nii et nende serveerimine CDN-ist või lehevahemälust muudab kulukad renderdused odavateks tabamusteks. Kontrolli, et sinu vahemälu ei hoiaks robotite user agent'ide jaoks eraldi vahemällu salvestamata varianti.
Aitavad ka tingimuslikud päringud. Google ütleb, et tema robotid toetavad HTTP-vahemälu päistega ETag ja If-None-Match ning Last-Modified ja If-Modified-Since ning kasutavad ETag-i, kui mõlemad on olemas. OpenAI, Anthropicu ja Perplexity robotite lehed ei ütle, kas nende robotid saadavad tingimuslikke päringuid, nii et arvesta selle säästuga ainult Google'i puhul.
Mida peaksin robotite aeglustamisel vältima?
- Pakkuja IP-vahemike blokeerimist tulemüüris. Anthropic hoiatab, et see ei pruugi õigesti töötada ega loobumist jõus hoida, sest see takistab tema robotitel sinu robots.txt-d lugemast.
5xxvõi429serveerimist päevade kaupa. Google ütleb, et URL-id, mis neid pidevalt tagastavad, võidakse tema indeksist eemaldada.- Robotikaitse kasutamist pidurina. Cloudflare'i Bot Fight Mode esitab robotitele arvutuslikult kulukaid väljakutseid ja seda ei saa WAF-i kohandatud reeglitega vahele jätta, nii et sa ei saa välja arvata roboteid, keda tahad alles hoida.
- Otsinguroboti keelamist ribalaiuse säästmiseks.
DisallowOAI-SearchBot-ile,Claude-SearchBot-ile võiPerplexityBot-ile viib sind välja vastustest, mida need robotid toidavad.
Kuidas kontrollida, et robotid ikka läbi pääsevad?
Päringute piiranguid on lihtne liiga rangeks seada. AISeeWhy tasuta kontroll laadib lehe 16 AI- ja otsingurobotina päris brauseri kõrval, rakendab sinu robots.txt-d roboti kaupa ja tuvastab tulemüüri kontrollilehed, nii et iga reegel, mis vastab robotitele teisiti kui brauseritele, tuleb nähtavale. Üks päring roboti kohta ei käivita mõistlikku piirangut, ja see ongi mõte: käivita kontroll pärast reeglite muutmist, et kinnitada, et tavalised päringud pääsevad endiselt läbi. Tasuta AI-robotite IP-kontroll ütleb, kas sinu logides olev IP kuulub tõesti GPTBot-ile või mõnele teisele robotile.
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- AI-robotite IP kontroll
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kas Google toetab Crawl-delay'd?
Ei. Google'i robots.txt dokumentatsioon loetleb crawl-delay väljade hulgas, mida ta ei toeta. Googleboti lühiajaliseks aeglustamiseks tagasta mõnele päringule 503, 500 või 429; pikemaks vähendamiseks pakub Google eritaotlust Search Console'i kaudu.
Kas ClaudeBot järgib Crawl-delay'd?
Anthropic ütleb, et toetab mittestandardset laiendust Crawl-delay. Pane see ClaudeBot-i rühma ja korda seal oma User-agent: * rühma Disallow-reegleid.
Kas GPTBot ja PerplexityBot toetavad Crawl-delay'd?
OpenAI ja Perplexity robotite lehed ei maini Crawl-delay-d, nii et selle mõju pole dokumenteeritud. Kasuta serveripoolset piirangut, mis vastab liigsetele päringutele koodiga 429.
Kas vastus 429 kahjustab mu positsioone otsingus?
Lühikese aja jooksul mitte. Google dokumenteerib koode 429 ja 503 kui viisi roomamist ajutiselt vähendada, kuid hoiatab, et URL-id, mis tagastavad neid mitu päeva, võidakse tema indeksist eemaldada.
Kas peaksin koormuse vähendamiseks GPTBoti blokeerima?
Võid. OpenAI ütleb, et GPTBot roomab sisu, mida võidakse kasutada treenimiseks, ja et iga robots.txt seade on sõltumatu, nii et selle keelamine ei eemalda sind ChatGPT otsingust, mis kasutab OAI-SearchBot-i. Kontrolli enne oma logisid, et veenduda, et koormus tuleb OpenAI aadressidelt.
Allikad
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers