Miten hidastat tekoälycrawlereita estämättä niitä
Rajoita nopeutta estämisen sijaan. Vastaa crawlerien ylimääräisiin pyyntöihin koodilla 429 tai 503 ja Retry-After-otsakkeella, anna jokaiselle crawlerille oma kiintiönsä, pidä /robots.txt kaikkien rajoitusten ulkopuolella ja tarjoa sivut crawlereille välimuistista. robots.txt:n Crawl-delay auttaa vain, jos ylläpitäjä dokumentoi sen: Anthropic ja Bing dokumentoivat, Google sanoo, ettei tue sitä, eivätkä OpenAI ja Perplexity mainitse sitä. Pidä tekoälyhakucrawlerit sallittuina, muuten putoat myös niiden ruokkimista vastauksista.
Kun crawler lähettää tuhansia pyyntöjä tunnissa, nopea ratkaisu on Disallow: / tai palomuuriesto. Koulutuscrawlerin kohdalla se voi olla perusteltu valinta. Crawlereiden OAI-SearchBot, Claude-SearchBot tai PerplexityBot kohdalla se poistaa sivusi juuri niistä tekoälyvastauksista, joissa haluat näkyä. Useimmiten kuormaa voi vähentää luopumatta siitä, signaaleilla, jotka crawlerit jo ymmärtävät: tilakoodeilla, välimuistilla ja joidenkin ylläpitäjien kohdalla Crawl-delay-säännöllä.
Tällä sivulla
- Mikä crawler oikeasti aiheuttaa kuorman?
- Toimiiko Crawl-delay tekoälycrawlereille?
- Miten 429- ja 503-vastaukset hidastavat crawlereita?
- Miten asetan nopeusrajoituksen tekoälycrawlereille?
- Voiko välimuisti vähentää crawlerien kuormaa?
- Mitä kannattaa välttää crawlereita hidastaessa?
- Miten tarkistan, että crawlerit pääsevät yhä läpi?
Mikä crawler oikeasti aiheuttaa kuorman?
Katso ennen kuin muutat mitään. Laske käyttölokeista pyynnöt user agentin ja tunnin mukaan ja vertaa lähde-IP:itä kunkin toimittajan julkaisemiin alueisiin; oppaassamme tekoälycrawlerien etsimisestä palvelinlokeista on komennot. Kaksi havaintoa toistuu usein:
- Raskas liikenne vain väittää olevansa tekoälycrawler. Jos IP:t eivät ole toimittajan luettelossa, oikeaa crawleria koskevat säännöt eivät auta. Rajoita tai estä tämä liikenne sen sijaan alkuperän perusteella.
- Oikea crawler on jumissa indeksointiloukussa, kuten loputtomissa kalenterisivuissa, suodatinyhdistelmissä tai URL-osoitteiden istuntotunnisteissa. Loukun sulkeminen
Disallow-säännöillä näille poluille säästää enemmän kuin mikään nopeusrajoitus.
Lajittele crawlerit myös tehtävän mukaan. Koulutuscrawlerit, kuten GPTBot ja ClaudeBot, eivät ole niitä, jotka tekevät sinusta lainattavan tekoälyhaussa, joten jos ongelma on jokin niistä, sen estäminen on järkevä vaihtoehto. Tämän oppaan loppuosa koskee crawlereita, jotka haluat pitää.
Toimiiko Crawl-delay tekoälycrawlereille?
Crawl-delay ei kuulu RFC 9309:ään, joten kukin ylläpitäjä päättää, lukeeko se sen. Dokumentaatio sanoo marraskuussa 2026 seuraavaa:
- Anthropic: tuettu. Sen ohjesivun mukaan se tukee epästandardia
Crawl-delay-laajennusta indeksoinnin rajoittamiseen, ja esimerkkinä onCrawl-delay: 1ClaudeBot-ryhmässä. - Microsoft Bing: tuettu. Bingin webmaster-blogi kuvaa arvon 1–30 sekunnin aikaikkunaksi, jonka aikana
bingbotindeksoi enintään yhden sivun, ja kertoo, että robots.txt:n crawl delay ohittaa Bing Webmaster Toolsin indeksointiasetukset. - Google: ei tuettu. Googlen robots.txt-dokumentaatio mainitsee
crawl-delayn kenttänä, jota se ei tue. - OpenAI ja Perplexity: niiden crawler-sivut eivät mainitse sitä, joten sen vaikutus crawlereihin
GPTBot,OAI-SearchBottaiPerplexityBoton dokumentoimaton.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Huomaa ryhmälogiikka. Crawler, joka löytää omalla nimellään olevan ryhmän, jättää ryhmän User-agent: * kokonaan huomiotta, joten ClaudeBot-ryhmä, jossa on pelkkä Crawl-delay, pudottaisi pois jokaisen kaikille muille asettamasi Disallow-säännön. Toista ne, kuten yllä. Bing kuvaa Crawl-delayn poikkeukseksi, jonka se lukee kummasta tahansa ryhmästä, mutta muiden crawlerien kohdalla sitä ei pidä olettaa.
Miten 429- ja 503-vastaukset hidastavat crawlereita?
Kuormapiikeissä tilakoodi on signaali, jota crawlerit on rakennettu kunnioittamaan. RFC 6585:ssä määritelty 429 Too Many Requests tarkoittaa, että asiakas lähetti liikaa pyyntöjä tietyssä ajassa, ja siinä voi olla Retry-After-otsake, joka kertoo, kauanko odottaa. 503 Service Unavailable kertoo, ettei palvelin juuri nyt selviä kuormasta.
Google dokumentoi tämän tavaksi vähentää Googlebotin indeksointitahtia nopeasti: palauta osaan indeksointipyynnöistä 500, 503 tai 429 koodin 200 sijaan. Sen mukaan tämä laskee indeksointitahtia koko isäntänimelle, ja Retry-After voi sisältää sekuntimäärän tai päivämäärän.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Pidä se lyhyenä. Google ei suosittele tekemään tätä yhtä tai kahta päivää kauempaa, koska useita päiviä näitä koodeja palauttava URL voidaan pudottaa sen indeksistä. Pysyvään vähennykseen Google tarjoaa sen sijaan erityispyynnön Search Consolen kautta.
OpenAI, Anthropic ja Perplexity eivät dokumentoi, miten niiden crawlerit reagoivat koodeihin 429, 503 tai Retry-After-otsakkeeseen. Koodit ovat vakiotapa pyytää vähemmän, mutta sitä, kuinka nopeasti kukin tekoälycrawler hellittää, ei voi tarkistaa mistään.
Miten asetan nopeusrajoituksen tekoälycrawlereille?
Anna jokaiselle crawlerille oma kiintiönsä yhden koko liikennettä koskevan rajan sijaan ja vastaa sen ylittäviin pyyntöihin koodilla 429. nginxissä tämän tekee limit_req-moduuli. Pyyntöjä, joiden avain on tyhjä, ei lasketa, joten map, joka palauttaa avaimen vain crawlerien user agenteille, jättää ihmisvierailijat rauhaan. Tässä jokainen crawler saa 60 pyyntöä minuutissa ja 20 pyynnön purskeen:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Avain on tässä user agent, joten kuka tahansa crawlerin nimen kopioiva jakaa crawlerin kiintiön. Nopeusrajoituksessa se on hyväksyttävää. Sallimissäännössä vertaa lisäksi toimittajan julkaisemiin IP-alueisiin.
Cloudflaressa rate limiting -säännöt tekevät saman verkon reunalla. Free-tilauksessa saat yhden säännön, joka laskee IP-kohtaisesti 10 sekunnin jaksoissa, ja säännön lausekkeessa voi käyttää polkua ja Verified Bot -kenttää. IP-kohtainen laskenta on karkea crawlereille, jotka jakavat pyyntönsä monelle osoitteelle, ja ylemmät tilaukset tuovat lisää laskentavaihtoehtoja. Oletusvastaus on 429, ja voit asettaa toisen 4xx-koodin ja oman rungon. AI Crawl Control tarjoaa kullekin crawlerille Allow, Block ja yksityisessä betassa Charge, mutta ei nopeusasetusta.
Käytitpä mitä tahansa, pidä /robots.txt rajoituksen ulkopuolella. RFC 9309:n mukaan robots.txt:n palvelinvirhe tarkoittaa, että crawlerin on oletettava koko sivusto kielletyksi, ja Google jättää koodin 429 pois niistä 4xx-koodeista, joita se pitää puuttuvana tiedostona.
Voiko välimuisti vähentää crawlerien kuormaa?
Usein enemmän kuin nopeusrajoitus. Crawlerit pyytävät enimmäkseen julkisia sivuja, jotka ovat samat kaikille vierailijoille, joten niiden tarjoaminen CDN:stä tai sivuvälimuistista muuttaa kalliit renderöinnit halvoiksi välimuistiosumiksi. Tarkista, ettei välimuistisi pidä crawlerien user agenteille erillistä, välimuistitonta versiota.
Ehdolliset pyynnöt auttavat myös. Googlen mukaan sen crawlerit tukevat HTTP-välimuistia otsakkeilla ETag ja If-None-Match sekä Last-Modified ja If-Modified-Since, ja käyttävät ETagia, kun molemmat ovat mukana. OpenAI:n, Anthropicin ja Perplexityn crawler-sivut eivät kerro, lähettävätkö niiden crawlerit ehdollisia pyyntöjä, joten laske tämän säästön varaan vain Googlen kohdalla.
Mitä kannattaa välttää crawlereita hidastaessa?
- Toimittajan IP-alueiden estämistä palomuurissa. Anthropic varoittaa, ettei se välttämättä toimi oikein tai pidä kieltäytymistä voimassa, koska se estää sen botteja lukemasta robots.txt:täsi.
5xx- tai429-koodien tarjoamista päiväkausia. Googlen mukaan niitä jatkuvasti palauttavat URL-osoitteet voidaan pudottaa sen indeksistä.- Bottisuojauksen käyttämistä jarruna. Cloudflaren Bot Fight Mode antaa boteille laskennallisesti raskaita haasteita, eikä sitä voi ohittaa WAF:n omilla säännöillä, joten et voi vapauttaa niistä crawlereita, jotka haluat pitää.
- Hakucrawlerin estämistä kaistan säästämiseksi.
DisallowcrawlerilleOAI-SearchBot,Claude-SearchBottaiPerplexityBotpudottaa sinut niistä vastauksista, joita nämä crawlerit ruokkivat.
Miten tarkistan, että crawlerit pääsevät yhä läpi?
Nopeusrajoitukset on helppo asettaa liian tiukoiksi. Ilmainen AISeeWhy-tarkistus noutaa sivun 16 tekoäly- ja hakucrawlerina oikean selaimen rinnalla, soveltaa robots.txt:täsi crawler kerrallaan ja tunnistaa palomuurien haastesivut, joten sääntö, joka kohtelee crawlereita eri tavalla kuin selaimia, tulee esiin. Yksi pyyntö crawleria kohden ei laukaise järkevää rajoitusta, ja juuri se on tarkoitus: aja tarkistus sääntöjen muuttamisen jälkeen varmistaaksesi, että tavalliset pyynnöt menevät yhä läpi. Ilmainen tekoälycrawlerien IP-tarkistus kertoo, kuuluuko lokeistasi löytynyt IP oikeasti GPTBotille tai muulle crawlerille.
Seuraavat vaiheet
- robots.txt-testeri ja -tarkistin tekoälyindeksoijille
- Tekoälyindeksoijan IP-tarkistus
- Katso esimerkki koko raportista
- Tekoälyindeksoijien valvonta
- Tilaukset ja hinnat
Tämän artikkelin indeksoijat
Usein kysytyt kysymykset
Tukeeko Google Crawl-delayta?
Ei. Googlen robots.txt-dokumentaatio luettelee crawl-delayn kenttien joukossa, joita se ei tue. Hidastaaksesi Googlebotia hetkellisesti palauta osaan pyynnöistä 503, 500 tai 429; pidempään vähennykseen Google tarjoaa erityispyynnön Search Consolen kautta.
Noudattaako ClaudeBot Crawl-delayta?
Anthropicin mukaan se tukee epästandardia Crawl-delay-laajennusta. Laita se ClaudeBot-ryhmään ja toista siinä kaikki Disallow-säännöt User-agent: * -ryhmästäsi.
Tukevatko GPTBot ja PerplexityBot Crawl-delayta?
OpenAI:n ja Perplexityn crawler-sivut eivät mainitse Crawl-delayta, joten sen vaikutus on dokumentoimaton. Käytä palvelinpuolen rajoitusta, joka vastaa ylimääräisiin pyyntöihin koodilla 429.
Heikentääkö 429-vastaus sijoituksiani?
Ei lyhyellä aikavälillä. Google dokumentoi 429- ja 503-koodit keinoksi vähentää indeksointia tilapäisesti, mutta varoittaa, että useita päiviä niitä palauttavat URL-osoitteet voidaan pudottaa sen indeksistä.
Pitäisikö minun estää GPTBot kuorman vähentämiseksi?
Voit tehdä niin. OpenAI:n mukaan GPTBot indeksoi sisältöä, jota voidaan käyttää koulutukseen, ja jokainen robots.txt-asetus on itsenäinen, joten sen estäminen ei poista sinua ChatGPT-hausta, joka käyttää OAI-SearchBotia. Tarkista ensin lokeista, että kuorma tulee OpenAI:n osoitteista.
Lähteet
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP-välimuisti)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers