Miten hidastat tekoälycrawlereita estämättä niitä

Julkaistu

Lyhyt vastaus

Rajoita nopeutta estämisen sijaan. Vastaa crawlerien ylimääräisiin pyyntöihin koodilla 429 tai 503 ja Retry-After-otsakkeella, anna jokaiselle crawlerille oma kiintiönsä, pidä /robots.txt kaikkien rajoitusten ulkopuolella ja tarjoa sivut crawlereille välimuistista. robots.txt:n Crawl-delay auttaa vain, jos ylläpitäjä dokumentoi sen: Anthropic ja Bing dokumentoivat, Google sanoo, ettei tue sitä, eivätkä OpenAI ja Perplexity mainitse sitä. Pidä tekoälyhakucrawlerit sallittuina, muuten putoat myös niiden ruokkimista vastauksista.

Kun crawler lähettää tuhansia pyyntöjä tunnissa, nopea ratkaisu on Disallow: / tai palomuuriesto. Koulutuscrawlerin kohdalla se voi olla perusteltu valinta. Crawlereiden OAI-SearchBot, Claude-SearchBot tai PerplexityBot kohdalla se poistaa sivusi juuri niistä tekoälyvastauksista, joissa haluat näkyä. Useimmiten kuormaa voi vähentää luopumatta siitä, signaaleilla, jotka crawlerit jo ymmärtävät: tilakoodeilla, välimuistilla ja joidenkin ylläpitäjien kohdalla Crawl-delay-säännöllä.

Tällä sivulla
  1. Mikä crawler oikeasti aiheuttaa kuorman?
  2. Toimiiko Crawl-delay tekoälycrawlereille?
  3. Miten 429- ja 503-vastaukset hidastavat crawlereita?
  4. Miten asetan nopeusrajoituksen tekoälycrawlereille?
  5. Voiko välimuisti vähentää crawlerien kuormaa?
  6. Mitä kannattaa välttää crawlereita hidastaessa?
  7. Miten tarkistan, että crawlerit pääsevät yhä läpi?

Mikä crawler oikeasti aiheuttaa kuorman?

Katso ennen kuin muutat mitään. Laske käyttölokeista pyynnöt user agentin ja tunnin mukaan ja vertaa lähde-IP:itä kunkin toimittajan julkaisemiin alueisiin; oppaassamme tekoälycrawlerien etsimisestä palvelinlokeista on komennot. Kaksi havaintoa toistuu usein:

Lajittele crawlerit myös tehtävän mukaan. Koulutuscrawlerit, kuten GPTBot ja ClaudeBot, eivät ole niitä, jotka tekevät sinusta lainattavan tekoälyhaussa, joten jos ongelma on jokin niistä, sen estäminen on järkevä vaihtoehto. Tämän oppaan loppuosa koskee crawlereita, jotka haluat pitää.

Toimiiko Crawl-delay tekoälycrawlereille?

Crawl-delay ei kuulu RFC 9309:ään, joten kukin ylläpitäjä päättää, lukeeko se sen. Dokumentaatio sanoo marraskuussa 2026 seuraavaa:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Huomaa ryhmälogiikka. Crawler, joka löytää omalla nimellään olevan ryhmän, jättää ryhmän User-agent: * kokonaan huomiotta, joten ClaudeBot-ryhmä, jossa on pelkkä Crawl-delay, pudottaisi pois jokaisen kaikille muille asettamasi Disallow-säännön. Toista ne, kuten yllä. Bing kuvaa Crawl-delayn poikkeukseksi, jonka se lukee kummasta tahansa ryhmästä, mutta muiden crawlerien kohdalla sitä ei pidä olettaa.

Miten 429- ja 503-vastaukset hidastavat crawlereita?

Kuormapiikeissä tilakoodi on signaali, jota crawlerit on rakennettu kunnioittamaan. RFC 6585:ssä määritelty 429 Too Many Requests tarkoittaa, että asiakas lähetti liikaa pyyntöjä tietyssä ajassa, ja siinä voi olla Retry-After-otsake, joka kertoo, kauanko odottaa. 503 Service Unavailable kertoo, ettei palvelin juuri nyt selviä kuormasta.

Google dokumentoi tämän tavaksi vähentää Googlebotin indeksointitahtia nopeasti: palauta osaan indeksointipyynnöistä 500, 503 tai 429 koodin 200 sijaan. Sen mukaan tämä laskee indeksointitahtia koko isäntänimelle, ja Retry-After voi sisältää sekuntimäärän tai päivämäärän.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Pidä se lyhyenä. Google ei suosittele tekemään tätä yhtä tai kahta päivää kauempaa, koska useita päiviä näitä koodeja palauttava URL voidaan pudottaa sen indeksistä. Pysyvään vähennykseen Google tarjoaa sen sijaan erityispyynnön Search Consolen kautta.

OpenAI, Anthropic ja Perplexity eivät dokumentoi, miten niiden crawlerit reagoivat koodeihin 429, 503 tai Retry-After-otsakkeeseen. Koodit ovat vakiotapa pyytää vähemmän, mutta sitä, kuinka nopeasti kukin tekoälycrawler hellittää, ei voi tarkistaa mistään.

Miten asetan nopeusrajoituksen tekoälycrawlereille?

Anna jokaiselle crawlerille oma kiintiönsä yhden koko liikennettä koskevan rajan sijaan ja vastaa sen ylittäviin pyyntöihin koodilla 429. nginxissä tämän tekee limit_req-moduuli. Pyyntöjä, joiden avain on tyhjä, ei lasketa, joten map, joka palauttaa avaimen vain crawlerien user agenteille, jättää ihmisvierailijat rauhaan. Tässä jokainen crawler saa 60 pyyntöä minuutissa ja 20 pyynnön purskeen:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Avain on tässä user agent, joten kuka tahansa crawlerin nimen kopioiva jakaa crawlerin kiintiön. Nopeusrajoituksessa se on hyväksyttävää. Sallimissäännössä vertaa lisäksi toimittajan julkaisemiin IP-alueisiin.

Cloudflaressa rate limiting -säännöt tekevät saman verkon reunalla. Free-tilauksessa saat yhden säännön, joka laskee IP-kohtaisesti 10 sekunnin jaksoissa, ja säännön lausekkeessa voi käyttää polkua ja Verified Bot -kenttää. IP-kohtainen laskenta on karkea crawlereille, jotka jakavat pyyntönsä monelle osoitteelle, ja ylemmät tilaukset tuovat lisää laskentavaihtoehtoja. Oletusvastaus on 429, ja voit asettaa toisen 4xx-koodin ja oman rungon. AI Crawl Control tarjoaa kullekin crawlerille Allow, Block ja yksityisessä betassa Charge, mutta ei nopeusasetusta.

Käytitpä mitä tahansa, pidä /robots.txt rajoituksen ulkopuolella. RFC 9309:n mukaan robots.txt:n palvelinvirhe tarkoittaa, että crawlerin on oletettava koko sivusto kielletyksi, ja Google jättää koodin 429 pois niistä 4xx-koodeista, joita se pitää puuttuvana tiedostona.

Voiko välimuisti vähentää crawlerien kuormaa?

Usein enemmän kuin nopeusrajoitus. Crawlerit pyytävät enimmäkseen julkisia sivuja, jotka ovat samat kaikille vierailijoille, joten niiden tarjoaminen CDN:stä tai sivuvälimuistista muuttaa kalliit renderöinnit halvoiksi välimuistiosumiksi. Tarkista, ettei välimuistisi pidä crawlerien user agenteille erillistä, välimuistitonta versiota.

Ehdolliset pyynnöt auttavat myös. Googlen mukaan sen crawlerit tukevat HTTP-välimuistia otsakkeilla ETag ja If-None-Match sekä Last-Modified ja If-Modified-Since, ja käyttävät ETagia, kun molemmat ovat mukana. OpenAI:n, Anthropicin ja Perplexityn crawler-sivut eivät kerro, lähettävätkö niiden crawlerit ehdollisia pyyntöjä, joten laske tämän säästön varaan vain Googlen kohdalla.

Mitä kannattaa välttää crawlereita hidastaessa?

Miten tarkistan, että crawlerit pääsevät yhä läpi?

Nopeusrajoitukset on helppo asettaa liian tiukoiksi. Ilmainen AISeeWhy-tarkistus noutaa sivun 16 tekoäly- ja hakucrawlerina oikean selaimen rinnalla, soveltaa robots.txt:täsi crawler kerrallaan ja tunnistaa palomuurien haastesivut, joten sääntö, joka kohtelee crawlereita eri tavalla kuin selaimia, tulee esiin. Yksi pyyntö crawleria kohden ei laukaise järkevää rajoitusta, ja juuri se on tarkoitus: aja tarkistus sääntöjen muuttamisen jälkeen varmistaaksesi, että tavalliset pyynnöt menevät yhä läpi. Ilmainen tekoälycrawlerien IP-tarkistus kertoo, kuuluuko lokeistasi löytynyt IP oikeasti GPTBotille tai muulle crawlerille.

Ilmaiset työkalut

Seuraavat vaiheet

Tämän artikkelin indeksoijat

Usein kysytyt kysymykset

Tukeeko Google Crawl-delayta?

Ei. Googlen robots.txt-dokumentaatio luettelee crawl-delayn kenttien joukossa, joita se ei tue. Hidastaaksesi Googlebotia hetkellisesti palauta osaan pyynnöistä 503, 500 tai 429; pidempään vähennykseen Google tarjoaa erityispyynnön Search Consolen kautta.

Noudattaako ClaudeBot Crawl-delayta?

Anthropicin mukaan se tukee epästandardia Crawl-delay-laajennusta. Laita se ClaudeBot-ryhmään ja toista siinä kaikki Disallow-säännöt User-agent: * -ryhmästäsi.

Tukevatko GPTBot ja PerplexityBot Crawl-delayta?

OpenAI:n ja Perplexityn crawler-sivut eivät mainitse Crawl-delayta, joten sen vaikutus on dokumentoimaton. Käytä palvelinpuolen rajoitusta, joka vastaa ylimääräisiin pyyntöihin koodilla 429.

Heikentääkö 429-vastaus sijoituksiani?

Ei lyhyellä aikavälillä. Google dokumentoi 429- ja 503-koodit keinoksi vähentää indeksointia tilapäisesti, mutta varoittaa, että useita päiviä niitä palauttavat URL-osoitteet voidaan pudottaa sen indeksistä.

Pitäisikö minun estää GPTBot kuorman vähentämiseksi?

Voit tehdä niin. OpenAI:n mukaan GPTBot indeksoi sisältöä, jota voidaan käyttää koulutukseen, ja jokainen robots.txt-asetus on itsenäinen, joten sen estäminen ei poista sinua ChatGPT-hausta, joka käyttää OAI-SearchBotia. Tarkista ensin lokeista, että kuorma tulee OpenAI:n osoitteista.

Lähteet

Lisää artikkeleita