Slik bremser du AI-crawlere uten å blokkere dem

Publisert

Kort svar

Begrens takten i stedet for å blokkere. Svar på overskytende crawlerforespørsler med 429 eller 503 og en Retry-After-header, gi hver crawler sitt eget budsjett, hold /robots.txt utenfor alle grenser, og lever sider til crawlere fra hurtigbuffer. Crawl-delay i robots.txt hjelper bare der operatøren dokumenterer det: Anthropic og Bing gjør det, Google sier at det ikke støttes, og OpenAI og Perplexity nevner det ikke. La AI-søkecrawlerne fortsatt slippe inn, ellers forsvinner du også fra svarene de mater.

Når en crawler sender tusenvis av forespørsler i timen, er den raske løsningen Disallow: / eller en blokkering i brannmuren. For en treningscrawler kan det være et rimelig valg. For OAI-SearchBot, Claude-SearchBot eller PerplexityBot fjerner det sidene dine fra AI-svarene du vil være med i. Som regel kan lasten reduseres uten å gi slipp på det, med signaler crawlere allerede forstår: statuskoder, hurtigbuffer og, for noen operatører, Crawl-delay.

På denne siden
  1. Hvilken crawler står egentlig for lasten?
  2. Virker Crawl-delay for AI-crawlere?
  3. Hvordan bremser 429- og 503-svar crawlere?
  4. Hvordan setter jeg en rategrense for AI-crawlere?
  5. Kan hurtigbuffer redusere lasten fra crawlere?
  6. Hva bør jeg unngå når jeg bremser crawlere?
  7. Hvordan sjekker jeg at crawlerne fortsatt slipper gjennom?

Hvilken crawler står egentlig for lasten?

Se før du endrer noe. Tell forespørsler per user agent og per time i tilgangsloggene, og sjekk kilde-IP-ene mot områdene hver leverandør publiserer; guiden vår om å sjekke serverloggene for AI-crawlere har kommandoene. To funn går igjen:

Sorter også crawlerne etter oppgave. Treningscrawlere som GPTBot og ClaudeBot er ikke de som gjør deg siterbar i AI-søk, så hvis en av dem er problemet, er det et rimelig valg å forby den. Resten av guiden gjelder crawlere du vil beholde.

Virker Crawl-delay for AI-crawlere?

Crawl-delay er ikke en del av RFC 9309, så hver operatør bestemmer selv om den leses. Dette sier dokumentasjonen per november 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Pass på gruppelogikken. En crawler som finner en gruppe med sitt eget navn, ignorerer gruppen User-agent: * helt, så en ClaudeBot-gruppe som bare inneholder Crawl-delay, ville miste alle Disallow-reglene du har satt for alle andre. Gjenta dem, som over. Bing beskriver Crawl-delay som et unntak den leser fra begge grupper, men det bør du ikke anta for andre crawlere.

Hvordan bremser 429- og 503-svar crawlere?

Ved lasttopper er statuskoden signalet crawlere er bygget for å respektere. 429 Too Many Requests, definert i RFC 6585, betyr at klienten har sendt for mange forespørsler i løpet av en gitt tid, og kan ha med en Retry-After-header som sier hvor lenge den skal vente. 503 Service Unavailable sier at serveren ikke klarer mer akkurat nå.

Google dokumenterer dette som måten å redusere Googlebots gjennomsøkingstakt raskt på: returner 500, 503 eller 429 i stedet for 200 på noen av gjennomsøkingsforespørslene. Google sier at dette senker takten for hele vertsnavnet, og at Retry-After kan inneholde et antall sekunder eller en dato.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Hold det kort. Google fraråder å gjøre dette i mer enn én eller to dager, fordi en URL som returnerer disse kodene i flere dager, kan bli fjernet fra indeksen. For en varig reduksjon tilbyr Google i stedet en egen forespørsel gjennom Search Console.

OpenAI, Anthropic og Perplexity dokumenterer ikke hvordan crawlerne deres reagerer på 429, 503 eller Retry-After. Kodene er standardmåten å be om mindre på, men hvor raskt hver AI-crawler trekker seg tilbake, er ikke noe du kan slå opp.

Hvordan setter jeg en rategrense for AI-crawlere?

Gi hver crawler sitt eget budsjett i stedet for én grense for all trafikk, og svar på forespørsler over budsjettet med 429. I nginx gjør modulen limit_req dette. Forespørsler med tom nøkkel telles ikke, så en map som bare returnerer en nøkkel for crawleres user agenter, lar menneskelige besøkende være i fred. Her får hver crawler 60 forespørsler i minuttet med en burst på 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Nøkkelen her er user agent-en, så alle som kopierer navnet til en crawler, deler den crawlerens budsjett. Det er akseptabelt for en rategrense. For en tillatelsesregel bør du også matche leverandørens publiserte IP-områder.

Hos Cloudflare gjør regler for hastighetsbegrensning den samme jobben på edge. På Free-planen får du én regel, telt per IP over 10 sekunder, og regeluttrykket kan bruke banen og feltet Verified Bot. Telling per IP er grovt for crawlere som sprer forespørsler over mange adresser, og høyere planer gir flere tellevalg. Standardsvaret er 429, og du kan velge en annen 4xx-kode og et egendefinert svar. AI Crawl Control tilbyr Allow, Block og, i en lukket beta, Charge for hver crawler, men ingen innstilling for takt.

Uansett hva du bruker, holder du /robots.txt utenfor grensen. RFC 9309 sier at en serverfeil for robots.txt betyr at crawleren må anta at hele nettstedet er forbudt, og Google holder 429 utenfor 4xx-kodene den behandler som en manglende fil.

Kan hurtigbuffer redusere lasten fra crawlere?

Ofte mer enn en rategrense. Crawlere ber stort sett om offentlige sider som er like for alle besøkende, så å levere dem fra et CDN eller en sidebuffer gjør dyre renderinger om til billige treff. Sjekk at hurtigbufferen ikke holder en egen, ubufret variant for crawleres user agenter.

Betingede forespørsler hjelper også. Google sier at crawlerne støtter HTTP-hurtigbuffer med ETag og If-None-Match, og med Last-Modified og If-Modified-Since, og bruker ETag når begge finnes. Crawlersidene til OpenAI, Anthropic og Perplexity sier ikke om crawlerne deres sender betingede forespørsler, så regn med den besparelsen bare for Google.

Hva bør jeg unngå når jeg bremser crawlere?

Hvordan sjekker jeg at crawlerne fortsatt slipper gjennom?

Det er lett å sette rategrenser for strengt. Den gratis AISeeWhy-sjekken henter en side som 16 AI- og søkecrawlere ved siden av en ekte nettleser, anvender robots.txt per crawler og gjenkjenner utfordringssider fra brannmurer, så en regel som svarer crawlere annerledes enn nettlesere, blir synlig. Én forespørsel per crawler utløser ikke en fornuftig grense, og det er poenget: kjør den etter at du har endret regler, for å bekrefte at vanlige forespørsler fortsatt kommer gjennom. Den gratis IP-sjekken for AI-crawlere forteller deg om en IP fra loggene dine virkelig tilhører GPTBot eller en annen crawler.

Gratis verktøy

Neste steg

Crawlere i denne artikkelen

Vanlige spørsmål

Støtter Google Crawl-delay?

Nei. Googles robots.txt-dokumentasjon lister crawl-delay blant feltene Google ikke støtter. For å bremse Googlebot en kort stund returnerer du 503, 500 eller 429 på noen forespørsler; for en lengre reduksjon tilbyr Google en egen forespørsel gjennom Search Console.

Respekterer ClaudeBot Crawl-delay?

Anthropic sier at selskapet støtter den ikke-standardiserte utvidelsen Crawl-delay. Legg den i en ClaudeBot-gruppe og gjenta der eventuelle Disallow-regler fra gruppen User-agent: *.

Støtter GPTBot og PerplexityBot Crawl-delay?

Crawlersidene til OpenAI og Perplexity nevner ikke Crawl-delay, så virkningen er ikke dokumentert. Bruk en grense på serversiden som svarer på overskytende forespørsler med 429.

Skader et 429-svar rangeringen min?

Ikke over en kort periode. Google dokumenterer 429 og 503 som en måte å redusere gjennomsøkingen midlertidig på, men advarer om at URL-er som returnerer dem i flere dager, kan bli fjernet fra indeksen.

Bør jeg blokkere GPTBot for å redusere lasten?

Det kan du. OpenAI sier at GPTBot gjennomsøker innhold som kan brukes til trening, og at hver robots.txt-innstilling er uavhengig, så å forby den fjerner deg ikke fra ChatGPT-søk, som bruker OAI-SearchBot. Sjekk loggene først for å være sikker på at lasten kommer fra OpenAIs adresser.

Kilder

Flere artikler