Sådan sænker du farten på AI-crawlere uden at blokere dem

Udgivet

Kort svar

Begræns hastigheden i stedet for at blokere. Svar på overskydende anmodninger fra crawlere med 429 eller 503 og en Retry-After-header, giv hver crawler sit eget budget, hold /robots.txt uden for alle grænser, og lever sider til crawlere fra cache. Crawl-delay i robots.txt hjælper kun, hvor operatøren dokumenterer det: Anthropic og Bing gør, Google siger, at den ikke understøtter det, og OpenAI og Perplexity nævner det ikke. Bliv ved med at tillade AI-søgecrawlerne, ellers forsvinder du også fra de svar, de leverer til.

Når en crawler sender tusindvis af anmodninger i timen, er den hurtige løsning Disallow: / eller en blokering i firewallen. For en træningscrawler kan det være et fair valg. For OAI-SearchBot, Claude-SearchBot eller PerplexityBot fjerner det dine sider fra de AI-svar, du gerne vil optræde i. Som regel kan belastningen skæres ned uden at give afkald på det, med signaler, crawlere allerede forstår: statuskoder, caching og, hos nogle operatører, Crawl-delay.

På denne side
  1. Hvilken crawler skaber egentlig belastningen?
  2. Virker Crawl-delay for AI-crawlere?
  3. Hvordan sænker 429- og 503-svar farten på crawlere?
  4. Hvordan sætter jeg en hastighedsbegrænsning for AI-crawlere?
  5. Kan caching mindske belastningen fra crawlere?
  6. Hvad skal jeg undgå, når jeg sænker farten på crawlere?
  7. Hvordan kan jeg tjekke, at crawlere stadig slipper igennem?

Hvilken crawler skaber egentlig belastningen?

Se efter, før du ændrer noget. Tæl anmodninger pr. user agent og pr. time i dine adgangslogs, og tjek kilde-IP'erne mod de intervaller, hver udbyder offentliggør; vores guide til at tjekke serverlogs for AI-crawlere har kommandoerne. To fund går ofte igen:

Sortér også crawlere efter opgave. Træningscrawlere som GPTBot og ClaudeBot er ikke dem, der gør dig citerbar i AI-søgning, så hvis en af dem er problemet, er det en rimelig mulighed at forbyde den. Resten af denne guide handler om crawlere, du vil beholde.

Virker Crawl-delay for AI-crawlere?

Crawl-delay er ikke en del af RFC 9309, så hver operatør bestemmer selv, om den læser det. Det her siger dokumentationen pr. november 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Hold øje med gruppelogikken. En crawler, der finder en gruppe med sit eget navn, ignorerer gruppen User-agent: * helt, så en ClaudeBot-gruppe, der kun indeholder Crawl-delay, ville droppe hver Disallow, du har sat for alle andre. Gentag dem, som ovenfor. Bing beskriver Crawl-delay som en undtagelse, den læser fra begge grupper, men det bør du ikke gå ud fra for andre crawlere.

Hvordan sænker 429- og 503-svar farten på crawlere?

Ved spidsbelastninger er statuskoden det signal, crawlere er bygget til at respektere. 429 Too Many Requests, defineret i RFC 6585, betyder, at klienten har sendt for mange anmodninger inden for en given tid, og kan have en Retry-After-header, der angiver, hvor længe der skal ventes. 503 Service Unavailable siger, at serveren ikke kan klare det lige nu.

Google dokumenterer det som måden at sænke Googlebots crawlhastighed hurtigt: returner 500, 503 eller 429 i stedet for 200 på nogle crawlanmodninger. Ifølge Google sænker det crawlhastigheden for hele værtsnavnet, og Retry-After kan indeholde et antal sekunder eller en dato.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Gør det kort. Google fraråder at gøre det i mere end en eller to dage, fordi en URL, der returnerer disse koder i flere dage, kan blive fjernet fra indekset. Til en varig nedsættelse tilbyder Google i stedet en særlig anmodning via Search Console.

OpenAI, Anthropic og Perplexity dokumenterer ikke, hvordan deres crawlere reagerer på 429, 503 eller Retry-After. Koderne er standardmåden at bede om mindre, men hvor hurtigt hver AI-crawler trækker sig, er ikke noget, du kan slå op.

Hvordan sætter jeg en hastighedsbegrænsning for AI-crawlere?

Giv hver crawler sit eget budget i stedet for én grænse for al trafik, og svar på anmodninger over det med 429. I nginx klarer modulet limit_req det. Anmodninger med en tom nøgle tælles ikke, så en map, der kun returnerer en nøgle for crawleres user agents, lader menneskelige besøgende være. Her får hver crawler 60 anmodninger i minuttet med en burst på 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Nøglen er her user agenten, så alle, der kopierer en crawlers navn, deler den crawlers budget. Det er acceptabelt for en hastighedsbegrænsning. For en tilladelsesregel skal du også matche udbyderens offentliggjorte IP-intervaller.

På Cloudflare gør rate limiting-regler det samme ved edge. På Free-planen får du én regel, talt pr. IP over 10 sekunder, og regeludtrykket kan bruge stien og feltet Verified Bot. At tælle pr. IP er groft for crawlere, der spreder anmodninger over mange adresser, og højere planer giver flere måder at tælle på. Standardsvaret er 429, og du kan vælge en anden 4xx-kode og et tilpasset svar. AI Crawl Control tilbyder Allow, Block og, i en privat beta, Charge for hver crawler, men ingen hastighedsindstilling.

Uanset hvad du bruger, så hold /robots.txt uden for grænsen. Ifølge RFC 9309 betyder en serverfejl for robots.txt, at crawleren skal gå ud fra, at hele sitet er forbudt, og Google regner ikke 429 med blandt de 4xx-koder, den behandler som en manglende fil.

Kan caching mindske belastningen fra crawlere?

Ofte mere end en hastighedsbegrænsning. Crawlere beder for det meste om offentlige sider, der er ens for alle besøgende, så når de leveres fra et CDN eller en sidecache, bliver dyre renderinger til billige cachehits. Tjek, at din cache ikke har en separat variant uden cache til crawleres user agents.

Betingede anmodninger hjælper også. Ifølge Google understøtter dens crawlere HTTP-caching med ETag og If-None-Match og med Last-Modified og If-Modified-Since og bruger ETag, når begge er til stede. Crawlersiderne fra OpenAI, Anthropic og Perplexity siger ikke, om deres crawlere sender betingede anmodninger, så regn kun med den besparelse hos Google.

Hvad skal jeg undgå, når jeg sænker farten på crawlere?

Hvordan kan jeg tjekke, at crawlere stadig slipper igennem?

Hastighedsbegrænsninger er nemme at sætte for stramt. Det gratis AISeeWhy-tjek henter en side som 16 AI- og søgecrawlere ved siden af en rigtig browser, anvender din robots.txt pr. crawler og genkender firewallens udfordringssider, så en regel, der svarer crawlere anderledes end browsere, bliver synlig. Én anmodning pr. crawler udløser ikke en fornuftig grænse, og det er netop pointen: kør tjekket efter ændringer i reglerne for at bekræfte, at normale anmodninger stadig kommer igennem. Det gratis IP-tjek for AI-crawlere fortæller dig, om en IP fra dine logs virkelig tilhører GPTBot eller en anden crawler.

Gratis værktøjer

Næste skridt

Crawlere i denne artikel

Ofte stillede spørgsmål

Understøtter Google Crawl-delay?

Nej. Googles dokumentation til robots.txt nævner crawl-delay blandt de felter, den ikke understøtter. For kortvarigt at sænke farten på Googlebot kan du returnere 503, 500 eller 429 på nogle anmodninger; til en længere nedsættelse tilbyder Google en særlig anmodning via Search Console.

Respekterer ClaudeBot Crawl-delay?

Ifølge Anthropic understøtter den den ikke-standardiserede udvidelse Crawl-delay. Sæt den i en ClaudeBot-gruppe, og gentag alle Disallow-regler fra din User-agent: *-gruppe der.

Understøtter GPTBot og PerplexityBot Crawl-delay?

Crawlersiderne fra OpenAI og Perplexity nævner ikke Crawl-delay, så effekten er ikke dokumenteret. Brug en grænse på serversiden, der svarer på overskydende anmodninger med 429.

Skader et 429-svar mine placeringer?

Ikke i en kort periode. Google dokumenterer 429 og 503 som en måde at mindske crawling midlertidigt, men advarer om, at URL'er, der returnerer dem i flere dage, kan blive fjernet fra indekset.

Skal jeg blokere GPTBot for at mindske belastningen?

Det kan du. Ifølge OpenAI crawler GPTBot indhold, der kan bruges til træning, og hver indstilling i robots.txt er uafhængig, så et forbud fjerner dig ikke fra ChatGPT-søgning, som bruger OAI-SearchBot. Tjek først dine logs for at sikre dig, at belastningen kommer fra OpenAI's adresser.

Kilder

Flere artikler