Så saktar du ner AI-crawlers utan att blockera dem

Publicerad

Kort svar

Begränsa hastigheten i stället för att blockera. Svara på överskjutande crawlerbegäranden med 429 eller 503 och en Retry-After-rubrik, ge varje crawler en egen budget, håll /robots.txt utanför alla gränser och servera crawlers från cache. Crawl-delay i robots.txt hjälper bara där operatören dokumenterar det: Anthropic och Bing gör det, Google anger att det inte stöds, och OpenAI och Perplexity nämner det inte. Låt AI-sökcrawlerna vara tillåtna, annars försvinner du också ur svaren som de matar.

När en crawler skickar tusentals begäranden i timmen är den snabba lösningen Disallow: / eller en blockering i brandväggen. För en träningscrawler kan det vara ett rimligt val. För OAI-SearchBot, Claude-SearchBot eller PerplexityBot tar det bort dina sidor ur de AI-svar du vill synas i. Oftast går det att minska belastningen utan att ge upp det, med signaler som crawlers redan förstår: statuskoder, cachning och, för vissa operatörer, Crawl-delay.

På den här sidan
  1. Vilken crawler orsakar egentligen belastningen?
  2. Fungerar Crawl-delay för AI-crawlers?
  3. Hur saktar 429- och 503-svar ner crawlers?
  4. Hur sätter jag en hastighetsbegränsning för AI-crawlers?
  5. Kan cachning minska crawlbelastningen?
  6. Vad ska jag undvika när jag saktar ner crawlers?
  7. Hur kontrollerar jag att crawlers fortfarande kommer igenom?

Vilken crawler orsakar egentligen belastningen?

Titta innan du ändrar något. Räkna begäranden per user agent och per timme i dina åtkomstloggar och kontrollera käll-IP-adresserna mot de intervall som varje leverantör publicerar; vår guide om att kontrollera serverloggar efter AI-crawlers har kommandona. Två fynd är vanliga:

Sortera också crawlers efter uppgift. Träningscrawlers som GPTBot och ClaudeBot är inte de som gör dig citerbar i AI-sökning, så om en av dem är problemet är det ett rimligt alternativ att neka den. Resten av guiden gäller crawlers som du vill behålla.

Fungerar Crawl-delay för AI-crawlers?

Crawl-delay ingår inte i RFC 9309, så varje operatör bestämmer själv om den ska läsas. Så här säger dokumentationen i november 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Se upp med grupplogiken. En crawler som hittar en grupp med sitt eget namn ignorerar gruppen User-agent: * helt, så en ClaudeBot-grupp som bara innehåller Crawl-delay skulle slopa varje Disallow du har satt för alla andra. Upprepa dem, som ovan. Bing beskriver Crawl-delay som ett undantag som läses från vilken av grupperna som helst, men det bör du inte anta för andra crawlers.

Hur saktar 429- och 503-svar ner crawlers?

Vid belastningstoppar är statuskoden den signal som crawlers är byggda för att respektera. 429 Too Many Requests, definierad i RFC 6585, betyder att klienten har skickat för många begäranden under en viss tid, och kan ha en Retry-After-rubrik som anger hur länge den ska vänta. 503 Service Unavailable säger att servern inte klarar trycket just nu.

Google dokumenterar detta som sättet att snabbt minska Googlebots crawlhastighet: returnera 500, 503 eller 429 i stället för 200 på en del av crawlbegärandena. Google anger att det sänker crawlhastigheten för hela värdnamnet, och att Retry-After kan innehålla ett antal sekunder eller ett datum.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Håll det kort. Google avråder från att göra så i mer än en eller två dagar, eftersom en URL som returnerar de här koderna i flera dagar kan tas bort ur indexet. För en varaktig minskning erbjuder Google i stället en särskild begäran via Search Console.

OpenAI, Anthropic och Perplexity dokumenterar inte hur deras crawlers reagerar på 429, 503 eller Retry-After. Koderna är standardsättet att be om mindre, men hur snabbt varje AI-crawler backar är inget du kan slå upp.

Hur sätter jag en hastighetsbegränsning för AI-crawlers?

Ge varje crawler en egen budget i stället för en gräns för all trafik, och svara på begäranden över den med 429. I nginx gör modulen limit_req detta. Begäranden med tom nyckel räknas inte, så en map som bara returnerar en nyckel för crawlers user agents lämnar mänskliga besökare i fred. Här får varje crawler 60 begäranden i minuten med en topp på 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Nyckeln här är user agent, så alla som kopierar en crawlers namn delar den crawlerns budget. Det är godtagbart för en hastighetsbegränsning. För en tillåtelseregel matchar du även leverantörens publicerade IP-intervall.

På Cloudflare gör regler för hastighetsbegränsning samma jobb vid nätverkskanten. På Free-planen får du en regel, som räknar per IP över 10 sekunder, och regeluttrycket kan använda sökvägen och fältet Verified Bot. Att räkna per IP är grovt för crawlers som sprider begäranden över många adresser, och högre planer har fler räknealternativ. Standardsvaret är 429, och du kan välja en annan 4xx-kod och ett eget svarsinnehåll. AI Crawl Control erbjuder Allow, Block och, i en privat beta, Charge för varje crawler, men ingen hastighetsinställning.

Vad du än använder, håll /robots.txt utanför gränsen. RFC 9309 säger att ett serverfel för robots.txt betyder att crawlern måste anta att hela webbplatsen är nekad, och Google räknar inte 429 till de 4xx-koder som behandlas som en saknad fil.

Kan cachning minska crawlbelastningen?

Ofta mer än en hastighetsbegränsning. Crawlers ber mest om offentliga sidor som är likadana för alla besökare, så att servera dem från ett CDN eller en sidcache gör dyra renderingar till billiga träffar. Kontrollera att din cache inte håller en separat, ocachad variant för crawlers user agents.

Villkorliga begäranden hjälper också. Google anger att dess crawlers stöder HTTP-cachning med ETag och If-None-Match, och med Last-Modified och If-Modified-Since, och använder ETag när båda finns. Crawlersidorna från OpenAI, Anthropic och Perplexity säger inte om deras crawlers skickar villkorliga begäranden, så räkna med den besparingen bara för Google.

Vad ska jag undvika när jag saktar ner crawlers?

Hur kontrollerar jag att crawlers fortfarande kommer igenom?

Det är lätt att sätta hastighetsgränser för snävt. Den kostnadsfria kontrollen i AISeeWhy hämtar en sida som 16 AI- och sökcrawlers bredvid en riktig webbläsare, tillämpar din robots.txt per crawler och känner igen brandväggens utmaningssidor, så en regel som svarar crawlers annorlunda än webbläsare syns. En begäran per crawler löser inte ut en rimlig gräns, och det är just poängen: kör den efter att du har ändrat regler för att bekräfta att normala begäranden fortfarande går igenom. Den kostnadsfria IP-kontrollen för AI-crawlers talar om för dig om en IP-adress från dina loggar verkligen tillhör GPTBot eller en annan crawler.

Gratis verktyg

Nästa steg

Crawlers i den här artikeln

Vanliga frågor

Stöder Google Crawl-delay?

Nej. Googles dokumentation om robots.txt listar crawl-delay bland fälten som inte stöds. För att sakta ner Googlebot en kort tid returnerar du 503, 500 eller 429 på en del av begärandena; för en längre minskning erbjuder Google en särskild begäran via Search Console.

Respekterar ClaudeBot Crawl-delay?

Anthropic anger att företaget stöder det icke-standardiserade tillägget Crawl-delay. Lägg det i en ClaudeBot-grupp och upprepa där alla Disallow-regler från din User-agent: *-grupp.

Stöder GPTBot och PerplexityBot Crawl-delay?

Crawlersidorna från OpenAI och Perplexity nämner inte Crawl-delay, så effekten är odokumenterad. Använd en gräns på serversidan som svarar på överskjutande begäranden med 429.

Skadar ett 429-svar min ranking?

Inte under en kort period. Google dokumenterar 429 och 503 som ett sätt att tillfälligt minska crawlningen, men varnar för att URL:er som returnerar dem i flera dagar kan tas bort ur indexet.

Ska jag blockera GPTBot för att minska belastningen?

Det kan du. OpenAI anger att GPTBot crawlar innehåll som kan användas för träning och att varje inställning i robots.txt är oberoende, så att neka den tar inte bort dig från ChatGPT-sökningen, som använder OAI-SearchBot. Kontrollera först dina loggar för att säkerställa att belastningen kommer från OpenAI:s adresser.

Källor

Fler artiklar