ClaudeBot
ClaudeBot är Anthropics crawler för webbinnehåll som kan användas för att träna företagets generativa AI-modeller. Att förbjuda den i robots.txt signalerar att din sajts framtida innehåll ska uteslutas från träning. Att blockera den räcker inte för att stoppa Claude-SearchBot eller Claude-User, som hanterar sök och svar i realtid.
Vad den gör
Anthropic säger att ClaudeBot samlar in webbinnehåll som kan bidra till träningen av företagets modeller, för att göra dem mer användbara och säkrare. Att förbjuda ClaudeBot signalerar att din sajts framtida material ska uteslutas från träningsdata.
Anthropic stöder även direktivet Crawl-delay, som inte ingår i standarden, så du kan sakta ned ClaudeBot i stället för att blockera den. Regler i robots.txt som nämner ClaudeBot har företräde framför Anthropics allmänna signal om att inte träna AI. Reglerna i robots.txt gäller per host, så lägg till dem på varje underdomän du vill täcka.
I vår studie från 2026-11 blockerade 21.2% av de populära sajterna med en robots.txt den. →
robots.txt-token
ClaudeBot
Så tillåter du den
User-agent: ClaudeBot
Allow: /Så blockerar du den
User-agent: ClaudeBot
Disallow: /Så verifierar du riktiga besök
Anthropic publicerar IP-adresserna för sina crawlers på claude.com/crawling/bots.json och säger att en crawler vars IP finns på listan kommer från Anthropic. Jämför käll-IP med listan i stället för att lita på user agent. Anthropic avråder från att välja bort via IP-blockering, eftersom det också hindrar crawlern från att läsa robots.txt.
Kontrollera om din sajt släpper in den →
Anthropics crawlers: ClaudeBot, Claude-SearchBot och Claude-User →