AISeeWhy
NL
Start gratis proefperiode

De crawlers van Anthropic: ClaudeBot, Claude-SearchBot en Claude-User

Gepubliceerd

Kort antwoord

Anthropic draait drie agents: ClaudeBot verzamelt content die gebruikt kan worden om zijn modellen te trainen, Claude-SearchBot crawlt om de zoekresultaten van Claude te verbeteren en Claude-User haalt pagina's op wanneer de vraag van een Claude-gebruiker dat vereist. Elke agent heeft een eigen robots.txt-token en volgens Anthropic respecteren alle drie robots.txt. Alleen ClaudeBot blokkeren stopt zoeken of ophalen door gebruikers niet.

Anthropic beschrijft zijn crawlers op één helppagina, en de opzet lijkt op die van andere AI-aanbieders: één agent voor training, één voor zoeken en één voor live ophalen namens een gebruiker. Wil je dat Claude je pagina's kan vinden en citeren, dan zijn de laatste twee het belangrijkst.

Op deze pagina
  1. Wat doet ClaudeBot?
  2. Wat doet Claude-SearchBot?
  3. Wat doet Claude-User?
  4. Hoe schrijf ik robots.txt-regels voor Claude?
  5. Hoe verhoudt de opzet van Anthropic zich tot die van OpenAI en Perplexity?
  6. Moet ik Anthropic blokkeren op IP-adres?
  7. Waarom kan Claude mijn pagina toch niet lezen?

Wat doet ClaudeBot?

ClaudeBot verzamelt webcontent die kan bijdragen aan het trainen van de generatieve AI-modellen van Anthropic. Volgens Anthropic geeft een Disallow aan dat toekomstige content van je site buiten trainingsdatasets moet blijven.

Anthropic zegt ook dat het een machineleesbaar signaal tegen AI-training respecteert, gebaseerd op een IETF-concept, en dat regels waarin ClaudeBot in robots.txt wordt genoemd voorrang hebben op die algemene instelling. Zoals bij andere trainingscrawlers is blokkeren een beleidskeuze.

Wat doet Claude-SearchBot?

Claude-SearchBot crawlt het web om de relevantie en nauwkeurigheid van zoekresultaten in Claude te verbeteren. Volgens Anthropic voorkomt blokkeren dat je content wordt geïndexeerd voor zoeken, wat je zichtbaarheid en nauwkeurigheid in zoekresultaten voor gebruikers kan verminderen.

Deze agent moet je toestaan als je wilt dat de zoekfuncties van Claude je pagina's kennen voordat iemand ernaar vraagt. Omdat het een zoekcrawler is, heeft hij baat bij dezelfde dingen als elke zoekcrawler: een sitemap in robots.txt, schone interne links en pagina's die hun content al in het eerste antwoord leveren.

Wat doet Claude-User?

Claude-User opent een website wanneer een Claude-gebruiker een vraag stelt die dat vereist, bijvoorbeeld als iemand een URL deelt of Claude vraagt iets op te zoeken. Volgens Anthropic voorkomt blokkeren dat pagina's worden opgehaald als antwoord op gebruikersvragen, wat je zichtbaarheid in door gebruikers aangestuurd webzoeken kan verminderen.

Let op een verschil met sommige andere aanbieders. Anthropic stelt dat zijn bots de robots.txt-regels respecteren en beschrijft het blokkeren van Claude-User via robots.txt. OpenAI en Perplexity zeggen daarentegen dat hun door gebruikers gestarte fetchers robots.txt mogelijk niet volgen.

Hoe schrijf ik robots.txt-regels voor Claude?

Elke agent heeft een eigen token, en een groep die een crawler noemt, vervangt volgens RFC 9309 voor die crawler de groep *. Een veelgemaakte keuze is zoeken en ophalen door gebruikers toe te staan en training uit te sluiten:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic ondersteunt ook Crawl-delay als niet-standaard uitbreiding, bijvoorbeeld Crawl-delay: 1 onder User-agent: ClaudeBot, als je het crawlen wilt vertragen in plaats van blokkeren. Regels moeten staan in de robots.txt in de hoofdmap van elke host, dus voeg ze toe aan elk subdomein dat je wilt dekken.

Hoe verhoudt de opzet van Anthropic zich tot die van OpenAI en Perplexity?

De drie aanbieders volgen hetzelfde patroon met andere namen, waardoor een gecombineerde robots.txt makkelijk te doorgronden is. Het belangrijkste verschil is hoe elk met robots.txt omgaat bij live ophalen op verzoek van een gebruiker.

Schrijf je één robots.txt voor alle drie, zet dan de zoek- en gebruikerstokens in de ene groep en de trainingstokens in een andere. Zo blijft het beleid leesbaar en is duidelijk welke keuze je voor welk doel hebt gemaakt.

Moet ik Anthropic blokkeren op IP-adres?

Anthropic raadt dat af. Volgens de documentatie werkt het blokkeren van IP-adressen mogelijk niet goed of garandeert het geen blijvende opt-out, omdat de crawler dan ook je robots.txt niet meer kan lezen. Leg je beleid vast in robots.txt.

Anthropic publiceert de IP-adressen van zijn crawlers op claude.com/crawling/bots.json. Je gebruikt die lijst het best andersom dan voor blokkeren: laat je firewall controleren of een verzoek dat zich uitgeeft voor Claude-SearchBot of Claude-User echt van Anthropic komt, en laat het door.

Waarom kan Claude mijn pagina toch niet lezen?

Zelfs met een ruime robots.txt kan je firewall of cdn de agents van Anthropic beantwoorden met een 403 of een challenge-pagina. Volgens Anthropic respecteren zijn bots technologieën tegen omzeiling en proberen ze CAPTCHA's niet te omzeilen; een challenge-pagina maakt dus gewoon een eind aan het bezoek. Ook pagina's waarvan de tekst pas verschijnt nadat JavaScript is uitgevoerd, kunnen bijna leeg aankomen.

AISeeWhy haalt je pagina op als ClaudeBot, Claude-SearchBot en Claude-User naast een browser en controleert je robots.txt-regels voor elk ervan, zodat je kunt zien of het beleid dat je schreef ook het beleid is dat je server afdwingt.

Veelgestelde vragen

Haalt het blokkeren van ClaudeBot mijn site uit de antwoorden van Claude?

Niet op zichzelf. Zoekindexering en ophalen door gebruikers lopen via Claude-SearchBot en Claude-User, die eigen robots.txt-tokens hebben.

Volgt Claude-User robots.txt?

Anthropic zegt dat zijn bots robots.txt respecteren en beschrijft het blokkeren van Claude-User daar, met als gevolg dat Claude je pagina's niet kan ophalen voor vragen van gebruikers.

Lossen de crawlers van Anthropic een CAPTCHA op?

Nee. Volgens Anthropic respecteren zijn bots technologieën tegen omzeiling en proberen ze CAPTCHA's niet te omzeilen.

Kan ik ClaudeBot vertragen in plaats van blokkeren?

Ja. Anthropic ondersteunt Crawl-delay als niet-standaard uitbreiding, bijvoorbeeld Crawl-delay: 1 in de groep ClaudeBot van je robots.txt.

Hoe kan ik controleren of een verzoek echt van Anthropic komt?

Vergelijk het bron-IP met de lijst die Anthropic publiceert op claude.com/crawling/bots.json. Een user agent alleen kan door iedereen worden gekopieerd.

Bronnen

Meer artikelen