Kan Claude mijn website zien? Zo controleer je het

Gepubliceerd · Bijgewerkt

Kort antwoord

Claude kan je pagina alleen lezen als je robots.txt de agents van Anthropic toelaat en je server ze dezelfde HTML stuurt als een browser krijgt. Controleer of robots.txt Claude-SearchBot of Claude-User niet uitsluit, of je firewall ze niet met een 403 of een challenge-pagina antwoordt en of de hoofdtekst in de oorspronkelijke HTML staat. Test daarna Claude zelf: plak je URL in een chat en stel met zoeken op het web aan de vragen die je kopers stellen.

Als je Claude naar je product vraagt en het andere sites citeert, is de eerste vraag of het die van jou überhaupt kan bereiken. Daar is een toetsbaar antwoord op. Anthropic publiceert de robots.txt-tokens van zijn agents en de IP-adressen waar ze vandaan komen, en Claude laat de bronnen zien die het gebruikte. Je kunt dus elke stap op volgorde controleren: wat je robots.txt zegt, wat je server stuurt, wat je logs vastleggen en wat Claude doet met een pagina als je die geeft.

Op deze pagina
  1. De check van 5 minuten, stap voor stap
  2. Hoe leest Claude websites?
  3. Hoe controleer ik via robots.txt of Claude toegang heeft tot mijn website?
  4. Hoe test ik wat de agents van Claude van mijn server krijgen?
  5. Hoe zie ik of Claude mijn site echt bezoekt?
  6. Hoe test ik Claude zelf met mijn pagina?
  7. Wat als Claude mijn pagina kan lezen maar hem toch niet citeert?
  8. Hoe controleert AISeeWhy dit?

De check van 5 minuten, stap voor stap

  1. Open je robots.txt en controleer dat geen groep voor Claude-SearchBot, Claude-User of User-agent: * de pagina verbiedt. ClaudeBot telt alleen voor training.
  2. Voer een gratis controle van de pagina uit op AISeeWhy of stuur één verzoek met de user agent Claude-User: het moet status 200 krijgen en dezelfde tekst als een browser.
  3. Zoek in je toegangslog naar Claude-SearchBot en Claude-User en bekijk de statuscodes die ze kregen.
  4. Plak je URL in Claude met webzoeken aan, vraag het de pagina samen te vatten, stel daarna een vraag die je kopers stellen en controleer de bronvermeldingen.

Mislukt stap 1 of 2, los dan eerst de toegang op; de secties hieronder laten zien hoe. Leest Claude de pagina wel maar citeert het die niet, werk dan aan de content.

Hoe leest Claude websites?

Claude bereikt het web op twee manieren. Met zoeken op het web zoekt het als een vraag actuele informatie nodig heeft, bekijkt het meerdere bronnen en antwoordt het met bronvermeldingen. Volgens het helpcentrum van Anthropic bevat elk antwoord dat zoeken op het web gebruikt bronvermeldingen. Als iemand Claude een specifieke link geeft, kan het die pagina direct openen.

Anthropic documenteert hiervoor drie agents, elk met een eigen robots.txt-token. Claude-SearchBot crawlt om de zoekresultaten van Claude te verbeteren, Claude-User haalt pagina's op als de vraag van een gebruiker ze nodig heeft, en ClaudeBot verzamelt content die voor training kan worden gebruikt. Onze aparte gids over de drie crawlers van Anthropic beschrijft in detail wat elk ervan doet. Om gelezen en geciteerd te worden, zijn de eerste twee de crawlers die je moet controleren.

Eén eerlijke beperking: Anthropic documenteert niet welke zoekindex de zoekfunctie van Claude gebruikt of hoe het bronnen kiest. Het zegt wel dat het blokkeren van Claude-SearchBot je zichtbaarheid in zoekresultaten kan verminderen en dat het blokkeren van Claude-User het ophalen voor vragen van gebruikers verhindert. Beide toestaan maakt een bronvermelding mogelijk, maar garandeert die niet.

Hoe controleer ik via robots.txt of Claude toegang heeft tot mijn website?

Open https://yourdomain.com/robots.txt en zoek naar groepen die Claude-SearchBot of Claude-User noemen. Als geen van beide wordt genoemd, volgen ze allebei de groep User-agent: *. Volgens RFC 9309 is het matchen van tokens niet hoofdlettergevoelig, en een Disallow: / in de groep die van toepassing is, sluit de hele site af voor die agent.

Controleer ook het antwoord zelf. Een robots.txt die een serverfout geeft, vertelt crawlers dat ze moeten aannemen dat alles verboden is. Een 404 betekent: geen regels. Twee commando's tonen de status en elke groep in het bestand:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic zegt dat regels in de robots.txt op het hoogste niveau van elk subdomein moeten staan, dus blog.example.com heeft een eigen bestand nodig. Zulke blokkades zijn niet zeldzaam. In ons onderzoek naar de 1.000 populairste domeinen sloten 67 van de 518 sites die een robots.txt leverden (12,9%) de homepage uit voor Claude-SearchBot en 68 (13,1%) voor Claude-User, terwijl 110 (21,2%) dat deden voor de trainingscrawler ClaudeBot.

Hoe test ik wat de agents van Claude van mijn server krijgen?

robots.txt is een verzoek, geen toegangscontrole. Een firewall, cdn of botbescherming kan de agents van Anthropic een 403, een 429 of een challenge-pagina geven terwijl je eigen browser de pagina gewoon ziet. Anthropic zegt dat zijn bots niet proberen CAPTCHA's te omzeilen, dus bij een challenge-pagina eindigt het bezoek.

Vraag dezelfde URL op met de user agent van een browser en met elk token van Anthropic, en vergelijk dan status en grootte:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

De helppagina van Anthropic noemt de tokens maar publiceert geen volledige user-agentstrings, dus dit zijn teststrings, niet de echte van Anthropic. Ze laten zien hoe regels die op de naam matchen het verzoek behandelen. Een 403, 429 of 503 alleen bij de Claude-regels, of een 200 die veel kleiner is dan die van de browser, wijst op je firewall.

Je test komt van je eigen IP-adres. Anthropic zegt dat verzoeken van adressen in zijn lijst op claude.com/crawling/bots.json van Anthropic komen. Als je firewall geverifieerde crawlers op IP toelaat, kunnen de echte agents erdoor komen terwijl je test wordt geblokkeerd, en het omgekeerde kan ook. Gebruik de lijst om Anthropic toe te laten, niet om het te blokkeren: Anthropic raadt IP-blokkades af, omdat die zijn bots ook verhinderen je robots.txt te lezen.

Hoe zie ik of Claude mijn site echt bezoekt?

Je toegangslogs geven hier direct antwoord op. Zoek erin naar de drie tokens en controleer dan of de bronadressen binnen de gepubliceerde bereiken van Anthropic vallen, want iedereen kan de naam van een user agent kopiëren:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Het eerste commando gaat uit van het gangbare combined-logformaat, waarin veld 1 het adres van de client is en veld 9 de statuscode. Veel 403- of 429-codes bij de agents van Anthropic bevestigen een firewallprobleem. Helemaal geen bezoeken van Claude-SearchBot betekent alleen dat hij die pagina's nog niet heeft gecrawld, of dat iets eerder in de keten hem tegenhoudt.

Hoe test ik Claude zelf met mijn pagina?

Open een chat en plak de URL van een van je pagina's met een verzoek zoals "Vat deze pagina samen". Volgens het helpcentrum van Anthropic kan Claude, met zoeken op het web aan, links openen die je geeft. Staat zoeken op het web uit, zet het dan aan via het +-menu; in de nieuwere Claude-ervaring van Anthropic is er geen schakelaar en zoekt Claude wanneer dat helpt. Bij Team- en Enterprise-abonnementen moet een eigenaar zoeken op het web eerst voor de organisatie inschakelen. Kan Claude je pagina niet openen terwijl een browser dat wel kan, ga dan terug naar de firewalltest.

Stel daarna de vragen die je kopers stellen, zonder je site te noemen, en open de geciteerde bronnen. Anthropic zegt dat Claude een locatie die uit je IP-adres is afgeleid kan gebruiken voor lokale resultaten, dus antwoorden kunnen per plaats en per keer verschillen.

Ontwikkelaars kunnen dit herhalen via de Claude API. De zoektool voor het web accepteert een lijst allowed_domains, dus een verzoek dat tot je domein is beperkt, laat zien of de zoekfunctie van Claude voor een vraag een van je pagina's teruggeeft:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Lege zoekresultaten betekenen dat de zoekfunctie van Claude voor die vraag niets op dat domein vond. Anthropic rekent voor zoekopdrachten via de API kosten bovenop de tokens. De web-fetchtool van de API meldt ook waarom een pagina niet gelezen kon worden: url_not_allowed dekt blokkades zoals robots.txt, en url_not_accessible betekent een HTTP-fout. Antwoorden via de API kunnen verschillen van wat de Claude-apps tonen.

Wat als Claude mijn pagina kan lezen maar hem toch niet citeert?

Zorg eerst dat de tekst die het nodig heeft in de HTML staat die je server stuurt. De API-documentatie van Anthropic zegt dat de web-fetchtool geen websites ondersteunt die met JavaScript worden gerenderd, en Anthropic zegt nergens dat zijn crawlers scripts renderen. Haal je pagina op met curl en zoek in de uitvoer naar een zin uit je hoofdcontent. Ontbreekt die, dan lost server-side rendering of prerendering dit op voor Claude en voor de meeste andere AI-crawlers.

Daarna beslist de pagina zelf. Zet het antwoord op de hoofdvraag van de pagina in de eerste zinnen, gebruik koppen die overeenkomen met de vragen die mensen stellen, noem de uitgever en toon datums. Vergelijk je pagina dan met de pagina die Claude voor dezelfde vraag citeert: de geciteerde pagina beantwoordt precies die vraag vaak directer.

Hoe controleert AISeeWhy dit?

De gratis controle van AISeeWhy haalt je pagina op als Claude-SearchBot, Claude-User, ClaudeBot en de andere AI- en zoekcrawlers naast een echte browser, past je robots.txt op elk ervan toe, herkent challenge-pagina's en laat zien hoeveel tekst er zonder JavaScript aankomt. De AI-zichtbaarheidscontrole, in de betaalde abonnementen, stelt je vragen via Claude met zoeken op het web en je eigen API-sleutel, en laat zien of je merk of domein wordt genoemd of geciteerd.

Gratis tools

Volgende stappen

Crawlers in dit artikel

Veelgestelde vragen

Kan ik gratis controleren of Claude mijn site kan zien?

Ja. Je robots.txt, een curl-verzoek, je serverlog en een vraag in Claude kosten niets. De gratis controle van AISeeWhy test de agents van Anthropic en 13 andere crawlers voor één pagina per dag, zonder account.

Waarom kan Claude mijn website niet openen als ik de link plak?

De gebruikelijke oorzaken zijn een firewall of botbescherming die de agents van Anthropic een 403 of een challenge-pagina geeft, een robots.txt-regel die Claude-User uitsluit, of een pagina waarvan de tekst pas verschijnt nadat JavaScript is uitgevoerd. Test de URL met curl als browser en met de Claude-tokens, en zoek in je logs naar geblokkeerde verzoeken.

Publiceert Anthropic een user-agentstring waarmee ik kan testen?

De crawlerhelppagina van Anthropic noemt de tokens ClaudeBot, Claude-SearchBot en Claude-User, maar geen volledige user-agentstrings. Om echt verkeer van Anthropic te onderscheiden van imitators vergelijk je het bron-IP met de lijst op claude.com/crawling/bots.json.

Hoe lang duurt het voordat een wijziging in robots.txt Claude bereikt?

Anthropic noemt geen termijn. RFC 9309 zegt dat crawlers een gecachte robots.txt niet langer dan 24 uur mogen gebruiken, dus wacht minstens een dag voordat je het resultaat in je logs of in de antwoorden van Claude beoordeelt.

Geeft de Claude API dezelfde antwoorden als de Claude-app?

Niet per se. De app kan je geschatte locatie en zijn eigen instellingen gebruiken, terwijl een API-verzoek de tools en parameters gebruikt die jij meestuurt. Zie API-resultaten als een herhaalbare test, niet als een kopie van wat elke gebruiker ziet.

Hoe weet ik of Claude mijn merk noemt?

Stel Claude, met zoeken op het web aan, de vragen die je kopers stellen, en noteer of het je site noemt of citeert en welke concurrenten in plaats daarvan verschijnen. Herhaal elke vraag over meerdere weken, want antwoorden variëren. De AI-zichtbaarheidscontrole van AISeeWhy doet dit wekelijks via de Claude API met je eigen sleutel, naast maximaal vier concurrenten.

Bronnen

Meer artikelen