Kann Claude meine Website sehen? So prüfen Sie es

Veröffentlicht · Aktualisiert

Kurz gesagt

Claude kann Ihre Seite nur lesen, wenn Ihre robots.txt die Agenten von Anthropic zulässt und Ihr Server ihnen dasselbe HTML schickt wie einem Browser. Prüfen Sie, dass die robots.txt Claude-SearchBot und Claude-User nicht sperrt, dass Ihre Firewall ihnen nicht mit einem 403 oder einer Challenge-Seite antwortet und dass der Haupttext im ursprünglichen HTML steht. Testen Sie dann Claude selbst: Fügen Sie Ihre URL in einen Chat ein und stellen Sie bei aktivierter Websuche die Fragen Ihrer Käufer.

Wenn Sie Claude nach Ihrem Produkt fragen und es andere Websites zitiert, lautet die erste Frage, ob es Ihre überhaupt erreicht. Darauf gibt es eine prüfbare Antwort. Anthropic veröffentlicht die robots.txt-Tokens seiner Agenten und die IP-Adressen, von denen sie kommen, und Claude zeigt die Quellen, die es verwendet hat. Sie können also jeden Schritt der Reihe nach prüfen: was Ihre robots.txt sagt, was Ihr Server sendet, was Ihre Logs aufzeichnen und was Claude mit einer Seite macht, wenn Sie sie ihm geben.

Auf dieser Seite
  1. Der 5-Minuten-Check, Schritt für Schritt
  2. Wie liest Claude Websites?
  3. Wie prüfe ich in der robots.txt, ob Claude auf meine Website zugreifen darf?
  4. Wie teste ich, was die Agenten von Claude von meinem Server erhalten?
  5. Wie sehe ich, ob Claude meine Website tatsächlich besucht?
  6. Wie teste ich Claude selbst mit meiner Seite?
  7. Was, wenn Claude meine Seite lesen kann, sie aber trotzdem nicht zitiert?
  8. Wie prüft AISeeWhy das?

Der 5-Minuten-Check, Schritt für Schritt

  1. Öffnen Sie Ihre robots.txt und stellen Sie sicher, dass keine Gruppe für Claude-SearchBot, Claude-User oder User-agent: * die Seite sperrt. ClaudeBot ist nur für das Training relevant.
  2. Starten Sie eine kostenlose Prüfung der Seite bei AISeeWhy oder senden Sie eine Anfrage mit dem User-Agent Claude-User: Sie muss Status 200 und denselben Text wie ein Browser erhalten.
  3. Durchsuchen Sie Ihr Zugriffslog nach Claude-SearchBot und Claude-User und sehen Sie sich die Statuscodes an, die sie erhalten haben.
  4. Fügen Sie Ihre URL mit eingeschalteter Websuche in Claude ein, lassen Sie die Seite zusammenfassen, stellen Sie dann eine Frage, die Ihre Käufer stellen, und prüfen Sie die Quellenangaben.

Wenn Schritt 1 oder 2 fehlschlägt, beheben Sie zuerst den Zugriff; die Abschnitte unten zeigen, wie. Wenn Claude die Seite liest, sie aber nicht zitiert, arbeiten Sie am Inhalt.

Wie liest Claude Websites?

Claude gelangt auf zwei Wegen ins Web. Mit der Websuche sucht es, wenn eine Frage aktuelle Informationen braucht, sichtet mehrere Quellen und antwortet mit Quellenangaben. Laut dem Hilfe-Center von Anthropic enthält jede Antwort, die die Websuche nutzt, Quellenangaben. Wenn jemand Claude einen bestimmten Link gibt, kann es diese Seite direkt öffnen.

Anthropic dokumentiert dafür drei Agenten, jeden mit eigenem robots.txt-Token. Claude-SearchBot crawlt, um die Suchergebnisse von Claude zu verbessern, Claude-User ruft Seiten ab, wenn die Frage eines Nutzers sie braucht, und ClaudeBot sammelt Inhalte, die für das Training verwendet werden können. Unser eigener Leitfaden zu den drei Crawlern von Anthropic beschreibt im Detail, was jeder tut. Um gelesen und zitiert zu werden, sind die ersten beiden zu prüfen.

Eine ehrliche Grenze: Anthropic dokumentiert nicht, welchen Suchindex die Websuche von Claude nutzt oder wie sie Quellen auswählt. Laut Anthropic kann eine Sperre von Claude-SearchBot Ihre Sichtbarkeit in Suchergebnissen verringern, und eine Sperre von Claude-User verhindert den Abruf für Nutzerfragen. Wenn beide erlaubt sind, ist ein Zitat möglich, aber nicht garantiert.

Wie prüfe ich in der robots.txt, ob Claude auf meine Website zugreifen darf?

Öffnen Sie https://yourdomain.com/robots.txt und suchen Sie nach Gruppen, die Claude-SearchBot oder Claude-User nennen. Wird keiner von beiden genannt, folgen beide der Gruppe User-agent: *. Nach RFC 9309 wird beim Token nicht zwischen Groß- und Kleinschreibung unterschieden, und ein Disallow: / in der jeweils geltenden Gruppe sperrt die ganze Website für diesen Agenten.

Prüfen Sie auch die Antwort selbst. Eine robots.txt, die einen Serverfehler zurückgibt, sagt Crawlern, dass sie alles als gesperrt behandeln sollen. Ein 404 bedeutet: keine Regeln. Zwei Befehle zeigen den Status und jede Gruppe in der Datei:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Laut Anthropic müssen die Regeln in der robots.txt auf oberster Ebene jeder Subdomain stehen, blog.example.com braucht also eine eigene Datei. Solche Sperren sind nicht selten. In unserer Studie der 1.000 beliebtesten Domains sperrten von den 518 Websites mit einer robots.txt 67 (12,9 %) die Startseite für Claude-SearchBot und 68 (13,1 %) für Claude-User, während 110 (21,2 %) dies für den Trainings-Crawler ClaudeBot taten.

Wie teste ich, was die Agenten von Claude von meinem Server erhalten?

Die robots.txt ist eine Bitte, keine Zugriffskontrolle. Eine Firewall, ein CDN oder ein Bot-Schutz kann den Agenten von Anthropic mit einem 403, einem 429 oder einer Challenge-Seite antworten, während Ihr eigener Browser die Seite normal sieht. Laut Anthropic versuchen seine Bots nicht, CAPTCHAs zu umgehen, eine Challenge-Seite beendet den Besuch also.

Rufen Sie dieselbe URL mit einem Browser-User-Agent und mit jedem Anthropic-Token ab und vergleichen Sie Status und Größe:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Die Hilfeseite von Anthropic nennt die Tokens, veröffentlicht aber keine vollständigen User-Agent-Strings; dies sind also Test-Strings, nicht die echten von Anthropic. Sie zeigen, wie Regeln, die auf den Namen reagieren, die Anfrage behandeln. Ein 403, 429 oder 503 nur in den Claude-Zeilen oder ein 200, das deutlich kleiner ist als beim Browser, deutet auf Ihre Firewall hin.

Ihr Test kommt von Ihrer eigenen IP-Adresse. Laut Anthropic stammen Anfragen von Adressen aus seiner Liste unter claude.com/crawling/bots.json von Anthropic. Wenn Ihre Firewall verifizierte Crawler anhand der IP zulässt, kommen die echten Agenten womöglich durch, während Ihr Test blockiert wird, und umgekehrt ist es ebenso möglich. Nutzen Sie die Liste, um Anthropic zuzulassen, nicht um es zu sperren: Anthropic rät von IP-Sperren ab, weil sie seine Bots auch daran hindern, Ihre robots.txt zu lesen.

Wie sehe ich, ob Claude meine Website tatsächlich besucht?

Ihre Zugriffs-Logs beantworten das direkt. Durchsuchen Sie sie nach den drei Tokens und prüfen Sie dann, ob die Quelladressen in den veröffentlichten Bereichen von Anthropic liegen, denn jeder kann den Namen eines User-Agents kopieren:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Der erste Befehl setzt das verbreitete Combined Log Format voraus, in dem Feld 1 die Client-Adresse und Feld 9 der Statuscode ist. Viele 403- oder 429-Codes neben den Agenten von Anthropic bestätigen ein Firewall-Problem. Gar keine Besuche von Claude-SearchBot bedeuten nur, dass er diese Seiten noch nicht gecrawlt hat oder dass ihn vorher etwas aufhält.

Wie teste ich Claude selbst mit meiner Seite?

Öffnen Sie einen Chat und fügen Sie die URL einer Ihrer Seiten mit einer Bitte wie „Fasse diese Seite zusammen“ ein. Laut dem Hilfe-Center von Anthropic kann Claude bei aktivierter Websuche Links öffnen, die Sie angeben. Ist die Websuche aus, schalten Sie sie im Menü + ein; in der neueren Claude-Oberfläche von Anthropic gibt es keinen Schalter, und Claude sucht, wenn es hilft. In den Plänen Team und Enterprise muss ein Owner die Websuche zuerst für die Organisation aktivieren. Wenn Claude Ihre Seite nicht öffnen kann, ein Browser aber schon, gehen Sie zurück zum Firewall-Test.

Stellen Sie dann die Fragen, die Ihre Käufer stellen, ohne Ihre Website zu nennen, und öffnen Sie die zitierten Quellen. Laut Anthropic kann Claude für lokalisierte Ergebnisse einen aus Ihrer IP-Adresse abgeleiteten Standort nutzen, sodass Antworten je nach Ort und von Durchlauf zu Durchlauf abweichen können.

Entwickler können das über die Claude API wiederholen. Das Websuche-Tool nimmt eine Liste allowed_domains entgegen, sodass eine auf Ihre Domain beschränkte Anfrage zeigt, ob die Suche von Claude für eine Frage überhaupt eine Ihrer Seiten liefert:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Leere Suchergebnisse bedeuten, dass die Suche von Claude für diese Frage auf der Domain nichts gefunden hat. Anthropic berechnet Websuchen über die API zusätzlich zu den Tokens. Das Web-Fetch-Tool der API meldet außerdem, warum eine Seite nicht gelesen werden konnte: url_not_allowed steht für Sperren wie die robots.txt, url_not_accessible für einen HTTP-Fehler. API-Antworten können von dem abweichen, was die Claude-Apps zeigen.

Was, wenn Claude meine Seite lesen kann, sie aber trotzdem nicht zitiert?

Stellen Sie zuerst sicher, dass der benötigte Text im HTML steht, das Ihr Server sendet. Laut der API-Dokumentation von Anthropic unterstützt sein Web-Fetch-Tool keine Websites, die mit JavaScript gerendert werden, und Anthropic sagt nicht, dass seine Crawler Skripte ausführen. Rufen Sie Ihre Seite mit curl ab und suchen Sie in der Ausgabe nach einem Satz aus Ihrem Hauptinhalt. Fehlt er, lösen serverseitiges Rendering oder Prerendering das Problem für Claude und die meisten anderen KI-Crawler.

Danach entscheidet die Seite selbst. Beantworten Sie die Hauptfrage der Seite in den ersten Sätzen, verwenden Sie Überschriften, die den Fragen der Leute entsprechen, nennen Sie den Herausgeber und zeigen Sie Daten an. Vergleichen Sie Ihre Seite dann mit der, die Claude für dieselbe Frage zitiert: Die zitierte Seite beantwortet genau diese Frage oft direkter.

Wie prüft AISeeWhy das?

Die kostenlose AISeeWhy-Prüfung ruft Ihre Seite als Claude-SearchBot, Claude-User, ClaudeBot und die anderen KI- und Such-Crawler neben einem echten Browser ab, wendet Ihre robots.txt auf jeden an, erkennt Challenge-Seiten und zeigt, wie viel Text ohne JavaScript ankommt. Die KI-Sichtbarkeitsprüfung in den bezahlten Plänen stellt Ihre Fragen über Claude mit Websuche und Ihrem eigenen API-Schlüssel und zeigt, ob Ihre Marke oder Domain genannt oder zitiert wird.

Kostenlose Tools

Nächste Schritte

Crawler in diesem Artikel

Häufige Fragen

Kann ich kostenlos prüfen, ob Claude meine Website sehen kann?

Ja. Ihre robots.txt, eine curl-Anfrage, Ihr Server-Log und eine Frage in Claude kosten nichts. Die kostenlose Prüfung von AISeeWhy testet die Agenten von Anthropic und 13 weitere Crawler für eine Seite pro Tag ohne Konto.

Warum kann Claude meine Website nicht öffnen, wenn ich den Link einfüge?

Die üblichen Ursachen sind eine Firewall oder ein Bot-Schutz, der den Agenten von Anthropic mit einem 403 oder einer Challenge-Seite antwortet, eine robots.txt-Regel, die Claude-User sperrt, oder eine Seite, deren Text erst nach dem Ausführen von JavaScript erscheint. Testen Sie die URL mit curl als Browser und mit den Claude-Tokens und suchen Sie in Ihren Logs nach blockierten Anfragen.

Veröffentlicht Anthropic einen User-Agent-String, mit dem ich testen kann?

Die Crawler-Hilfeseite von Anthropic nennt die Tokens ClaudeBot, Claude-SearchBot und Claude-User, aber keine vollständigen User-Agent-Strings. Um echten Anthropic-Traffic von Nachahmern zu unterscheiden, vergleichen Sie die Quell-IP mit der Liste unter claude.com/crawling/bots.json.

Wie lange dauert es, bis eine robots.txt-Änderung bei Claude ankommt?

Anthropic nennt keine Zeit. Laut RFC 9309 sollen Crawler eine zwischengespeicherte robots.txt nicht länger als 24 Stunden verwenden; warten Sie also mindestens einen Tag, bevor Sie das Ergebnis in Ihren Logs oder in den Antworten von Claude beurteilen.

Gibt die Claude API dieselben Antworten wie die Claude-App?

Nicht unbedingt. Die App kann Ihren ungefähren Standort und eigene Einstellungen nutzen, während eine API-Anfrage die Tools und Parameter verwendet, die Sie senden. Betrachten Sie API-Ergebnisse als wiederholbaren Test, nicht als Kopie dessen, was jeder Nutzer sieht.

Wie erfahre ich, ob Claude meine Marke nennt?

Stellen Sie Claude bei aktivierter Websuche die Fragen Ihrer Käufer und notieren Sie, ob es Ihre Website nennt oder zitiert und welche Wettbewerber stattdessen erscheinen. Wiederholen Sie jede Frage über mehrere Wochen, weil die Antworten schwanken. Die KI-Sichtbarkeitsprüfung von AISeeWhy macht das wöchentlich über die Claude API mit Ihrem Schlüssel, neben bis zu vier Wettbewerbern.

Quellen

Weitere Artikel