Kann Gemini meine Website sehen? So prüfen Sie es

Veröffentlicht · Aktualisiert

Kurz gesagt

Gemini kann Ihre Seite für eine fundierte Antwort (Grounding) nur nutzen, wenn sie im Google-Suchindex ist und Ihre robots.txt das Token Google-Extended nicht sperrt. Laut Google liefert das Grounding in der Gemini-App dem Modell Inhalte aus dem Google-Suchindex, und Google-Extended steuert, ob Ihre Inhalte dafür verwendet werden dürfen. Prüfen Sie also die Indexierung in der Search Console, die robots.txt auf Googlebot und Google-Extended, stellen Sie Gemini dann die Fragen Ihrer Käufer und öffnen Sie die Quellen.

Gemini hat keinen Crawler, nach dem Sie in Ihren Logs suchen können, wie bei anderen Assistenten. Google crawlt mit seinen bestehenden Crawlern, und ein robots.txt-Token entscheidet, was Gemini mit den Inhalten tun darf. Deshalb läuft die Prüfung anders: Das meiste passiert in der Google Search Console und in Ihrer robots.txt, der letzte Schritt in Gemini selbst.

Auf dieser Seite
  1. Der 5-Minuten-Check, Schritt für Schritt
  2. Wie bekommt Gemini Informationen von Websites?
  3. Wie prüfe ich, ob Google meine Seite indexiert hat?
  4. Hindert Google-Extended Gemini daran, meine Website zu nutzen?
  5. Kann eine Firewall Google blockieren, während Browser durchkommen?
  6. Wie sehe ich, ob Gemini meine Website nutzt oder zitiert?
  7. Wirken sich AI Overviews, AI Mode und Snippet-Regeln auf Gemini aus?
  8. Wie prüft AISeeWhy das?

Der 5-Minuten-Check, Schritt für Schritt

  1. Suchen Sie bei Google nach site: plus Ihrer Seitenadresse oder nutzen Sie die URL-Prüfung in der Search Console, um zu bestätigen, dass die Seite im Google-Index ist.
  2. Öffnen Sie Ihre robots.txt und stellen Sie sicher, dass Googlebot die Seite abrufen darf und Google-Extended nicht gesperrt ist, es sei denn, Sie haben sich bewusst dagegen entschieden.
  3. Starten Sie eine kostenlose Prüfung der Seite bei AISeeWhy oder senden Sie eine Anfrage mit dem User-Agent Googlebot: Sie muss Status 200 und denselben Text wie ein Browser erhalten.
  4. Stellen Sie Gemini eine Frage, die Ihre Seite beantwortet, und öffnen Sie die Quellen, die es unter der Antwort anzeigt.

Wenn die Seite nicht indexiert ist, kann das Grounding von Gemini sie nicht nutzen; beginnen Sie also mit Schritt 1. Die Abschnitte unten erklären jeden Schritt und was zu tun ist, wenn er fehlschlägt.

Wie bekommt Gemini Informationen von Websites?

Laut dem Datenschutz-Hub für Gemini-Apps beruhen manche Gemini-Antworten auf Suchergebnissen. Die Crawler-Dokumentation von Google definiert Grounding als das Bereitstellen von Inhalten aus dem Google-Suchindex an das Modell zum Zeitpunkt des Prompts, um Faktentreue und Relevanz zu verbessern. Dieselbe Seite sagt, dass Google-Extended steuert, ob von Google gecrawlte Inhalte für das Training von Gemini-Modellen und für das Grounding in Gemini-Apps und in Grounding with Google Search auf Vertex AI verwendet werden dürfen.

Google-Extended hat keinen eigenen User-Agent-String. Laut Google wird mit den bestehenden User-Agents gecrawlt, und das Token wirkt nur in der robots.txt als Steuerung. In der Praxis ergeben sich daraus zwei Bedingungen, damit Gemini Ihre Seite nutzen kann: Google muss sie im Index haben, und Ihre robots.txt darf Google-Extended für sie nicht sperren.

Google dokumentiert nicht, wie Gemini auswählt, welche indexierten Seiten es nutzt oder zitiert. Sind beide Bedingungen erfüllt, ist Ihre Seite verfügbar; dass Gemini sie auswählt, ist damit nicht garantiert.

Wie prüfe ich, ob Google meine Seite indexiert hat?

Nutzen Sie das URL-Prüftool in der Google Search Console. Für die indexierte Version zeigt es:

„Live-URL testen“ ruft die Seite in Echtzeit ab, und „Getestete Seite anzeigen“ zeigt einen Screenshot und das HTML, das Google erhalten hat. Ist der Screenshot eine Challenge-Seite oder fehlt im HTML Ihr Haupttext, sieht Google und damit auch Gemini Ihre Inhalte nicht. „Indexierung beantragen“ bittet Google, die URL erneut zu crawlen; laut Google dauert das meist etwa einen Tag, ohne Garantie auf Indexierung.

Hindert Google-Extended Gemini daran, meine Website zu nutzen?

Öffnen Sie Ihre robots.txt und suchen Sie nach einer Gruppe, die Google-Extended nennt. Ein Disallow: / dort sagt Google, Ihre Seiten weder für das Gemini-Training noch für das Grounding in Gemini-Apps zu verwenden. Laut Google beeinflusst das Token weder die Aufnahme in die Google-Suche noch ist es ein Rankingsignal, deshalb wird diese Sperre leicht übersehen: Ihr Such-Traffic sieht normal aus, während Gemini seine Antworten nicht auf Ihre Seiten stützen kann. Unser eigener Artikel zu AI Overviews und Google-Extended beschreibt, was das Token in der Suche steuert und was nicht.

Da das Token nie in Anfragen auftaucht, können Sie es weder mit curl testen noch in Logs finden. Die Datei zu lesen ist die einzige Prüfung:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Groß- und Kleinschreibung spielen beim Abgleich keine Rolle, und wenn keine Gruppe Google-Extended nennt, gilt für das Token die Gruppe *. Viele Websites haben diese Sperre eingefügt, als das KI-Training erstmals diskutiert wurde. In unserer Studie der 1.000 beliebtesten Domains nannten 114 der 518 Websites mit einer robots.txt Google-Extended, und 94 (18,1 %) sperrten dafür ihre Startseite. Prüfen Sie, ob das noch Ihrem Willen entspricht, denn die Sperre deckt auch das Grounding ab.

Kann eine Firewall Google blockieren, während Browser durchkommen?

Ja. Wenn Bot-Schutz oder ein Rate Limit den Crawlern von Google mit einem 403, einem 429 oder einer Challenge-Seite antwortet, kann Google die Seite nicht crawlen, und mit der Zeit kann sie aus der Suche und damit aus dem Grounding von Gemini fallen. Das URL-Prüftool ist hier der beste Test, weil Google von seinen eigenen Adressen abruft; ein curl-Test von Ihrem Computer zeigt nur, wie Ihre Regeln den User-Agent behandeln.

Um Google sicher zuzulassen, prüfen Sie den Besucher, statt dem Namen zu vertrauen. Google dokumentiert eine Reverse-DNS-Abfrage gefolgt von einer Forward-Abfrage und veröffentlicht die IP-Bereiche seiner gängigen Crawler in common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Ersetzen Sie die Beispieladresse durch eine aus Ihren Logs. Passen die beiden Abfragen nicht zusammen, gibt sich die Anfrage nur als Google aus.

Wie sehe ich, ob Gemini meine Website nutzt oder zitiert?

Stellen Sie Gemini die Fragen Ihrer Käufer, ohne Ihre Website zu nennen, und öffnen Sie die Quellen. Laut dem Google-Hilfe-Center erscheint die Schaltfläche „Quellen“ unten in einer Antwort oder im Text und öffnet einen Bereich mit verwandten Links, darunter öffentliche Websites. Gibt es keine Schaltfläche „Quellen“, hat Gemini für diese Antwort keine Links geliefert; Google weist darauf hin, dass nicht alle Antworten welche enthalten. Notieren Sie, welche Domains erscheinen, und wiederholen Sie dieselben Fragen über einige Wochen.

Entwickler können denselben Test über die Gemini API mit Grounding with Google Search durchführen. Laut Google verbindet das das Modell mit Webinhalten in Echtzeit, und fundierte Antworten tragen Quellenangaben mit URL und Titel jeder Quelle, sodass Sie prüfen können, ob Ihre Domain erscheint. API-Antworten können von dem abweichen, was die Gemini-App zeigt.

Einige Abrufe mit Bezug zu Gemini erreichen Ihren Server durchaus. Google listet von Nutzern ausgelöste Fetcher wie Google-GeminiNotebook, das URLs abruft, die Nutzer einem Gemini-Notebook-Projekt als Quellen hinzufügen, und Google-Agent, das Agenten auf Googles Infrastruktur nutzen, die im Auftrag eines Nutzers handeln. Laut Google ignorieren diese Fetcher die robots.txt in der Regel, weil ein Nutzer den Abruf angefordert hat. Ihre Besuche zeigen, dass Menschen Ihre Seiten über diese Produkte öffnen; sie sind nicht der oben beschriebene Weg des Groundings.

Wirken sich AI Overviews, AI Mode und Snippet-Regeln auf Gemini aus?

AI Overviews und AI Mode sind Funktionen der Google-Suche mit eigenen Steuerungen. Google nennt nosnippet, data-nosnippet, max-snippet und noindex als Wege, um zu begrenzen, was von Ihren Seiten angezeigt wird. Die Dokumentation zum Robots-Meta-Tag sagt, dass nosnippet auch verhindert, dass Inhalte als direkte Eingabe für AI Overviews und AI Mode verwendet werden, und dass max-snippet begrenzt, wie viel verwendet werden darf. Die Search Console hat außerdem eine websiteweite Einstellung für generative KI in der Suche, mit der sich eine Website von AI Overviews, AI Mode und Funktionen mit generativer KI in Discover ausschließen lässt.

Keine dieser Seiten erwähnt die Gemini-App. Gehen Sie nicht davon aus, dass eine Snippet-Regel oder die Einstellung in der Search Console das Grounding von Gemini ändert oder dass Google-Extended AI Overviews ändert. noindex ist die Ausnahme: Nach Googles Definition des Groundings kann eine Seite außerhalb des Suchindex dafür nicht genutzt werden. Um vergessene Snippet-Regeln zu finden, prüfen Sie das HTML und die Header:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Wie prüft AISeeWhy das?

Die kostenlose AISeeWhy-Prüfung ruft Ihre Seite als Googlebot und die anderen KI- und Such-Crawler neben einem echten Browser ab, wendet Ihre robots.txt auf jeden an, einschließlich des Tokens Google-Extended, erkennt Challenge-Seiten und zeigt, wie viel Text ohne JavaScript ankommt. Die KI-Sichtbarkeitsprüfung in den bezahlten Plänen stellt Ihre Fragen über die Gemini API mit Grounding in der Google-Suche und Ihrem eigenen Schlüssel und zeigt, ob Ihre Marke oder Domain genannt oder zitiert wird. AI Overviews und AI Mode fragt sie nicht ab.

Kostenlose Tools

Nächste Schritte

Crawler in diesem Artikel

Häufige Fragen

Kann ich kostenlos prüfen, ob Gemini meine Website sehen kann?

Ja. Search Console, eine site:-Suche, Ihre robots.txt und eine Frage in Gemini kosten nichts. Die kostenlose Prüfung von AISeeWhy testet Googlebot, die Google-Extended-Regel und 14 weitere Crawler für eine Seite pro Tag.

Hat Gemini einen eigenen Crawler?

Nicht für das Grounding. Laut Google hat Google-Extended keinen User-Agent-String, und gecrawlt wird mit den bestehenden Crawlern. Eigene, von Nutzern ausgelöste Fetcher wie Google-GeminiNotebook und Google-Agent besuchen Seiten, wenn ein Nutzer es verlangt, und ignorieren laut Google die robots.txt in der Regel.

Kann Gemini meine Marke noch nennen, wenn ich Google-Extended sperre?

Laut Google verwendet es Ihre Inhalte dann nicht für das Grounding in Gemini-Apps. Diese Regel gilt für Ihre eigenen Seiten. Zu Inhalten auf anderen Websites, die über Sie schreiben, sagt Google nichts, daher kann Gemini Ihre Marke aus diesen Quellen weiterhin nennen.

Wie lange dauert es, bis eine robots.txt-Änderung bei Gemini ankommt?

Google nennt für Gemini keine Zeit. Laut der robots.txt-Dokumentation speichert Google die Datei im Allgemeinen bis zu 24 Stunden zwischen; warten Sie also mindestens einen Tag, bevor Sie erneut testen, und länger bei Seiten, die Google selten neu crawlt.

Nutzen AI Overviews und Gemini dieselben Quellen?

Google dokumentiert nicht, wie beide zusammenhängen. Beide greifen auf den Google-Index zu, haben aber unterschiedliche Steuerungen: Snippet-Regeln und die Einstellung in der Search Console für AI Overviews und AI Mode, Google-Extended für das Grounding von Gemini. Prüfen Sie sie getrennt.

Wie verfolge ich die Antworten von Gemini über die Zeit?

Führen Sie eine feste Liste von Käuferfragen, stellen Sie sie Gemini regelmäßig und notieren Sie, welche Domains in den Quellen erscheinen. Die KI-Sichtbarkeitsprüfung von AISeeWhy stellt Ihre Fragen wöchentlich über die Gemini API mit Grounding in der Google-Suche und zeigt Erwähnungen neben bis zu vier Wettbewerbern. Ergebnisse aus der API können von der Gemini-App abweichen.

Quellen

Weitere Artikel