12 AEO-Prüfungen, bevor Sie eine Seite veröffentlichen (2027)
Prüfen Sie vor dem Veröffentlichen, dass die URL ohne Weiterleitungen 200 liefert, die robots.txt jeden KI-Such-Crawler zulässt, Ihre Firewall ihnen die echte Seite ausliefert und die Antwort im rohen HTML steht. Prüfen Sie dann auf vergessenes noindex oder nosnippet, ein einziges Canonical, eine Antwort unter der H1, gültiges und passendes JSON-LD, übereinstimmende Daten, einen Sitemap-Eintrag mit internen Links und hreflang, und beantragen Sie die Indexierung.
Die meisten Seiten, die nie in KI-Antworten auftauchen, scheitern an etwas Banalem: einem übrig gebliebenen noindex, einer Firewall-Regel, einem Canonical, das aufs Staging zeigt. Diese zwölf Prüfungen finden so etwas vor dem Livegang. Jede dauert ein paar Minuten, für die meisten brauchen Sie nur ein Terminal und die URL der Seite, und sie stehen in der Reihenfolge, in der ein Crawler auf sie trifft.
Auf dieser Seite
- Wie lange dauert jede Prüfung?
- 1. Die URL liefert 200 ohne Weiterleitungskette
- 2. Die robots.txt lässt die Seite für jeden KI-Such-Crawler zu
- 3. Die Firewall liefert KI-Crawlern die echte Seite
- 4. Die Antwort steht im rohen HTML
- 5. Kein übrig gebliebenes noindex oder nosnippet
- 6. Ein einziges Canonical, absolut und auf sich selbst verweisend
- 7. Titel und H1 sagen, was die Seite beantwortet, und die Antwort folgt direkt darunter
- 8. Das JSON-LD ist gültig und passt zum sichtbaren Text
- 9. Sichtbares Datum, Datum im Markup und lastmod in der Sitemap stimmen überein
- 10. Die Seite steht in der Sitemap und ist von verwandten Seiten verlinkt
- 11. hreflang ist wechselseitig und hat x-default
- 12. Bitten Sie Suchmaschinen, die neue Seite zu crawlen
- Wie wir diese Prüfungen ausgewählt haben
Wie lange dauert jede Prüfung?
Ein grober Richtwert für eine Seite, mit dem nötigen Werkzeug. Führen Sie die Prüfungen 1 bis 5 für jede Seite durch, die übrigen einmal pro Vorlage und danach als Stichprobe.
- 1. Status 200: 1 Minute, curl.
- 2. robots.txt je Crawler: 3 Minuten, Browser oder curl.
- 3. Antwort der Firewall: 3 Minuten, curl.
- 4. Text im rohen HTML: 2 Minuten, curl.
- 5. Kein vergessenes noindex oder nosnippet: 2 Minuten, curl.
- 6. Ein einziges Canonical: 2 Minuten, Quelltext anzeigen.
- 7. Titel, H1 und Kurzantwort: 5 Minuten, die Seite lesen.
- 8. JSON-LD gültig und passend: 5 Minuten, Test für Rich-Suchergebnisse oder Schema Markup Validator.
- 9. Daten stimmen überein: 3 Minuten, Seite, Markup und Sitemap.
- 10. Sitemap und interne Links: 5 Minuten, sitemap.xml und Ihr CMS.
- 11. hreflang: 5 Minuten, nur für mehrsprachige Websites.
- 12. Indexierung beantragen: 2 Minuten, Search Console und IndexNow.
1. Die URL liefert 200 ohne Weiterleitungskette
Ein Crawler sollte die Seite selbst mit Status 200 unter genau der URL bekommen, die Sie teilen und in der Sitemap führen. Jede Weiterleitung ist ein weiterer Schritt, der scheitern kann, und eine Seite, die mit 200 und der Meldung „nicht gefunden“ antwortet, ist ein Soft 404, den Suchmaschinen verwerfen können.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ Bestanden: 200 redirects=0 und dieselbe URL zurück. Lösung: Verlinken Sie die endgültige URL, führen Sie sie in der Sitemap und lassen Sie von alten Adressen höchstens eine Weiterleitung zu.
2. Die robots.txt lässt die Seite für jeden KI-Such-Crawler zu
Lesen Sie die robots.txt so, wie jeder Crawler sie liest. Eine Gruppe, die einen Crawler namentlich nennt, ersetzt für ihn die Gruppe User-agent: *, und nach RFC 9309 gewinnt die längste passende Regel, bei Gleichstand gewinnt Allow.
Prüfen Sie mindestens OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot und Googlebot. Ein neuer Bereich wie /guides/ kann von einer alten Regel Disallow: /g erfasst werden, weil Regeln auf Pfadanfänge passen. Prüfen Sie auch, dass die robots.txt selbst 200 oder 404 liefert: Nach RFC 9309 sollen Crawler bei einem Serverfehler annehmen, dass die ganze Website gesperrt ist.
Bestanden: Keine Regel für eines dieser Tokens sperrt den Pfad. Unser Leitfaden zum Testen der robots.txt zeigt, wie Sie eine URL für einen Crawler testen.
3. Die Firewall liefert KI-Crawlern die echte Seite
Rufen Sie die Seite mit einem Browser-User-Agent und mit Crawler-User-Agents ab und vergleichen Sie Status und Größe. Ein Bot-Schutz, der auf den Namen reagiert, kann nur Crawlern einen 403, einen 429 oder eine Challenge-Seite zurückgeben.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Bestanden: Jede Zeile zeigt 200 und eine ähnliche Größe. Eine deutlich kleinere Größe bedeutet meist eine Challenge-Seite. Diese Strings testen Regeln, die auf den Namen reagieren; echte Crawler kommen außerdem aus veröffentlichten IP-Bereichen, die ein Test von Ihrem eigenen Rechner nicht nachbilden kann. Prüfen Sie daher auch die Allow-Regeln Ihrer Firewall für diese Bereiche.
4. Die Antwort steht im rohen HTML
Suchen Sie im HTML, das der Server sendet, nach einem Satz aus Ihrer Antwort. Der Element-Inspektor des Browsers zeigt die Seite, nachdem die Skripte gelaufen sind, und das ist nicht das, was die meisten Crawler bekommen.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" Bestanden: 1 oder mehr. Eine 0 bedeutet, dass der Text per JavaScript eingefügt wird, und OpenAI, Anthropic und Perplexity dokumentieren nicht, dass ihre Crawler JavaScript ausführen. Rendern Sie ihn auf dem Server oder beim Build; unser Leitfaden zu JavaScript-Inhalten und KI-Crawlern nennt die Möglichkeiten.
5. Kein übrig gebliebenes noindex oder nosnippet
Staging-Websites werden oft mit noindex ausgeliefert, und eine Vorlage kann es in die Produktion mitnehmen. Prüfen Sie sowohl das Robots-Meta-Tag als auch den HTTP-Header X-Robots-Tag, denn beide zählen.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html Bestanden: keine Ausgabe oder nur index, follow und Ähnliches. Laut Google muss eine Seite indexiert und Snippet-fähig sein, um in AI Overviews und AI Mode zu erscheinen, und nosnippet verhindert auch die Nutzung als direkte Eingabe dafür.
6. Ein einziges Canonical, absolut und auf sich selbst verweisend
Die Seite sollte genau ein rel="canonical" angeben, als absolute URL, die auf die veröffentlichte URL zeigt. Google nennt das Canonical ein starkes Signal, keine Anweisung, und warnt vor relativen URLs und widersprüchlichen Signalen, etwa einer Sitemap mit einer anderen Adresse.
Typische Fehler beim Livegang sind ein Canonical, das von einer Vorlagenseite kopiert wurde, eines, das noch auf einen Staging-Host zeigt, und zwei Canonical-Tags gleichzeitig von Theme und Plugin.
Bestanden: ein Tag, die Live-URL, dasselbe Protokoll und derselbe Host wie in der Sitemap.
7. Titel und H1 sagen, was die Seite beantwortet, und die Antwort folgt direkt darunter
Lesen Sie den oberen Teil der Seite wie ein Fremder. Titel und H1 sollten die Frage oder das Thema in den Worten der Käufer nennen, und die ersten zwei oder drei Sätze unter der H1 sollten sie vollständig beantworten.
Halten Sie den Titel bei etwa 60 Zeichen, damit er in den Suchergebnissen seltener abgeschnitten wird. Formulieren Sie die Kurzantwort so, dass sie auch allein zitiert Sinn ergibt, mit ausgeschriebenen Zahlen, Einheiten und Produktnamen.
Bestanden: Wer nur den ersten Absatz liest, hat die Antwort. Unsere Liste der Wege, in KI-Antworten zitiert zu werden, behandelt zitierfähiges Schreiben ausführlicher.
8. Das JSON-LD ist gültig und passt zum sichtbaren Text
Fehlerhaftes JSON-LD wird komplett ignoriert, ein einziges fehlendes Komma entfernt also alles. Geben Sie die URL in Googles Test für Rich-Suchergebnisse oder in den Schema Markup Validator ein und beheben Sie jeden Fehler.
Vergleichen Sie dann die Werte mit der Seite. Überschrift, Daten, Preis, Währung und Name der Organisation im Markup sollten die sein, die ein Leser sieht. Laut Google ist für seine KI-Funktionen kein spezielles Markup nötig, und strukturierte Daten sollen zum sichtbaren Text passen.
Bestanden: keine Fehler, und jeder Wert ist auf der Seite sichtbar. Nicht nötig, wenn: es für den Seitentyp kein passendes Markup gibt; eine schlichte Seite ist besser als falsches Markup.
9. Sichtbares Datum, Datum im Markup und lastmod in der Sitemap stimmen überein
Zeigen Sie auf der Seite ein beschriftetes Datum, verwenden Sie dieselben Daten in datePublished und dateModified und setzen Sie lastmod in der Sitemap auf die letzte wesentliche Änderung. Google verlangt, dass sichtbares und ausgezeichnetes Datum übereinstimmen, und nutzt lastmod nach eigener Angabe nur, wenn es durchgehend und nachprüfbar stimmt.
Ein Sitemap-Generator, der bei jedem Build jede URL mit dem heutigen Datum versieht, macht lastmod für alle Seiten wertlos, nicht nur für die neue.
Bestanden: drei Stellen, ein Datum.
10. Die Seite steht in der Sitemap und ist von verwandten Seiten verlinkt
Crawler finden Seiten über Links und Sitemaps. Tragen Sie die neue URL mit der exakten kanonischen URL in Ihre XML-Sitemap ein und verlinken Sie sie von mindestens zwei verwandten Seiten und einer Übersichts- oder Indexseite.
Eine Sitemap-Datei darf bis zu 50.000 URLs und 50 MB unkomprimiert enthalten; größere Websites brauchen einen Sitemap-Index. Google ignoriert nach eigener Angabe priority und changefreq, verwenden Sie also keine Zeit darauf. Eine Seite ohne interne Links ist verwaist, und Crawler finden sie spät oder gar nicht.
Bestanden: Die URL steht in der Sitemap, und mindestens zwei Seiten verlinken sie mit aussagekräftigem Ankertext.
11. hreflang ist wechselseitig und hat x-default
Gibt es die Seite in mehreren Sprachen, sollte jede Version alle Versionen aufführen, sich selbst eingeschlossen, und jede muss zurückverlinken. Google ignoriert hreflang-Angaben, die von der Gegenseite nicht bestätigt werden. Ergänzen Sie x-default für die Version, die angezeigt wird, wenn keine Sprache passt.
Nicht nötig, wenn: die Website nur eine Sprache hat. Unser Leitfaden zu hreflang und x-default erklärt, wann Sie es brauchen.
12. Bitten Sie Suchmaschinen, die neue Seite zu crawlen
Sobald die Seite live ist und die Prüfungen oben besteht, informieren Sie die Suchmaschinen. Nutzen Sie in der Google Search Console die URL-Prüfung für die neue URL und wählen Sie „Indexierung beantragen“. Für Bing und andere Suchmaschinen, die IndexNow unterstützen, senden Sie die URL mit Ihrem Schlüssel an den IndexNow-Endpunkt; Bing weist darauf hin, dass das Crawling oder Indexierung nicht garantiert.
KI-Assistenten haben kein Formular zum Einreichen. Ihre Crawler finden die Seite über Links und die Suche, deshalb sind die Prüfungen 2, 3 und 10 so wichtig. Wenn Sie eine llms.txt veröffentlichen, tragen Sie die Seite dort ebenfalls ein; laut Google nutzt die Google Suche sie nicht, betrachten Sie sie also als optional.
Bestanden: Die URL-Prüfung zeigt, dass die Live-Seite indexiert werden kann.
Wie wir diese Prüfungen ausgewählt haben
Die Liste folgt dem Weg eines Crawlers: URL erreichen, robots.txt lesen, an der Firewall vorbeikommen, HTML lesen und es dann auswerten. Jede Prüfung beruht auf dem, was OpenAI, Anthropic, Perplexity und Google über ihre Crawler dokumentieren, auf RFC 9309 für die robots.txt und auf Googles Hinweisen zu Canonicals, Datumsangaben, Sitemaps und hreflang. Weggelassen haben wir Prüfungen ohne dokumentierte Wirkung auf KI-Antworten, etwa Keyword-Dichte oder Vorgaben zur Wortzahl.
Die Prüfungen zeigen, dass eine Seite gelesen werden kann; sie können nicht zeigen, dass sie zitiert wird. Das hängt davon ab, wie gut die Antwort im Vergleich zu anderen Quellen ist. Wiederholen Sie die Prüfungen 2 bis 5 nach jeder Änderung an Firewall, CDN, Theme oder CMS, denn genau diese Änderungen machen sie unbemerkt zunichte.
AISeeWhy führt die meisten dieser Prüfungen in einem Durchgang aus: Es ruft die Seite als 16 KI- und Such-Crawler neben einem echten Browser ab, wendet die robots.txt je Crawler an und liest HTML, Markup, Canonical und Datum. Die kostenlose Prüfung zeigt den Score und den ersten Befund; der vollständige Bericht listet jedes Problem mit einer fertigen Lösung.
Fixes für dieses Problem
- OAI-SearchBot wird blockiert
- Der Seiteninhalt benötigt JavaScript
- Listen als einfacher Text geschrieben
- Abschnitte beginnen nicht mit einer kurzen Antwort: 2 von 3
Nächste Schritte
- robots.txt Tester und Checker für KI-Crawler
- llms.txt Checker und Validator
- Beispiel eines vollständigen Berichts ansehen
- KI-Crawler-Monitoring
- Tarife und Preise
Crawler in diesem Artikel
Häufige Fragen
Muss ich diese Prüfungen für jede Seite durchführen?
Führen Sie die Prüfungen 1 bis 5 für jede neue Seite durch, denn eine einzelne URL kann gesperrt sein oder ein vergessenes noindex tragen. Die Prüfungen 6 bis 11 hängen vor allem von der Vorlage ab; führen Sie sie einmal pro Seitentyp durch und prüfen Sie neue Seiten stichprobenartig.
Warum kann ich eine Seite nicht wie bei Google bei ChatGPT oder Claude einreichen?
OpenAI, Anthropic und Perplexity bieten kein Tool zum Einreichen von URLs für Webseiten an. Ihre Crawler finden Seiten über Links und die Suche. In Ihrer Hand sind also interne Links, eine Sitemap und freier Zugang für OAI-SearchBot, Claude-SearchBot und PerplexityBot.
Meine Seite besteht alle zwölf Prüfungen. Warum wird sie trotzdem nicht zitiert?
Die Prüfungen machen eine Seite lesbar, nicht bevorzugt. Ein Assistent wählt die Quellen, die eine Frage am besten beantworten. Vergleichen Sie Ihre Seite daher mit den Seiten, die er zitiert: ob sie früher antworten, Preise oder technische Daten als Text nennen oder Daten bieten, die Ihrer Seite fehlen.
Wie bald nach dem Veröffentlichen kommen KI-Crawler vorbei?
Kein Anbieter veröffentlicht einen Zeitplan. Ihre Server-Logs zeigen, wann OAI-SearchBot, Claude-SearchBot oder PerplexityBot die URL zum ersten Mal abrufen; unser Leitfaden zur Suche nach KI-Crawlern in Server-Logs zeigt, wie Sie sie finden.
Quellen
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Überblick über die OpenAI-Crawler
- Anthropic: Durchsucht Anthropic das Web, und wie können Website-Betreiber den Crawler sperren?
- Perplexity: Perplexity-Crawler
- Google Search Central: KI-Funktionen und Ihre Website
- Google Search Central: Robots-Meta-Tag, data-nosnippet und X-Robots-Tag
- Google Search Central: Kanonische URL angeben
- Google Search Central: Influence your byline dates
- Google Search Central: Build and submit a sitemap
- Sitemaps.org: Sitemaps XML format
- Google Search Central: Tell Google about localized versions of your page
- Google Search Console Help: URL Inspection tool
- Bing: Einstieg in IndexNow
- Google Search Console Help: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: Grundlagen der JavaScript-SEO