2 Seiten haben den Crawl abgewiesen
Diese Seiten haben mit 401, 403, 429 oder 503 geantwortet oder eine Zeitüberschreitung erreicht, als das Audit sie wie ein Browser abgerufen hat. Oft steckt eine Firewall, ein Bot-Schutz oder ein Rate-Limit dahinter, keine defekte Seite. Prüfen Sie, ob Such- und KI-Crawler dieselbe Antwort erhalten.
Was es bedeutet
Diese Seiten haben mit 401, 403, 429 oder 503 geantwortet oder eine Zeitüberschreitung erreicht. Eine Firewall oder ein Rate-Limit blockiert womöglich auch Crawler. Prüfen Sie, ob Such- und KI-Crawler dieselbe Antwort erhalten.
Warum das für die KI-Suche wichtig ist
Das Audit ruft in kurzer Zeit viele Seiten von einem Server ab, daher kann ein Rate-Limit mit 429 oder 503 antworten, auch wenn Menschen die Seite erhalten. Gilt dieselbe Regel für Such- und KI-Crawler, werden diese Seiten nicht für deren Indizes abgerufen und können in KI-Antworten nicht zitiert werden.
Ein 401 bedeutet, dass die Seite eine Anmeldung verlangt; das ist bei Kontobereichen zu erwarten, nicht aber bei öffentlichen Inhalten. Ein 503 auf jeder Seite kann bedeuten, dass der Wartungsmodus eingeschaltet geblieben ist. Diese Seiten werden getrennt von defekten Links geführt, weil die Lösung davon abhängt, wer abgewiesen wird.
So beheben Sie es
- Öffnen Sie einige der aufgeführten URLs in einem privaten Browserfenster. Laden sie, richtet sich die Sperre gegen automatisierte Anfragen.
- Suchen Sie die abgewiesenen Anfragen in den Logs Ihrer Firewall, Ihres CDN oder Hostings. Stellen Sie sicher, dass verifizierte Such-Crawler wie Googlebot und Bingbot sowie die gewünschten KI-Such-Crawler zugelassen sind; viele CDNs, darunter Cloudflare, haben eine Einstellung für verifizierte Bots.
- War ein Rate-Limit die Ursache, erhöhen Sie das Limit für normale Seitenanfragen oder nehmen Sie HTML-Seiten davon aus.
- Antworten Seiten mit 401, entfernen Sie die Anmeldung von öffentlichen Seiten oder verlinken Sie private Seiten nicht mehr von öffentlichen aus.
- Führen Sie das Website-Audit in Ihrem Konto erneut aus, um das Ergebnis zu bestätigen.
So bestätigen Sie den Fix
Klicken Sie nach der Änderung im Bericht auf „Erneut prüfen“: Er zeigt, was behoben wurde und wie sich der Score verändert hat.