robots.txt geändert? Sehen Sie, wie jeder KI-Crawler sie liest

Eine Zeile in der falschen Gruppe kann die ChatGPT-Suche sperren, obwohl Sie nur das KI-Training blockieren wollten. Prüfen Sie das Ergebnis für 16 Crawler.

Kostenlos · Ohne Anmeldung · Ergebnis in 30 Sekunden

Welche Gruppe gilt

Ein Crawler folgt der Gruppe, die ihn namentlich nennt, nicht der Gruppe *, und das überrascht viele Website-Betreiber.

Suche oder Training

Sperren Sie Trainings-Crawler, wenn Sie möchten, und lassen Sie die zu, die Sie in KI-Suchantworten bringen.

Die genaue Korrektur

Die zu ändernden Zeilen, fertig zum Einfügen, und eine erneute Prüfung zur Bestätigung.

Komplettpaket holen

Nach dem Umzug zu Cloudflare · Nach einem Relaunch · Nach dem Umzug zu Shopify