robots.txt geändert? Sehen Sie, wie jeder KI-Crawler sie liest
Eine Zeile in der falschen Gruppe kann die ChatGPT-Suche sperren, obwohl Sie nur das KI-Training blockieren wollten. Prüfen Sie das Ergebnis für 16 Crawler.
Kostenlos · Ohne Anmeldung · Ergebnis in 30 Sekunden
Welche Gruppe gilt
Ein Crawler folgt der Gruppe, die ihn namentlich nennt, nicht der Gruppe *, und das überrascht viele Website-Betreiber.
Suche oder Training
Sperren Sie Trainings-Crawler, wenn Sie möchten, und lassen Sie die zu, die Sie in KI-Suchantworten bringen.
Die genaue Korrektur
Die zu ändernden Zeilen, fertig zum Einfügen, und eine erneute Prüfung zur Bestätigung.
Nach dem Umzug zu Cloudflare · Nach einem Relaunch · Nach dem Umzug zu Shopify