robots.txt を変更しましたか?各 AI クローラーがどう読むかを確認しましょう
AI の学習だけをブロックするつもりが、グループを 1 行間違えるだけで ChatGPT の検索までブロックしてしまうことがあります。16 種類のクローラーで結果をチェックしましょう。
無料 · 登録不要 · 30 秒で結果
どのグループが適用されるか
クローラーは * グループではなく、自分の名前が書かれたグループに従います。これは多くのサイト運営者にとって意外な点です。
検索と学習の違い
必要なら学習用クローラーをブロックしつつ、AI 検索の回答にサイトを載せてくれるクローラーは許可したままにできます。
正確な修正
そのまま貼り付けられる変更すべき行と、確認のための再チェック。