AI クローラー向け robots.txt チェッカー

ページのアドレスを入力すると、サイトの robots.txt を読み取り、AI・検索クローラーごとにそのページを取得できるかを表示します。公開前に robots.txt を貼り付けてテストすることもできます。

robots.txt はあくまでお願いにすぎません。robots.txt で許可されていても、ファイアウォールやボット対策がクローラーをブロックすることがあります。フルチェックではその点もテストします。 フルチェックを実行する →

AI クローラーは robots.txt をどう読むか

各クローラーは自分のトークン(たとえば GPTBot や PerplexityBot)を指定したグループに従い、そのようなグループがない場合にだけ User-agent: * に従います。グループ内では最も長く一致したルールが優先され、同じ長さなら Allow が優先されます。GPTBot、ClaudeBot、Google-Extended などの学習用クローラーをブロックすると、コンテンツはモデル学習に使われなくなります。OAI-SearchBot、ChatGPT-User、PerplexityBot などの検索・ユーザー向けクローラーをブロックすると、ページは AI の回答に表示されなくなります。