AIクローラーとAEOをわかりやすく解説

サイト運営者、マーケター、開発者向けの実践ガイドです。どんなAIクローラーがあり、何を読むことが許可されているのか、そしてAIの回答があなたのページを読み取って引用できるようにする方法を紹介します。

ChatGPTは自社サイトを見られる？確認方法

ChatGPTが自社サイトを読んで引用できるかを確認する方法。OAI-SearchBot、GPTBot、ChatGPT-User、robots.txt、ファイアウォール、簡単なcurlテストを解説します。

OpenAIの3つのクローラーの役割、robots.txtのトークンごとの制御対象、GPTBot・OAI-SearchBot・ChatGPT-Userをブロックしたときにサイトで起きることを解説します。

CloudflareなどのWAFがAIクローラーに403やチャレンジページを返す理由、見分け方、AI検索クローラーを安全に通す方法を解説します。

AIクローラー向けのrobots.txtの書き方。AI検索の許可、学習の扱いの選択、クローラーごとのトークン、RFC 9309のマッチング規則、よくある間違いを解説します。

llms.txtの解説。提案の内容、Markdown形式、現時点で誰が読んでいるのか、10分で書く方法、導入状況の正直な見方を紹介します。

AEOとSEOの比較。変わらない点、AIの回答で変わる点（アクセス、結論を先に書く構成、エンティティ、鮮度）とチェックリストを紹介します。

Anthropicの3つのウェブエージェント。ClaudeBot、Claude-SearchBot、Claude-Userの役割、robots.txtのトークン、それぞれをブロックしたときの影響を解説します。

Perplexityの2つのエージェント。PerplexityBotとPerplexity-Userの役割、robots.txtで制御できるのはどちらか、許可とファイアウォールでのブロックの方法を解説します。

AIの回答がページを読み取りやすくなるschema.orgマークアップ。sameAs付きのOrganization、記事の日付と著者、FAQPage、価格付きのProductをJSON-LDで紹介します。

JavaScriptだけで描画されるコンテンツがAIクローラーにしばしば届かない理由、受け取る内容の確認方法、SSRや静的HTMLでの対処法を解説します。