ページ公開前に実行する12のAEOチェック(2027年)
公開前に、URLがリダイレクトなしで200を返すこと、robots.txtが各AI検索クローラーを許可していること、ファイアウォールが本来のページを返すこと、答えが生のHTMLにあることを確認します。次に、残ったnoindexやnosnippet、canonicalが1つか、H1の下の答え、有効で内容に合ったJSON-LD、日付の一致、サイトマップと内部リンク、hreflangを確認し、インデックス登録をリクエストします。
AIの回答に一度も表示されないページの多くは、地味な原因でつまずいています。残ったnoindex、ファイアウォールのルール、ステージングを指すcanonicalなどです。この12のチェックで、そうした問題を公開前に見つけられます。どれも数分で終わり、ほとんどはターミナルとページのURLだけで足ります。クローラーが出会う順に並べています。
このページの内容
- 各チェックにかかる時間は?
- 1. URLがリダイレクトの連鎖なしで200を返す
- 2. robots.txtが各AI検索クローラーにページを許可している
- 3. ファイアウォールがAIクローラーに本来のページを返す
- 4. 答えが生のHTMLにある
- 5. noindexやnosnippetが残っていない
- 6. canonical URLが1つで、絶対URLで自分自身を指している
- 7. タイトルとH1がページの答える内容を示し、そのすぐ下に答えがある
- 8. JSON-LDが解析でき、表示テキストと一致している
- 9. 表示される日付、マークアップの日付、サイトマップのlastmodが一致している
- 10. ページがサイトマップにあり、関連ページからリンクされている
- 11. hreflangが相互に設定され、x-defaultがある
- 12. 新しいページのクロールを検索エンジンに依頼する
- チェック項目の選び方
各チェックにかかる時間は?
1ページあたりの目安と必要なツールです。チェック1〜5はすべてのページで実行し、残りはテンプレートごとに1回実行してから抜き取りで確認します。
- 1. ステータス200:1分、curl。
- 2. クローラーごとのrobots.txt:3分、ブラウザまたはcurl。
- 3. ファイアウォールの応答:3分、curl。
- 4. 生のHTMLのテキスト:2分、curl。
- 5. 残ったnoindexやnosnippetがない:2分、curl。
- 6. canonicalが1つ:2分、ページのソース表示。
- 7. タイトル、H1、短い答え:5分、ページを読む。
- 8. JSON-LDが有効で内容と一致:5分、リッチリザルト テストまたはSchema Markup Validator。
- 9. 日付の一致:3分、ページ、マークアップ、サイトマップ。
- 10. サイトマップと内部リンク:5分、sitemap.xmlとCMS。
- 11. hreflang:5分、多言語サイトのみ。
- 12. インデックス登録のリクエスト:2分、Search ConsoleとIndexNow。
1. URLがリダイレクトの連鎖なしで200を返す
クローラーは、共有してサイトマップに載せるのとまったく同じURLで、ステータス200のページそのものを受け取る必要があります。リダイレクトが1つ増えるたびに失敗しうる段階が1つ増え、200を返しながら「見つかりません」と表示するページはソフト404で、検索エンジンに除外されることがあります。
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ 合格:200 redirects=0で、同じURLが返ること。修正:最終URLにリンクしてサイトマップに載せ、古いアドレスからのリダイレクトは多くても1回にします。
2. robots.txtが各AI検索クローラーにページを許可している
各クローラーの立場でrobots.txtを読んでください。クローラーを名指しするグループはそのクローラーに対してUser-agent: *のグループに置き換わり、RFC 9309では最も長く一致するルールが優先され、同じ長さならAllowが優先されます。
少なくともOAI-SearchBot、Claude-SearchBot、Claude-User、PerplexityBot、Googlebotを確認します。ルールはパスの前方一致で照合されるため、/guides/のような新しいセクションが古いDisallow: /gルールに引っかかることがあります。robots.txt自体が200または404を返すことも確認してください。RFC 9309では、サーバーエラーの場合、クローラーはサイト全体が禁止されているとみなすべきとされています。
合格:これらのトークンのどのルールもそのパスを禁止していないこと。robots.txtのテスト方法のガイドで、1つのURLを1つのクローラーについてテストする方法を紹介しています。
3. ファイアウォールがAIクローラーに本来のページを返す
ブラウザのユーザーエージェントとクローラーのユーザーエージェントでページをリクエストし、ステータスとサイズを比べます。名前で照合するボット対策は、クローラーにだけ403、429、チャレンジページを返すことがあります。
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done 合格:どの行も200で、サイズが近いこと。サイズがずっと小さい場合は、たいていチャレンジページです。これらの文字列は名前で照合するルールをテストするものです。本物のクローラーは公開されたIP範囲からも来ますが、自分のマシンからのテストではそれを再現できないため、ファイアウォールの許可ルールにそれらの範囲があるかも確認してください。
4. 答えが生のHTMLにある
サーバーが送るHTMLの中で、答えの一文を検索します。ブラウザの要素の検証ツールが表示するのはスクリプト実行後のページで、ほとんどのクローラーが受け取るものとは違います。
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" 合格:1以上。0の場合、テキストはJavaScriptで追加されています。OpenAI、Anthropic、Perplexityは、クローラーがJavaScriptを実行するとは文書化していません。サーバー側かビルド時にレンダリングしてください。JavaScriptのコンテンツとAIクローラーについてのガイドに選択肢をまとめています。
5. noindexやnosnippetが残っていない
ステージングサイトはnoindex付きで公開されることが多く、テンプレートがそれを本番に持ち込むことがあります。robotsメタタグとX-Robots-Tag HTTPヘッダーの両方を確認してください。どちらか一方でも有効になります。
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html 合格:何も表示されないか、index, followなどだけが表示されること。Googleによると、AI OverviewsとAI Modeに表示されるには、ページがインデックスに登録され、スニペットの対象である必要があり、nosnippetはそれらへの直接の入力としての利用も防ぎます。
6. canonical URLが1つで、絶対URLで自分自身を指している
ページはrel="canonical"をちょうど1つ、絶対URLで宣言し、公開するURLを指す必要があります。Googleはcanonicalを命令ではなく強いシグナルと位置付けており、相対URLや、別のアドレスを載せたサイトマップのような矛盾するシグナルに注意を促しています。
公開時によくある間違いは、テンプレートページからコピーしたcanonical、ステージングのホストを指したままのcanonical、テーマとプラグインの両方が出す2つのcanonicalタグです。
合格:タグが1つで、公開中のURLを指し、プロトコルとホストがサイトマップと同じであること。
7. タイトルとH1がページの答える内容を示し、そのすぐ下に答えがある
初めて訪れた人のつもりでページの冒頭を読んでください。タイトルとH1は購入検討者が使う言葉で質問やトピックを示し、H1の下の最初の2〜3文がそれに完全に答えている必要があります。
検索結果で途中で切れにくいよう、タイトルは60文字程度に収めます。短い答えは、単独で引用されても意味が通るように書き、数字、単位、製品名を省略せずに書いてください。
合格:最初の段落だけを読んだ人が答えを得られること。AIの回答で引用される方法のリストで、引用されやすい書き方を詳しく扱っています。
8. JSON-LDが解析でき、表示テキストと一致している
壊れたJSON-LDは丸ごと無視されるため、カンマが1つ欠けるだけですべてが失われます。URLをGoogleのリッチリザルト テストかSchema Markup Validatorに貼り付け、すべてのエラーを修正してください。
次に、値をページと比べます。マークアップの見出し、日付、価格、通貨、組織名は、読者が目にするものと同じであるべきです。GoogleはAI機能に特別なマークアップは不要で、構造化データは表示テキストと一致させるべきだとしています。
合格:エラーがなく、すべての値がページに表示されていること。省略してよい場合:そのページの種類に合うマークアップがない場合。間違ったマークアップよりマークアップなしのページのほうがましです。
9. 表示される日付、マークアップの日付、サイトマップのlastmodが一致している
ページにラベル付きの日付を表示し、datePublishedとdateModifiedに同じ日付を使い、サイトマップのlastmodには最後の大きな変更日を設定します。Googleは表示される日付とマークアップの日付の一致を求めており、lastmodは一貫して正確だと確認できる場合にのみ使うとしています。
ビルドのたびにすべてのURLに今日の日付を付けるサイトマップ生成ツールは、新しいページだけでなく全ページのlastmodを無意味にします。
合格:3か所とも同じ日付であること。
10. ページがサイトマップにあり、関連ページからリンクされている
クローラーはリンクとサイトマップを通じてページを見つけます。新しいURLを正確なcanonical URLでXMLサイトマップに追加し、少なくとも2つの関連ページと、ハブページまたは一覧ページからリンクしてください。
1つのサイトマップファイルには最大50,000件のURLを、非圧縮で50 MBまで入れられます。それより大きなサイトにはサイトマップインデックスが必要です。Googleはpriorityとchangefreqを無視するとしているので、時間をかける必要はありません。内部リンクのないページは孤立ページで、クローラーに見つかるのが遅れるか、まったく見つからないことがあります。
合格:URLがサイトマップにあり、少なくとも2つのページが内容のわかるアンカーテキストでリンクしていること。
11. hreflangが相互に設定され、x-defaultがある
ページが複数の言語で存在する場合、各バージョンは自分自身を含むすべてのバージョンを列挙し、互いにリンクし返す必要があります。Googleは、相手側から確認されないhreflangの指定を無視します。どの言語にも一致しないときに表示するバージョンにはx-defaultを追加してください。
省略してよい場合:サイトが1言語のみの場合。hreflangのx-defaultについてのガイドで、必要になる場面を説明しています。
12. 新しいページのクロールを検索エンジンに依頼する
ページが公開され、上のチェックに合格したら、検索エンジンに知らせます。Google Search Consoleでは、新しいURLでURL検査を使い、「インデックス登録をリクエスト」を選びます。BingなどIndexNowに対応した検索エンジンには、自分のキーを使ってIndexNowのエンドポイントにURLを送信します。Bingは、これでクロールやインデックス登録が保証されるわけではないとしています。
AIアシスタントには送信フォームがありません。クローラーはリンクや検索を通じてページを見つけるため、チェック2、3、10が重要になります。llms.txtファイルを公開している場合は、そこにもページを追加してください。GoogleはSearchでそれを使わないとしているので、任意の作業と考えてください。
合格:URL検査で、公開中のページがインデックス登録可能と表示されること。
チェック項目の選び方
このリストは、クローラーがたどる順序に沿っています。URLにアクセスし、robots.txtを読み、ファイアウォールを通り、HTMLを読み、それを解釈します。各チェックは、OpenAI、Anthropic、Perplexity、Googleがクローラーについて文書化している内容、robots.txtのRFC 9309、そしてcanonical、日付、サイトマップ、hreflangに関するGoogleのガイダンスに基づいています。キーワード密度や文字数の目標のように、AIの回答への効果が文書化されていないチェックは除きました。
これらのチェックでわかるのは、ページが読めるということであり、引用されるということではありません。それは他の情報源と比べて答えがどれだけ優れているかで決まります。ファイアウォール、CDN、テーマ、CMSを変更したら、そのたびにチェック2〜5を繰り返してください。こうした変更こそが、気づかないうちに設定を元に戻してしまいます。
AISeeWhyはこれらのチェックの大半を一度に実行します。実際のブラウザと並べて16のAIクローラーと検索クローラーとしてページを取得し、クローラーごとにrobots.txtを適用し、HTML、マークアップ、canonical、日付を読み取ります。無料チェックではスコアと最初の指摘が表示され、完全なレポートでは各問題とすぐに使える修正方法が一覧になります。
この問題の修正方法
次のステップ
この記事に登場するクローラー
よくある質問
これらのチェックはすべてのページで必要?
1つのURLだけがブロックされたり、noindexが残ったりすることがあるため、チェック1〜5は新しいページごとに実行してください。チェック6〜11は主にテンプレートで決まるので、ページの種類ごとに1回実行し、新しいページは抜き取りで確認します。
Googleのように、ChatGPTやClaudeにページを送信できないのはなぜ?
OpenAI、Anthropic、Perplexityは、ウェブページのURL送信ツールを提供していません。クローラーはリンクをたどったり検索を通じたりしてページを見つけるため、自分で管理できるのは、内部リンク、サイトマップ、そしてOAI-SearchBot、Claude-SearchBot、PerplexityBotへのアクセスの開放です。
12のチェックすべてに合格したのに、まだ引用されないのはなぜ?
チェックはページを読めるようにするもので、選ばれるようにするものではありません。アシスタントは質問に最もよく答える情報源を選ぶので、実際に引用されているページと比べてみてください。答えが早く出てくるか、価格や仕様をテキストで書いているか、自社のページにないデータがあるかを確認します。
公開後、AIクローラーはどれくらいで訪れる?
スケジュールを公開しているベンダーはありません。OAI-SearchBot、Claude-SearchBot、PerplexityBotが初めてそのURLをリクエストした時期はサーバーログでわかります。サーバーログでAIクローラーを確認する方法のガイドで、見つけ方を紹介しています。
参考資料
- RFC 9309:Robots Exclusion Protocol
- OpenAI:OpenAIクローラーの概要
- Anthropic:Anthropicはウェブからデータをクロールしているか、サイト運営者はクローラーをどうブロックできるか
- Perplexity:Perplexityのクローラー
- Google 検索セントラル:AI機能とウェブサイト
- Google 検索セントラル:robotsメタタグ、data-nosnippet、X-Robots-Tag
- Google 検索セントラル:canonical URLを指定する方法
- Google 検索セントラル:署名欄の日付への影響
- Google 検索セントラル:サイトマップの作成と送信
- Sitemaps.org:サイトマップのXML形式
- Google 検索セントラル:ページのローカライズ版についてGoogleに知らせる
- Search Console ヘルプ:URL検査ツール
- Bing:IndexNowを始める
- Search Console ヘルプ:リッチリザルト テスト
- Schema.org:Schema Markup Validator
- Google 検索セントラル:JavaScript SEOの基本