サイトマップを取得できません(ステータス 403)
短い答え
サイトマップが宣言されている、または存在するはずですが、取得がエラー、401、403、429、5xx のステータスで失敗しました。クローラーも読み取れない可能性があります。監査はブラウザーとして取得しています。サイトマップの URL を公開し、ボットのチャレンジとレート制限の対象から外してください。
意味
サイトマップは見つかりましたが、ステータス 403 で応答したか応答がなかったため、クローラーも利用できない可能性があります。ファイアウォールがクローラーによる取得を許可しているか確認してください。
AI 検索で重要な理由
403 やサーバーエラーを返すサイトマップは、ないのと同じです。クローラーは、新しいページや変更されたページを知ることができません。サイトマップへのリクエストはほぼすべてクローラーからなので、それを止めるために作られたボット対策が原因になっていることがよくあります。
リクエストのたびに生成される大きなサイトマップは、タイムアウトやサーバーの制限に達することもあり、5xx のステータスとして現れます。監査はブラウザーとしてファイルを取得するため、ここでの失敗は、たいていクローラーも拒否されていることを意味します。
修正方法
- レポートのサイトマップ URL を開いてステータスを確認します。AISeeWhy のレポートに証拠とそのまま貼り付けられる修正案が表示されます。修正後に「もう一度チェック」を実行して結果を確認してください。
- CDN や WAF で、サイトマップのパス(たとえば
/sitemap*.xml)を、チャレンジ、Bot Fight Mode、レート制限の対象から外します。 - ステージング環境のような構成で認証の内側にある場合は、本番ホストでは公開します。
- 5xx のエラーでは、生成したサイトマップをキャッシュするか、静的ファイルとして事前に作成し、非常に大きなものはサイトマップインデックスで分割します。
修正の確認方法
変更後、レポートで「もう一度チェック」を押してください。修正されたものとスコアの変化が表示されます。