AI クローラーの監視

ファイアウォールのルール、CDN の設定、新しい robots.txt によって、AI クローラーが一晩で締め出されることがあります。しかも人から見るとサイトに何の問題もありません。監視機能は重要なページを再チェックし、新たに何かがブロックしたらメールで知らせます。

無料 · 登録不要 · 30 秒で結果

プランと料金 → 完全なレポートの見本を見る →

この文章は英語から機械翻訳されたものです。

監視でチェックする内容

各実行は、ホームページの無料チェックと同じチェックです。ページを 16 種類の AI・検索クローラー、curl、デスクトップブラウザーとして、それぞれ公開されているユーザーエージェントで取得します。robots.txt をすべてのクローラートークンについて評価し、ページの構造化データ、コンテンツ、日付、サイトマップ、hreflang、llms.txt をチェックします。結果は 0 から 100 のスコアと、P1 から P3 の優先度付きの指摘の一覧です。

メールが届くとき

監視対象のページは、選択に応じて毎日または毎週再チェックされます。新たなブロックの問題が現れたとき(たとえばクローラーが 403 やチャレンジページを受け取るようになったとき)や、スコアが 10 ポイント以上下がったときにメールが届きます。メールには何が変わったかが書かれ、修正方法を含むレポートへのリンクがあります。

監視で見えないもの

リクエストは各クローラーのユーザーエージェントを使って当社のサーバーから送られ、クローラー運営者自身の IP アドレスからではありません。本物のクローラーを IP で信頼するファイアウォールは、当社とは異なる扱いをすることがあり、ブロックの指摘にはすべてその旨が記載されます。本物のクローラーがどう応答されたかを確認するには、有料プランのサーバーログチェックがアクセスログを読み、各 AI クローラーの訪問回数とステータスコードを数えます。

監視付きのプラン

無料プランには監視機能はなく、1 日 1 回、スコアと最初の指摘を確認できるチェックが使えます。プランは月額請求で、いつでも解約でき、すべての支払いは 14 日以内なら全額返金できます。

始め方

  1. 最も重要なページで無料チェックを実行し、最初の指摘を確認します。
  2. 料金ページでプランを選び、メールアドレスでサインインします。
  3. アカウントの「監視」で、監視するページを追加します: ホームページ、料金、主要な製品・サービスのページ、重要な記事など。
  4. 毎日か毎週かを選びます。修正後はページを再チェックして、修正前後のスコアを確認します。

よくある質問

どのような変化でアラートが送られますか?

監視対象ページでの新たなブロックの問題(たとえばクローラーが拒否されるようになった場合)、または前回のチェックからスコアが 10 ポイント以上下がった場合です。

監視には本物の GPTBot や ClaudeBot が使われますか?

いいえ。公開されているユーザーエージェントを当社のサーバーから送ります。これにより、ファイアウォールとサーバーがそれらのユーザーエージェントをどう扱うかがわかります。本物の訪問はサーバーログチェックで確認できます。

クライアントのサイトを監視できますか?

はい、Business、Agency、Enterprise で可能です。Pro は個人の非商用利用向けです。

支払う前に試せますか?

無料チェックで、任意のページについて 1 回の実行で何が見つかるかを確認できます。監視機能自体には有料プランが必要ですが、いつでも解約でき、14 日以内なら返金を受けられます。

関連ツールとガイド