AI クローラーの監視
ファイアウォールのルール、CDN の設定、新しい robots.txt によって、AI クローラーが一晩で締め出されることがあります。しかも人から見るとサイトに何の問題もありません。監視機能は重要なページを再チェックし、新たに何かがブロックしたらメールで知らせます。
無料 · 登録不要 · 30 秒で結果
この文章は英語から機械翻訳されたものです。
監視でチェックする内容
各実行は、ホームページの無料チェックと同じチェックです。ページを 16 種類の AI・検索クローラー、curl、デスクトップブラウザーとして、それぞれ公開されているユーザーエージェントで取得します。robots.txt をすべてのクローラートークンについて評価し、ページの構造化データ、コンテンツ、日付、サイトマップ、hreflang、llms.txt をチェックします。結果は 0 から 100 のスコアと、P1 から P3 の優先度付きの指摘の一覧です。
メールが届くとき
監視対象のページは、選択に応じて毎日または毎週再チェックされます。新たなブロックの問題が現れたとき(たとえばクローラーが 403 やチャレンジページを受け取るようになったとき)や、スコアが 10 ポイント以上下がったときにメールが届きます。メールには何が変わったかが書かれ、修正方法を含むレポートへのリンクがあります。
監視で見えないもの
リクエストは各クローラーのユーザーエージェントを使って当社のサーバーから送られ、クローラー運営者自身の IP アドレスからではありません。本物のクローラーを IP で信頼するファイアウォールは、当社とは異なる扱いをすることがあり、ブロックの指摘にはすべてその旨が記載されます。本物のクローラーがどう応答されたかを確認するには、有料プランのサーバーログチェックがアクセスログを読み、各 AI クローラーの訪問回数とステータスコードを数えます。
監視付きのプラン
- Pro、月額 $22: 監視対象ページ 3 件。個人の非商用サイト向け。
- Business、月額 $88: 監視対象ページ 25 件。企業サイトやクライアントワーク向け。
- Agency、月額 $288: 多数のクライアントサイト向けに監視対象ページ 60 件。
- Enterprise、月額 $888: 監視対象ページ 100 件。
無料プランには監視機能はなく、1 日 1 回、スコアと最初の指摘を確認できるチェックが使えます。プランは月額請求で、いつでも解約でき、すべての支払いは 14 日以内なら全額返金できます。
始め方
- 最も重要なページで無料チェックを実行し、最初の指摘を確認します。
- 料金ページでプランを選び、メールアドレスでサインインします。
- アカウントの「監視」で、監視するページを追加します: ホームページ、料金、主要な製品・サービスのページ、重要な記事など。
- 毎日か毎週かを選びます。修正後はページを再チェックして、修正前後のスコアを確認します。
よくある質問
どのような変化でアラートが送られますか?
監視対象ページでの新たなブロックの問題(たとえばクローラーが拒否されるようになった場合)、または前回のチェックからスコアが 10 ポイント以上下がった場合です。
監視には本物の GPTBot や ClaudeBot が使われますか?
いいえ。公開されているユーザーエージェントを当社のサーバーから送ります。これにより、ファイアウォールとサーバーがそれらのユーザーエージェントをどう扱うかがわかります。本物の訪問はサーバーログチェックで確認できます。
クライアントのサイトを監視できますか?
はい、Business、Agency、Enterprise で可能です。Pro は個人の非商用利用向けです。
支払う前に試せますか?
無料チェックで、任意のページについて 1 回の実行で何が見つかるかを確認できます。監視機能自体には有料プランが必要ですが、いつでも解約でき、14 日以内なら返金を受けられます。