Проверка IP AI-краулеров
Вставьте IP-адрес из журналов сервера, чтобы узнать, входит ли он в официально опубликованные диапазоны IP краулера. Запрос, который называет себя GPTBot или PerplexityBot, но приходит с другого адреса, этим краулером не является, и вы можете заблокировать его, не теряя видимости в AI-ответах.
Какие краулеры публикуют свои IP-адреса?
OpenAI, Perplexity, Google, Microsoft и Apple публикуют диапазоны IP своих краулеров в виде файлов JSON, которые мы читаем ежедневно. Некоторые другие AI-компании диапазоны не публикуют; для них единственная проверка — обратный DNS или документация поставщика. Чтобы увидеть сразу все визиты AI-краулеров в журнале, загрузите журнал в своём аккаунте AISeeWhy.