Поставете IP адрес от сървърните си логове, за да видите дали е в официално публикуваните IP диапазони на даден бот. Заявка, която се представя за GPTBot или PerplexityBot, но идва от друг адрес, не е този бот и можете да я блокирате, без да губите видимост в AI отговорите.
Кои ботове публикуват IP адресите си?
OpenAI, Perplexity, Google, Microsoft и Apple публикуват IP диапазоните на своите ботове като JSON файлове, които четем всеки ден. Някои други AI компании не публикуват диапазони; за тях единствената проверка е обратният DNS или документацията на доставчика. За да видите всички посещения на AI ботове в лог наведнъж, качете лога в профила си в AISeeWhy.
Поставете един IPv4 или IPv6 адрес от логовете на сървъра или защитната си стена. Проверката го търси в IP диапазоните, които операторите на ботове сами публикуват: OpenAI за GPTBot, OAI-SearchBot и ChatGPT-User, Perplexity за PerplexityBot и Perplexity-User, Google за Googlebot, Microsoft за Bingbot и Apple за Applebot. Четем тези публикувани списъци всеки ден. Отговорът назовава всеки бот, чиито диапазони съдържат адреса, или казва, че няма такъв.
Как да четете резултата
В публикуваните диапазони на бот: заявката е дошла от мрежата на този оператор. Заедно със съвпадащ user agent това е силно доказателство, че е бил истинският бот.
Извън всички публикувани диапазони: ако заявката се е представила като един от изброените ботове, не е бил той. Някой друг е използвал името и можете да блокирате този адрес, без да губите видимост в AI отговорите.
Проверено спрямо: списъкът с ботове, чиито диапазони са сравнени. Бот, който не е в този списък, не може да бъде потвърден или изключен тук.
Защо всеки може да твърди, че е GPTBot
User agent е ред текст, който клиентът изпраща, и всеки може да напише в него GPTBot или Googlebot. Скрейпърите правят това, за да минат през прости филтри. Затова защитните стени, които гледат само user agent, могат да бъдат заблудени в двете посоки: пускат фалшиви ботове или правило срещу фалшив бот блокира и истинския. Сравняването на IP адреса с публикувания списък на оператора е начинът да ги различите.
За ботове, чиито оператори не публикуват диапазон, който четем, използвайте документацията на самия оператор. Google, Microsoft и Apple поддържат и DNS проверка: потърсете името на хоста за адреса, проверете дали завършва на домейна на оператора, например googlebot.com, google.com, search.msn.com или applebot.apple.com, след това потърсете отново това име на хост и потвърдете, че връща същия адрес.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Чести грешки
Блокиране на бот по име, след като сте видели злоупотреба от фалшив. Вместо това блокирайте злоупотребяващите адреси, иначе губите и истинския бот.
Разрешаване на всяка заявка, чийто user agent гласи GPTBot. Комбинирайте user agent с публикуваните диапазони в правилото на защитната си стена.
Проверка на адреса на прокси. Зад CDN или балансьор на натоварването сървърът ви може да записва проксито, а не посетителя; използвайте хедъра, който носи адреса на клиента.
Използване на старо копие на диапазоните. Операторите ги променят; правила, изградени от списък отпреди месеци, могат да блокират истински ботове.
От един адрес до целия лог
Тази проверка отговаря за един адрес наведнъж. В профила ви в AISeeWhy проверката на сървърни логове в платените планове чете цял access log, брои посещенията на всеки AI бот, разделя истинските ботове от самозванците по тези публикувани диапазони и показва как сървърът ви им е отговорил.
Често задавани въпроси
Показва ли се ClaudeBot в тази проверка?
Не в момента: проверката обхваща ботовете, чиито публикувани файлове с диапазони четем, изброени под резултата. За други ботове следвайте документацията на оператора.
Адресът е в диапазона на Googlebot, но user agent казва нещо друго. Какво означава това?
Заявката е дошла от мрежата на Google. Google използва няколко бота и инструмента за изтегляне; user agent ви казва кой. Не е била трета страна, която се представя за Google.
Мога ли да проверя много адреси наведнъж?
Не с този безплатен инструмент. Качете лога в профила си, за да проверите всяко посещение в него.
Запазва ли се адресът, който въвеждам?
Използва се, за да се отговори на проверката, и не се запазва със заявката ви.