Налепите IP адресу из логова сервера да бисте видели да ли је у званично објављеним IP опсезима неког краулера. Захтев који се представља као GPTBot или PerplexityBot, а долази са друге адресе, није тај краулер и можете да га блокирате без губитка видљивости у AI одговорима.
Који краулери објављују своје IP адресе?
OpenAI, Perplexity, Google, Microsoft и Apple објављују IP опсеге својих краулера као JSON датотеке, које читамо свакодневно. Неке друге AI компаније не објављују опсеге; за њих је једина провера обратни DNS или документација произвођача. Да бисте одједном видели све посете AI краулера у логу, отпремите лог у свој AISeeWhy налог.
Налепите једну IPv4 или IPv6 адресу из логова сервера или заштитног зида. Провера је тражи у опсезима IP адреса које оператери краулера сами објављују: OpenAI за GPTBot, OAI-SearchBot и ChatGPT-User, Perplexity за PerplexityBot и Perplexity-User, Google за Googlebot, Microsoft за Bingbot и Apple за Applebot. Те објављене спискове читамо свакодневно. Одговор наводи сваки краулер чији опсези садрже адресу или каже да је ниједан не садржи.
Како да читате резултат
У објављеним опсезима краулера: захтев је дошао из мреже тог оператера. Заједно са одговарајућим user agent-ом, то је снажан доказ да је реч о правом краулеру.
Није ни у једном објављеном опсегу: ако се захтев представљао као један од наведених краулера, то није био. Неко други је користио то име и ту адресу можете да блокирате без губитка видљивости у AI одговорима.
Проверено према: списак краулера чији су опсези упоређени. Краулер који није на овом списку овде не може ни да се потврди ни да се искључи.
Зашто свако може да се представи као GPTBot
User agent је ред текста који клијент шаље и свако у њега може да упише GPTBot или Googlebot. Скрејпери то раде да би прошли једноставне филтере. Зато заштитни зидови који гледају само user agent могу бити преварени у оба смера: пуштају лажне краулере, или правило написано против лажног краулера блокира и правог. Поређење IP адресе са списком који је оператер објавио начин је да их разликујете.
За краулере чији оператери не објављују опсег који читамо користите документацију самог оператера. Google, Microsoft и Apple подржавају и DNS проверу: потражите назив хоста адресе, проверите да ли се завршава доменом оператера, као што су googlebot.com, google.com, search.msn.com или applebot.apple.com, затим поново потражите тај назив хоста и потврдите да враћа исту адресу.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Честе грешке
Блокирање краулера по имену након злоупотребе од стране лажног. Уместо тога блокирајте адресе које злоупотребљавају, иначе губите и правог краулера.
Дозвољавање сваког захтева чији user agent каже GPTBot. У правилу заштитног зида комбинујте user agent са објављеним опсезима.
Провера адресе проксија. Иза CDN-а или балансера оптерећења ваш сервер можда бележи прокси, а не посетиоца; користите заглавље које носи адресу клијента.
Чување старе копије опсега. Оператери их мењају; правила направљена од списка старог неколико месеци могу да блокирају праве краулере.
Од једне адресе до целог лога
Ова провера одговара за једну по једну адресу. У вашем AISeeWhy налогу провера серверских логова на плаћеним плановима чита цео приступни лог, броји посете сваког AI краулера, одваја праве краулере од лажних према овим објављеним опсезима и показује како им је ваш сервер одговорио.
Честа питања
Да ли се ClaudeBot појављује у овој провери?
Тренутно не: провера обухвата краулере чије објављене датотеке опсега читамо, наведене испод резултата. За друге краулере пратите документацију оператера.
Адреса је у опсегу Googlebot-а, али user agent каже нешто друго. Шта то значи?
Захтев је дошао из Google-ове мреже. Google покреће неколико краулера и преузимача; user agent вам каже који. Није се трећа страна представљала као Google.
Могу ли да проверим више адреса одједном?
Не овим бесплатним алатом. Отпремите лог у свој налог да бисте проверили сваку посету у њему.
Да ли се адреса коју унесем чува?
Користи се за одговор на проверу и не чува се уз ваш захтев.