Залепете IP-адреса од вашите серверски дневници за да видите дали е во официјално објавените IP опсези на некој краулер. Барање што се претставува како GPTBot или PerplexityBot, а доаѓа од друга адреса, не е тој краулер и можете да го блокирате без да изгубите видливост во AI одговорите.
Кои краулери ги објавуваат своите IP-адреси?
OpenAI, Perplexity, Google, Microsoft и Apple ги објавуваат IP опсезите на своите краулери како JSON датотеки, кои ги читаме секој ден. Некои други AI компании не објавуваат опсези; за нив единствена проверка е обратниот DNS или документацијата на производителот. За да ја видите секоја посета на AI краулер во дневник одеднаш, прикачете го дневникот во вашата сметка на AISeeWhy.
Залепете една IPv4 или IPv6 адреса од дневниците на вашиот сервер или заштитен ѕид. Проверката ја бара во IP опсезите што самите оператори на краулерите ги објавуваат: OpenAI за GPTBot, OAI-SearchBot и ChatGPT-User, Perplexity за PerplexityBot и Perplexity-User, Google за Googlebot, Microsoft за Bingbot и Apple за Applebot. Ги читаме тие објавени листи секој ден. Одговорот го именува секој краулер чии опсези ја содржат адресата, или кажува дека нема таков.
Како да го читате резултатот
Во објавените опсези на краулер: барањето дошло од мрежата на тој оператор. Заедно со user agent што се совпаѓа, тоа е силен доказ дека бил вистинскиот краулер.
Надвор од сите објавени опсези: ако барањето тврдело дека е еден од наведените краулери, не бил. Некој друг го користел името и можете да ја блокирате таа адреса без да изгубите видливост во AI одговорите.
Проверено наспроти: листата на краулери чии опсези биле споредени. Краулер што не е во оваа листа не може тука да се потврди или исклучи.
Зошто секој може да тврди дека е GPTBot
User agent е ред текст што го испраќа клиентот, и секој може да напише GPTBot или Googlebot во него. Скреперите го прават тоа за да поминат низ едноставни филтри. Затоа заштитните ѕидови што гледаат само user agent можат да бидат измамени во двата правци: пропуштаат лажни краулери, или правило напишано против лажен краулер го блокира и вистинскиот. Споредувањето на IP адресата со објавената листа на операторот е начинот да ги разликувате.
За краулери чии оператори не објавуваат опсег што го читаме, користете ја документацијата на самиот оператор. Google, Microsoft и Apple поддржуваат и DNS проверка: побарајте го името на хостот за адресата, проверете дали завршува на доменот на операторот, како googlebot.com, google.com, search.msn.com или applebot.apple.com, потоа повторно побарајте го тоа име на хост и потврдете дека ја враќа истата адреса.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Чести грешки
Блокирање краулер по име откако сте виделе злоупотреба од лажен. Наместо тоа блокирајте ги адресите што злоупотребуваат, инаку го губите и вистинскиот краулер.
Дозволување на секое барање чиј user agent гласи GPTBot. Комбинирајте го user agent со објавените опсези во правилото на вашиот заштитен ѕид.
Проверување на адресата на прокси. Зад CDN или балансер на оптоварување, вашиот сервер може да го запишува проксито, а не посетителот; користете го заглавието што ја носи адресата на клиентот.
Чување стара копија од опсезите. Операторите ги менуваат; правила изградени од листа стара неколку месеци можат да блокираат вистински краулери.
Од една адреса до целиот дневник
Оваа проверка одговара за една адреса истовремено. Во вашата сметка на AISeeWhy, проверката на серверски дневници во платените планови чита цел access log, ги брои посетите на секој AI краулер, ги одделува вистинските краулери од измамниците според овие објавени опсези и покажува како им одговорил вашиот сервер.
Често поставувани прашања
Дали ClaudeBot се појавува во оваа проверка?
Не во моментов: проверката ги опфаќа краулерите чии објавени датотеки со опсези ги читаме, наведени под резултатот. За други краулери, следете ја документацијата на операторот.
Адресата е во опсегот на Googlebot, но user agent кажува нешто друго. Што значи тоа?
Барањето дошло од мрежата на Google. Google користи неколку краулери и преземачи; user agent ви кажува кој. Не била трета страна што се претставува како Google.
Можам ли да проверам многу адреси одеднаш?
Не со оваа бесплатна алатка. Прикачете го дневникот во вашата сметка за да ја проверите секоја посета во него.
Дали адресата што ја внесувам се зачувува?
Се користи за одговор на проверката и не се зачувува со вашето барање.