Провера IP адресе AI краулера

Налепите IP адресу из логова сервера да бисте видели да ли је у званично објављеним IP опсезима неког краулера. Захтев који се представља као GPTBot или PerplexityBot, а долази са друге адресе, није тај краулер и можете да га блокирате без губитка видљивости у AI одговорима.

Који краулери објављују своје IP адресе?

OpenAI, Perplexity, Google, Microsoft и Apple објављују IP опсеге својих краулера као JSON датотеке, које читамо свакодневно. Неке друге AI компаније не објављују опсеге; за њих је једина провера обратни DNS или документација произвођача. Да бисте одједном видели све посете AI краулера у логу, отпремите лог у свој AISeeWhy налог.

Покрени потпуну проверу →

Водич

Како да користите IP проверу AI краулера

Овај текст је машински преведен са енглеског.

Шта ради ова IP провера

Налепите једну IPv4 или IPv6 адресу из логова сервера или заштитног зида. Провера је тражи у опсезима IP адреса које оператери краулера сами објављују: OpenAI за GPTBot, OAI-SearchBot и ChatGPT-User, Perplexity за PerplexityBot и Perplexity-User, Google за Googlebot, Microsoft за Bingbot и Apple за Applebot. Те објављене спискове читамо свакодневно. Одговор наводи сваки краулер чији опсези садрже адресу или каже да је ниједан не садржи.

Како да читате резултат

Зашто свако може да се представи као GPTBot

User agent је ред текста који клијент шаље и свако у њега може да упише GPTBot или Googlebot. Скрејпери то раде да би прошли једноставне филтере. Зато заштитни зидови који гледају само user agent могу бити преварени у оба смера: пуштају лажне краулере, или правило написано против лажног краулера блокира и правог. Поређење IP адресе са списком који је оператер објавио начин је да их разликујете.

203.0.113.9 - - [18/Nov/2026:10:12:01 +0000] "GET /pricing/ HTTP/1.1" 200 5123 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"

Провера краулера који нису на списку

За краулере чији оператери не објављују опсег који читамо користите документацију самог оператера. Google, Microsoft и Apple подржавају и DNS проверу: потражите назив хоста адресе, проверите да ли се завршава доменом оператера, као што су googlebot.com, google.com, search.msn.com или applebot.apple.com, затим поново потражите тај назив хоста и потврдите да враћа исту адресу.

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Честе грешке

Од једне адресе до целог лога

Ова провера одговара за једну по једну адресу. У вашем AISeeWhy налогу провера серверских логова на плаћеним плановима чита цео приступни лог, броји посете сваког AI краулера, одваја праве краулере од лажних према овим објављеним опсезима и показује како им је ваш сервер одговорио.

Честа питања

Да ли се ClaudeBot појављује у овој провери?

Тренутно не: провера обухвата краулере чије објављене датотеке опсега читамо, наведене испод резултата. За друге краулере пратите документацију оператера.

Адреса је у опсегу Googlebot-а, али user agent каже нешто друго. Шта то значи?

Захтев је дошао из Google-ове мреже. Google покреће неколико краулера и преузимача; user agent вам каже који. Није се трећа страна представљала као Google.

Могу ли да проверим више адреса одједном?

Не овим бесплатним алатом. Отпремите лог у свој налог да бисте проверили сваку посету у њему.

Да ли се адреса коју унесем чува?

Користи се за одговор на проверу и не чува се уз ваш захтев.

Повезани алати и водичи