IP проверка на AI краулери

Залепете IP-адреса од вашите серверски дневници за да видите дали е во официјално објавените IP опсези на некој краулер. Барање што се претставува како GPTBot или PerplexityBot, а доаѓа од друга адреса, не е тој краулер и можете да го блокирате без да изгубите видливост во AI одговорите.

Кои краулери ги објавуваат своите IP-адреси?

OpenAI, Perplexity, Google, Microsoft и Apple ги објавуваат IP опсезите на своите краулери како JSON датотеки, кои ги читаме секој ден. Некои други AI компании не објавуваат опсези; за нив единствена проверка е обратниот DNS или документацијата на производителот. За да ја видите секоја посета на AI краулер во дневник одеднаш, прикачете го дневникот во вашата сметка на AISeeWhy.

Изврши ја целосната проверка →

Водич

Како да ја користите IP проверката за AI краулери

Овој текст е машински преведен од англиски.

Што прави оваа IP проверка

Залепете една IPv4 или IPv6 адреса од дневниците на вашиот сервер или заштитен ѕид. Проверката ја бара во IP опсезите што самите оператори на краулерите ги објавуваат: OpenAI за GPTBot, OAI-SearchBot и ChatGPT-User, Perplexity за PerplexityBot и Perplexity-User, Google за Googlebot, Microsoft за Bingbot и Apple за Applebot. Ги читаме тие објавени листи секој ден. Одговорот го именува секој краулер чии опсези ја содржат адресата, или кажува дека нема таков.

Како да го читате резултатот

Зошто секој може да тврди дека е GPTBot

User agent е ред текст што го испраќа клиентот, и секој може да напише GPTBot или Googlebot во него. Скреперите го прават тоа за да поминат низ едноставни филтри. Затоа заштитните ѕидови што гледаат само user agent можат да бидат измамени во двата правци: пропуштаат лажни краулери, или правило напишано против лажен краулер го блокира и вистинскиот. Споредувањето на IP адресата со објавената листа на операторот е начинот да ги разликувате.

203.0.113.9 - - [18/Nov/2026:10:12:01 +0000] "GET /pricing/ HTTP/1.1" 200 5123 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"

Потврдување краулери што не се на листата

За краулери чии оператори не објавуваат опсег што го читаме, користете ја документацијата на самиот оператор. Google, Microsoft и Apple поддржуваат и DNS проверка: побарајте го името на хостот за адресата, проверете дали завршува на доменот на операторот, како googlebot.com, google.com, search.msn.com или applebot.apple.com, потоа повторно побарајте го тоа име на хост и потврдете дека ја враќа истата адреса.

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Чести грешки

Од една адреса до целиот дневник

Оваа проверка одговара за една адреса истовремено. Во вашата сметка на AISeeWhy, проверката на серверски дневници во платените планови чита цел access log, ги брои посетите на секој AI краулер, ги одделува вистинските краулери од измамниците според овие објавени опсези и покажува како им одговорил вашиот сервер.

Често поставувани прашања

Дали ClaudeBot се појавува во оваа проверка?

Не во моментов: проверката ги опфаќа краулерите чии објавени датотеки со опсези ги читаме, наведени под резултатот. За други краулери, следете ја документацијата на операторот.

Адресата е во опсегот на Googlebot, но user agent кажува нешто друго. Што значи тоа?

Барањето дошло од мрежата на Google. Google користи неколку краулери и преземачи; user agent ви кажува кој. Не била трета страна што се претставува како Google.

Можам ли да проверам многу адреси одеднаш?

Не со оваа бесплатна алатка. Прикачете го дневникот во вашата сметка за да ја проверите секоја посета во него.

Дали адресата што ја внесувам се зачувува?

Се користи за одговор на проверката и не се зачувува со вашето барање.

Поврзани алатки и водичи