ЖИ краулерінің IP тексеруі

Сервер журналдарыңыздағы IP мекенжайын қойып, оның краулердің ресми жарияланған IP ауқымдарында бар-жоғын көріңіз. Өзін GPTBot немесе PerplexityBot деп атайтын, бірақ басқа мекенжайдан келген сұрау ол краулер емес: оны ЖИ жауаптарындағы көрінуді жоғалтпай бұғаттай аласыз.

Қай краулерлер IP мекенжайларын жариялайды?

OpenAI, Perplexity, Google, Microsoft және Apple краулерлерінің IP ауқымдарын JSON файлдары ретінде жариялайды, біз оларды күн сайын оқимыз. Кейбір басқа ЖИ компаниялары ауқымдарын жарияламайды; олар үшін тек кері DNS немесе жеткізушінің құжаттамасы арқылы тексеруге болады. Журналдағы барлық ЖИ краулер кірулерін бірден көру үшін журналды AISeeWhy аккаунтыңызға жүктеңіз.

Толық тексеруді іске қосу →

Нұсқаулық

ЖИ краулерлерінің IP тексеруін қалай пайдалануға болады

Бұл мәтін ағылшын тілінен машиналық аудармамен аударылған.

Бұл IP тексеру не істейді

Сервер немесе файрвол журналдарыңыздан бір IPv4 немесе IPv6 мекенжайын қойыңыз. Тексеру оны краулер операторларының өздері жариялаған IP ауқымдарынан іздейді: GPTBot, OAI-SearchBot және ChatGPT-User үшін OpenAI, PerplexityBot және Perplexity-User үшін Perplexity, Googlebot үшін Google, Bingbot үшін Microsoft және Applebot үшін Apple. Біз бұл жарияланған тізімдерді күн сайын оқимыз. Жауап ауқымдары мекенжайды қамтитын әр краулерді атайды немесе ешқайсысы қамтымайтынын айтады.

Нәтижені қалай оқу керек

Неге кез келген адам өзін GPTBot деп көрсете алады

User agent — клиент жіберетін мәтін жолы, оған кез келген адам GPTBot немесе Googlebot деп жаза алады. Скреперлер қарапайым сүзгілерден өту үшін осылай істейді. Сондықтан тек user agent-ке қарайтын файрволдарды екі бағытта да алдауға болады: олар жалған краулерлерді өткізіп жібереді, немесе жалған краулерге қарсы жазылған ереже нақтысын да бұғаттайды. IP мекенжайын оператордың жарияланған тізімімен салыстыру — оларды ажыратудың жолы.

203.0.113.9 - - [18/Nov/2026:10:12:01 +0000] "GET /pricing/ HTTP/1.1" 200 5123 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"

Тізімде жоқ краулерлерді тексеру

Операторлары біз оқитын ауқымды жарияламайтын краулерлер үшін оператордың өз құжаттамасын пайдаланыңыз. Google, Microsoft және Apple DNS тексеруін де қолдайды: мекенжайдың хост атауын анықтаңыз, оның googlebot.com, google.com, search.msn.com немесе applebot.apple.com сияқты оператор доменімен аяқталатынын тексеріңіз, содан кейін сол хост атауын қайта сұратып, ол сол мекенжайды қайтаратынын растаңыз.

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Жиі кездесетін қателер

Бір мекенжайдан бүкіл журналға дейін

Бұл тексеру бір мезетте бір мекенжай үшін жауап береді. AISeeWhy аккаунтыңызда ақылы жоспарлардағы сервер журналын тексеру бүкіл access log-ты оқиды, әр ЖИ краулерінің келуін санайды, осы жарияланған ауқымдар бойынша нақты краулерлерді жалғандарынан ажыратады және серверіңіз оларға қалай жауап бергенін көрсетеді.

Жиі қойылатын сұрақтар

ClaudeBot бұл тексеруде көрсетіле ме?

Қазір жоқ: тексеру біз жарияланған ауқым файлдарын оқитын краулерлерді қамтиды, олар нәтиженің астында тізілген. Басқа краулерлер үшін оператордың құжаттамасын басшылыққа алыңыз.

Мекенжай Googlebot ауқымында, бірақ user agent басқаны айтады. Бұл нені білдіреді?

Сұрау Google желісінен келген. Google бірнеше краулер мен fetcher іске қосады; user agent қайсысы екенін айтады. Бұл өзін Google деп көрсеткен үшінші тарап емес еді.

Бірден көп мекенжайды тексере аламын ба?

Бұл тегін құралмен жоқ. Ондағы әр келуді тексеру үшін журналды аккаунтыңызға жүктеңіз.

Мен енгізген мекенжай сақтала ма?

Ол тексеруге жауап беру үшін пайдаланылады және сұрауыңызбен бірге сақталмайды.

Байланысты құралдар мен нұсқаулықтар