AI kraulerlari IP tekshiruvi

Server loglaringizdagi IP manzilni joylashtiring va u kraulerning rasman eʼlon qilingan IP diapazonlariga kirishini koʻring. Oʻzini GPTBot yoki PerplexityBot deb atagan, lekin boshqa manzildan kelgan soʻrov oʻsha krauler emas va uni AI javoblaridagi koʻrinishni yoʻqotmasdan bloklashingiz mumkin.

Qaysi kraulerlar oʻz IP manzillarini eʼlon qiladi?

OpenAI, Perplexity, Google, Microsoft va Apple oʻz kraulerlarining IP diapazonlarini JSON fayllar sifatida eʼlon qiladi, biz ularni har kuni oʻqiymiz. Baʼzi boshqa AI kompaniyalari diapazonlarni eʼlon qilmaydi; ular uchun yagona tekshiruv — teskari DNS yoki ishlab chiquvchi hujjatlari. Logdagi barcha AI kraulerlari tashriflarini birdaniga koʻrish uchun logni AISeeWhy hisobingizga yuklang.

Toʻliq tekshiruvni boshlash →

Qoʻllanma

AI kraulerlari IP tekshiruvidan qanday foydalanish kerak

Bu matn ingliz tilidan mashina tarjimasi yordamida tarjima qilingan.

Bu IP tekshiruvi nima qiladi

Server yoki firewall loglaringizdan bitta IPv4 yoki IPv6 manzilini joylang. Tekshiruv uni krauler operatorlarining oʻzlari eʼlon qilgan IP diapazonlaridan qidiradi: GPTBot, OAI-SearchBot va ChatGPT-User uchun OpenAI, PerplexityBot va Perplexity-User uchun Perplexity, Googlebot uchun Google, Bingbot uchun Microsoft va Applebot uchun Apple. Biz bu eʼlon qilingan roʻyxatlarni har kuni oʻqiymiz. Javob diapazonlari manzilni oʻz ichiga olgan har bir kraulerni nomlaydi yoki hech biri olmasligini aytadi.

Natijani qanday oʻqish kerak

Nega har kim oʻzini GPTBot deb koʻrsatishi mumkin

User agent mijoz yuboradigan matn qatori va unga har kim GPTBot yoki Googlebot deb yozishi mumkin. Skreperlar oddiy filtrlardan oʻtish uchun shunday qiladi. Shuning uchun faqat user agentga qaraydigan firewallʼlarni ikki tomonlama aldash mumkin: ular soxta kraulerlarni ichkariga kiritadi yoki soxta kraulerga qarshi yozilgan qoida haqiqiysini ham bloklaydi. IP manzilni operatorning eʼlon qilingan roʻyxati bilan solishtirish ularni ajratish usulidir.

203.0.113.9 - - [18/Nov/2026:10:12:01 +0000] "GET /pricing/ HTTP/1.1" 200 5123 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"

Roʻyxatda yoʻq kraulerlarni tekshirish

Operatorlari biz oʻqiydigan diapazonni eʼlon qilmaydigan kraulerlar uchun operatorning oʻz hujjatlaridan foydalaning. Google, Microsoft va Apple DNS tekshiruvini ham qoʻllab-quvvatlaydi: manzilning host nomini aniqlang, u googlebot.com, google.com, search.msn.com yoki applebot.apple.com kabi operator domeni bilan tugashini tekshiring, keyin oʻsha host nomini qayta soʻrab, u xuddi shu manzilni qaytarishini tasdiqlang.

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Keng tarqalgan xatolar

Bitta manzildan butun loggacha

Bu tekshiruv bir vaqtda bitta manzil uchun javob beradi. AISeeWhy hisobingizda pullik tariflardagi server logi tekshiruvi butun access logni oʻqiydi, har bir AI kraulerining tashriflarini sanaydi, shu eʼlon qilingan diapazonlar boʻyicha haqiqiy kraulerlarni soxtalaridan ajratadi va serveringiz ularga qanday javob berganini koʻrsatadi.

Koʻp beriladigan savollar

ClaudeBot bu tekshiruvda chiqadimi?

Hozircha yoʻq: tekshiruv biz eʼlon qilingan diapazon fayllarini oʻqiydigan kraulerlarni qamrab oladi, ular natija ostida sanab oʻtilgan. Boshqa kraulerlar uchun operatorning hujjatlariga amal qiling.

Manzil Googlebot diapazonida, lekin user agent boshqa narsa deydi. Bu nimani anglatadi?

Soʻrov Google tarmogʻidan kelgan. Google bir nechta krauler va fetcherlarni ishlatadi; user agent qaysi biri ekanini aytadi. Bu oʻzini Google deb koʻrsatgan uchinchi tomon emas edi.

Bir vaqtda koʻp manzillarni tekshira olamanmi?

Bu bepul vosita bilan yoʻq. Undagi har bir tashrifni tekshirish uchun logni hisobingizga yuklang.

Men kiritgan manzil saqlanadimi?

U tekshiruvga javob berish uchun ishlatiladi va soʻrovingiz bilan birga saqlanmaydi.

Tegishli vositalar va qoʻllanmalar