Server log-larınızdan IP ünvanını yapışdırın və onun botun rəsmi dərc olunmuş IP diapazonlarında olub-olmadığını görün. Özünü GPTBot və ya PerplexityBot adlandıran, amma başqa ünvandan gələn sorğu həmin bot deyil və onu AI cavablarında görünməni itirmədən bloklaya bilərsiniz.
Hansı botlar IP ünvanlarını dərc edir?
OpenAI, Perplexity, Google, Microsoft və Apple botlarının IP diapazonlarını JSON faylları kimi dərc edir, biz onları hər gün oxuyuruq. Bəzi digər AI şirkətləri diapazon dərc etmir; onlar üçün yeganə yoxlama reverse DNS və ya provayderin sənədləridir. Log-dakı bütün AI bot ziyarətlərini bir dəfəyə görmək üçün log-u AISeeWhy hesabınızda yükləyin.
Bu mətn ingilis dilindən maşın tərcüməsi ilə çevrilib.
Bu IP yoxlaması nə edir
Server və ya firewall loglarınızdan bir IPv4 və ya IPv6 ünvanı yapışdırın. Yoxlama onu bot operatorlarının özlərinin dərc etdiyi IP diapazonlarında axtarır: GPTBot, OAI-SearchBot və ChatGPT-User üçün OpenAI, PerplexityBot və Perplexity-User üçün Perplexity, Googlebot üçün Google, Bingbot üçün Microsoft və Applebot üçün Apple. Bu dərc olunmuş siyahıları hər gün oxuyuruq. Cavab diapazonları ünvanı əhatə edən hər botun adını çəkir və ya heç birinin əhatə etmədiyini bildirir.
Nəticəni necə oxumaq olar
Botun dərc olunmuş diapazonlarında: sorğu həmin operatorun şəbəkəsindən gəlib. Uyğun user agent ilə birlikdə bu, onun real bot olduğuna dair güclü sübutdur.
Heç bir dərc olunmuş diapazonda deyil: sorğu siyahıdakı botlardan biri olduğunu iddia edibsə, o, həmin bot deyildi. Adı başqası istifadə edib və AI cavablarında görünməni itirmədən həmin ünvanı bloklaya bilərsiniz.
Yoxlanıldı: diapazonları müqayisə edilən botların siyahısı. Bu siyahıda olmayan botu burada nə təsdiqləmək, nə də istisna etmək mümkündür.
Niyə hər kəs özünü GPTBot kimi təqdim edə bilər
User agent klientin göndərdiyi mətn sətridir və hər kəs ona GPTBot və ya Googlebot yaza bilər. Skreperlər sadə filtrlərdən keçmək üçün bunu edir. Elə buna görə yalnız user agent-ə baxan firewall-lar hər iki istiqamətdə aldadıla bilər: saxta botları içəri buraxırlar, ya da saxta bota qarşı yazılmış qayda real botu da bloklayır. IP ünvanını operatorun dərc etdiyi siyahı ilə tutuşdurmaq onları ayırmağın yoludur.
Operatorları oxuduğumuz diapazonu dərc etməyən botlar üçün operatorun öz sənədlərindən istifadə edin. Google, Microsoft və Apple həm də DNS yoxlamasını dəstəkləyir: ünvanın host adını tapın, onun operatorun domeni ilə bitdiyini yoxlayın, məsələn, googlebot.com, google.com, search.msn.com və ya applebot.apple.com, sonra həmin host adını yenidən sorğulayın və onun eyni ünvanı qaytardığını təsdiqləyin.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Tipik səhvlər
Saxta botun sui-istifadəsini görəndən sonra botu adına görə bloklamaq. Bunun əvəzinə sui-istifadə edən ünvanları bloklayın, əks halda real botu da itirirsiniz.
User agent-i GPTBot deyən hər sorğuya icazə vermək. Firewall qaydanızda user agent-i dərc olunmuş diapazonlarla birləşdirin.
Proksinin ünvanını yoxlamaq. CDN və ya yük balanslaşdırıcısı arxasında serveriniz ziyarətçini deyil, proksini qeydə ala bilər; klientin ünvanını daşıyan başlıqdan istifadə edin.
Diapazonların köhnə nüsxəsini saxlamaq. Operatorlar onları dəyişir; aylarla köhnə siyahıdan qurulmuş qaydalar real botları bloklaya bilər.
Bir ünvandan bütün loga
Bu yoxlama bir dəfəyə bir ünvan üçün cavab verir. AISeeWhy hesabınızda ödənişli planlardakı server log yoxlaması bütöv access log-u oxuyur, hər AI botunun ziyarətlərini sayır, bu dərc olunmuş diapazonlara görə real botları saxtalarından ayırır və serverinizin onlara necə cavab verdiyini göstərir.
Tez-tez verilən suallar
ClaudeBot bu yoxlamada görünürmü?
Hazırda yox: yoxlama dərc olunmuş diapazon fayllarını oxuduğumuz botları əhatə edir, onlar nəticənin altında sadalanır. Digər botlar üçün operatorun sənədlərinə əməl edin.
Ünvan Googlebot diapazonundadır, amma user agent başqa şey deyir. Bu nə deməkdir?
Sorğu Google şəbəkəsindən gəlib. Google bir neçə bot və yükləyici işlədir; user agent hansı olduğunu bildirir. Bu, özünü Google kimi göstərən üçüncü tərəf deyildi.
Bir dəfəyə çox ünvan yoxlaya bilərəmmi?
Bu pulsuz alətlə yox. İçindəki hər ziyarəti yoxlamaq üçün logu hesabınızda yükləyin.
Daxil etdiyim ünvan saxlanılırmı?
O, yoxlamaya cavab vermək üçün istifadə olunur və sorğunuzla birlikdə saxlanılmır.