IP ठेगाना क्रलरका आधिकारिक रूपमा प्रकाशित IP दायरामा पर्छ कि पर्दैन हेर्न आफ्नो सर्भर log बाट त्यो ठेगाना टाँस्नुहोस्। आफूलाई GPTBot वा PerplexityBot भन्ने तर अर्को ठेगानाबाट आउने अनुरोध त्यो क्रलर होइन, र AI उत्तरमा देखिने क्षमता नगुमाई तपाईं त्यसलाई ब्लक गर्न सक्नुहुन्छ।
कुन क्रलरले आफ्ना IP ठेगाना प्रकाशित गर्छन्?
OpenAI, Perplexity, Google, Microsoft र Apple ले आफ्ना क्रलरका IP दायरा JSON फाइलका रूपमा प्रकाशित गर्छन्, जुन हामी दैनिक पढ्छौँ। केही अन्य AI कम्पनीले दायरा प्रकाशित गर्दैनन्; तिनका लागि reverse DNS वा कम्पनीको कागजात मात्र जाँचको उपाय हो। log मा भएका सबै AI क्रलर भ्रमण एकैपटक हेर्न, आफ्नो AISeeWhy खातामा log अपलोड गर्नुहोस्।
आफ्नो सर्भर वा फायरवाल लगबाट एउटा IPv4 वा IPv6 ठेगाना टाँस्नुहोस्। जाँचले यसलाई क्रलर सञ्चालकले आफैँ प्रकाशित गरेका IP दायरामा खोज्छ: GPTBot, OAI-SearchBot र ChatGPT-User का लागि OpenAI, PerplexityBot र Perplexity-User का लागि Perplexity, Googlebot का लागि Google, Bingbot का लागि Microsoft र Applebot का लागि Apple। हामी ती प्रकाशित सूची दैनिक पढ्छौँ। उत्तरले दायराभित्र यो ठेगाना पर्ने हरेक क्रलरको नाम दिन्छ, वा कुनैमा पर्दैन भन्छ।
नतिजा कसरी पढ्ने
क्रलरको प्रकाशित दायराभित्र: अनुरोध त्यो सञ्चालकको नेटवर्कबाट आएको हो। मिल्दो user agent सँगै, यो वास्तविक क्रलर थियो भन्ने बलियो प्रमाण हो।
कुनै प्रकाशित दायरामा छैन: अनुरोधले सूचीका कुनै क्रलर भएको दाबी गरेको थियो भने त्यो थिएन। अरू कसैले नाम प्रयोग गर्यो, र AI उत्तरमा दृश्यता नगुमाई तपाईं त्यो ठेगाना ब्लक गर्न सक्नुहुन्छ।
यीसँग जाँचियो: दायरा तुलना गरिएका क्रलरको सूची। यो सूचीमा नभएको क्रलरलाई यहाँ पुष्टि गर्न वा खारेज गर्न सकिँदैन।
जोकोहीले पनि आफूलाई GPTBot भन्न किन सक्छ
user agent क्लाइन्टले पठाउने पाठको एउटा लाइन हो, र यसमा जोकोहीले पनि GPTBot वा Googlebot लेख्न सक्छ। scraper ले सामान्य फिल्टर छल्न यस्तो गर्छन्। त्यसैले user agent मात्र हेर्ने फायरवाल दुवैतर्फ झुक्किन सक्छन्: तिनले नक्कली क्रलरलाई भित्र पस्न दिन्छन्, वा नक्कली क्रलरविरुद्ध लेखिएको नियमले वास्तविकलाई पनि ब्लक गर्छ। IP ठेगानालाई सञ्चालकको प्रकाशित सूचीसँग मिलाउनु नै तिनलाई छुट्याउने तरिका हो।
हामीले पढ्ने दायरा प्रकाशित नगर्ने सञ्चालकका क्रलरका लागि सञ्चालककै कागजात प्रयोग गर्नुहोस्। Google, Microsoft र Apple ले DNS जाँच पनि समर्थन गर्छन्: ठेगानाको host name खोज्नुहोस्, त्यो googlebot.com, google.com, search.msn.com वा applebot.apple.com जस्तो सञ्चालकको डोमेनमा अन्त्य हुन्छ कि जाँच्नुहोस्, त्यसपछि त्यो host name फेरि खोजेर उही ठेगाना फर्काउँछ भन्ने पुष्टि गर्नुहोस्।
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
सामान्य गल्ती
नक्कली क्रलरको दुरुपयोग देखेपछि नामअनुसार क्रलर ब्लक गर्नु। यसको सट्टा दुरुपयोग गर्ने ठेगाना ब्लक गर्नुहोस्, नत्र वास्तविक क्रलर पनि गुमाउनुहुन्छ।
user agent मा GPTBot लेखिएको हरेक अनुरोधलाई अनुमति दिनु। आफ्नो फायरवाल नियममा user agent लाई प्रकाशित दायरासँग जोड्नुहोस्।
proxy को ठेगाना जाँच्नु। CDN वा load balancer पछाडि तपाईंको सर्भरले आगन्तुकको होइन proxy को ठेगाना लग गर्न सक्छ; क्लाइन्टको ठेगाना बोक्ने header प्रयोग गर्नुहोस्।
दायराको पुरानो प्रति राखिरहनु। सञ्चालकले तिनलाई बदल्छन्; महिनौँ पुरानो सूचीबाट बनेका नियमले वास्तविक क्रलर ब्लक गर्न सक्छन्।
एउटा ठेगानाबाट पूरै लगसम्म
यो जाँचले एकपटकमा एउटा ठेगानाको उत्तर दिन्छ। तपाईंको AISeeWhy खातामा, सशुल्क योजनाको सर्भर लग जाँचले पूरै access log पढ्छ, हरेक AI क्रलरको भ्रमण गन्छ, यिनै प्रकाशित दायराद्वारा वास्तविक क्रलरलाई नक्कलीबाट छुट्याउँछ र तपाईंको सर्भरले तिनलाई कस्तो उत्तर दियो देखाउँछ।
बारम्बार सोधिने प्रश्नहरू
के यो जाँचमा ClaudeBot देखिन्छ?
अहिले देखिँदैन: जाँचले हामीले पढ्ने प्रकाशित दायरा फाइल भएका क्रलर समेट्छ, जुन नतिजामुनि सूचीबद्ध छन्। अरू क्रलरका लागि सञ्चालकको कागजात पछ्याउनुहोस्।
ठेगाना Googlebot को दायरामा छ तर user agent ले अर्कै कुरा भन्छ। यसको अर्थ के हो?
अनुरोध Google को नेटवर्कबाट आएको हो। Google ले धेरै क्रलर र fetcher चलाउँछ; कुन हो भन्ने user agent ले बताउँछ। यो Google भएको बहाना गर्ने तेस्रो पक्ष थिएन।
के एकैपटक धेरै ठेगाना जाँच्न सकिन्छ?
यो निःशुल्क टुलबाट सकिँदैन। त्यसमा भएका हरेक भ्रमण जाँच्न आफ्नो खातामा लग अपलोड गर्नुहोस्।
के मैले लेखेको ठेगाना सेभ गरिन्छ?
यो जाँचको उत्तर दिन प्रयोग हुन्छ र तपाईंको अनुरोधसँग सेभ गरिँदैन।