तुमच्या सर्व्हर लॉगमधील IP पत्ता पेस्ट करा आणि तो क्रॉलरच्या अधिकृतपणे प्रकाशित IP रेंजमध्ये आहे का ते पाहा. स्वतःला GPTBot किंवा PerplexityBot म्हणवणारी पण दुसऱ्या पत्त्यावरून येणारी विनंती तो क्रॉलर नसते, आणि AI उत्तरांमधील दृश्यमानता न गमावता तुम्ही ती ब्लॉक करू शकता.
कोणते क्रॉलर त्यांचे IP पत्ते प्रकाशित करतात?
OpenAI, Perplexity, Google, Microsoft आणि Apple त्यांच्या क्रॉलरच्या IP रेंज JSON फाइल म्हणून प्रकाशित करतात, ज्या आम्ही दररोज वाचतो. काही इतर AI कंपन्या रेंज प्रकाशित करत नाहीत; त्यांच्यासाठी reverse DNS किंवा कंपनीचे दस्तऐवज हीच एकमेव तपासणी आहे. लॉगमधील प्रत्येक AI क्रॉलर भेट एकाच वेळी पाहण्यासाठी तुमच्या AISeeWhy खात्यात लॉग अपलोड करा.
हा मजकूर इंग्रजीतून मशीनद्वारे भाषांतरित केला आहे.
ही IP तपासणी काय करते
तुमच्या सर्व्हर किंवा फायरवॉल लॉगमधील एक IPv4 किंवा IPv6 पत्ता पेस्ट करा. क्रॉलर चालवणाऱ्या कंपन्या स्वतः प्रकाशित करतात त्या IP रेंजमध्ये तपासणी तो शोधते: GPTBot, OAI-SearchBot आणि ChatGPT-User साठी OpenAI, PerplexityBot आणि Perplexity-User साठी Perplexity, Googlebot साठी Google, Bingbot साठी Microsoft आणि Applebot साठी Apple. आम्ही त्या प्रकाशित याद्या दररोज वाचतो. उत्तरात ज्यांच्या रेंजमध्ये हा पत्ता आहे त्या प्रत्येक क्रॉलरचे नाव असते, किंवा कोणाच्याही नाही असे सांगितले जाते.
निकाल कसा वाचावा
क्रॉलरच्या प्रकाशित रेंजमध्ये: विनंती त्या कंपनीच्या नेटवर्कमधून आली. जुळणाऱ्या युजर एजंटसह, हा खरा क्रॉलर होता याचा भक्कम पुरावा आहे.
कोणत्याही प्रकाशित रेंजमध्ये नाही: विनंतीने यादीतील क्रॉलरपैकी एक असल्याचा दावा केला असल्यास, तो तसा नव्हता. दुसऱ्या कोणीतरी नाव वापरले, आणि AI उत्तरांमधील दृश्यमानता न गमावता तुम्ही तो पत्ता ब्लॉक करू शकता.
यांच्याशी तुलना केली: ज्या क्रॉलरच्या रेंजची तुलना झाली त्यांची यादी. या यादीत नसलेल्या क्रॉलरची येथे खात्री करता येत नाही किंवा तो नाकारता येत नाही.
कोणीही GPTBot असल्याचा दावा का करू शकतो
युजर एजंट म्हणजे क्लायंट पाठवतो ती मजकुराची एक ओळ, आणि कोणीही त्यात GPTBot किंवा Googlebot लिहू शकतो. साधे फिल्टर पार करण्यासाठी स्क्रेपर असे करतात. म्हणूनच फक्त युजर एजंट पाहणारे फायरवॉल दोन्ही बाजूंनी फसू शकतात: ते बनावट क्रॉलरना आत येऊ देतात, किंवा बनावट क्रॉलरविरुद्ध लिहिलेला नियम खऱ्यालाही ब्लॉक करतो. IP पत्ता कंपनीच्या प्रकाशित यादीशी जुळवणे हाच त्यांना वेगळे ओळखण्याचा मार्ग आहे.
ज्या क्रॉलरच्या कंपन्या आम्ही वाचतो अशी रेंज प्रकाशित करत नाहीत, त्यांच्यासाठी कंपनीचे स्वतःचे दस्तऐवजीकरण वापरा. Google, Microsoft आणि Apple DNS तपासणीलाही समर्थन देतात: पत्त्याचे होस्ट नाव शोधा, ते googlebot.com, google.com, search.msn.com किंवा applebot.apple.com सारख्या कंपनीच्या डोमेनने संपते हे तपासा, मग ते होस्ट नाव पुन्हा शोधा आणि ते तोच पत्ता परत देते याची खात्री करा.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
नेहमीच्या चुका
बनावट क्रॉलरचा गैरवापर पाहून क्रॉलरला नावाने ब्लॉक करणे. त्याऐवजी गैरवापर करणारे पत्ते ब्लॉक करा, नाहीतर खरा क्रॉलरही गमवाल.
युजर एजंटमध्ये GPTBot असलेल्या कोणत्याही विनंतीला परवानगी देणे. तुमच्या फायरवॉल नियमात युजर एजंटसोबत प्रकाशित रेंजही वापरा.
प्रॉक्सीचा पत्ता तपासणे. CDN किंवा लोड बॅलन्सरच्या मागे तुमचा सर्व्हर अभ्यागताऐवजी प्रॉक्सीची नोंद करू शकतो; क्लायंटचा पत्ता असलेले हेडर वापरा.
रेंजची जुनी प्रत ठेवणे. कंपन्या त्या बदलतात; काही महिने जुन्या यादीवरून बनवलेले नियम खरे क्रॉलर ब्लॉक करू शकतात.
एका पत्त्यापासून संपूर्ण लॉगपर्यंत
ही तपासणी एका वेळी एका पत्त्याचे उत्तर देते. तुमच्या AISeeWhy खात्यात, सशुल्क प्लॅनवरील सर्व्हर-लॉग तपासणी संपूर्ण ॲक्सेस लॉग वाचते, प्रत्येक AI क्रॉलरच्या भेटी मोजते, या प्रकाशित रेंजद्वारे खरे क्रॉलर तोतयांपासून वेगळे करते आणि तुमच्या सर्व्हरने त्यांना कसे उत्तर दिले ते दाखवते.
वारंवार विचारले जाणारे प्रश्न
या तपासणीत ClaudeBot दिसतो का?
सध्या नाही: तपासणीत ज्या क्रॉलरच्या प्रकाशित रेंज फाइल आम्ही वाचतो ते समाविष्ट आहेत, आणि ते निकालाखाली दिलेले आहेत. इतर क्रॉलरसाठी कंपनीचे दस्तऐवजीकरण पाहा.
पत्ता Googlebot च्या रेंजमध्ये आहे पण युजर एजंट काहीतरी वेगळेच सांगतो. याचा अर्थ काय?
विनंती Google च्या नेटवर्कमधून आली. Google अनेक क्रॉलर आणि फेचर चालवते; कोणता ते युजर एजंट सांगतो. Google असल्याचे भासवणारा तो तिसरा पक्ष नव्हता.
मी एकाच वेळी अनेक पत्ते तपासू शकतो का?
या मोफत टूलने नाही. त्यातील प्रत्येक भेट तपासण्यासाठी लॉग तुमच्या खात्यात अपलोड करा.
मी टाकलेला पत्ता साठवला जातो का?
तो तपासणीचे उत्तर देण्यासाठी वापरला जातो आणि तुमच्या विनंतीसोबत सेव्ह केला जात नाही.