कोणते AI क्रॉलर तुमची साइट वाचू शकतात ते निवडा आणि तयार झालेले robots.txt कॉपी करा. GPTBot आणि ClaudeBot सारखे AI ट्रेनिंग क्रॉलर ब्लॉक करणे, पण OAI-SearchBot आणि PerplexityBot सारख्या AI सर्च क्रॉलरना परवानगी देणे हा सामान्य पर्याय आहे, जेणेकरून तुमची पेजेस AI उत्तरांमध्ये दिसू शकतील आणि त्यांचा संदर्भ दिला जाऊ शकेल.
युजरच्या विनंतीवरून फेच करणाऱ्या एजंटना ब्लॉक करण्याचा परिणाम मर्यादित असतो: काही कंपन्या सांगतात की हे एजंट robots.txt पाळत नाहीत, कारण पेज एखाद्या व्यक्तीने मागितलेले असते. प्रकाशित करण्यापूर्वी robots.txt तपासणीने निकाल तपासा. AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी →
हे कसे वापरायचे
फाइल तुमच्या डोमेनच्या रूटवर ठेवा (https://example.com/robots.txt). इतर क्रॉलरसाठी आधीच नियम असल्यास ते तसेच ठेवा आणि फक्त AI गट जोडा. प्रत्येक क्रॉलर पुढच्या वेळी फाइल वाचेल तेव्हा बदल लागू होतात, सहसा एका दिवसात.
हा मजकूर इंग्रजीतून मशीनद्वारे भाषांतरित केला आहे.
जनरेटर काय लिहितो
तुमची साइट वाचू शकणाऱ्या क्रॉलरवर टिक करा आणि ब्लॉक करायच्या क्रॉलरवरील टिक काढा. जनरेटर प्रत्येक ब्लॉक केलेल्या क्रॉलरसाठी एक गट असलेली robots.txt लिहितो, User-agent: <token> आणि त्यानंतर Disallow: /, मग इतर सगळ्यांना परवानगी देणारा शेवटचा User-agent: * गट. sitemap चा पत्ता जोडल्यास तो Sitemap ओळ जोडतो. Content-Signal पर्यायांवर टिक केल्यास तो तुमचा मजकूर कसा वापरता येईल हे सांगणारी Content-Signal ओळ जोडतो.
तुमच्या ब्राउझरमधून काहीही बाहेर जात नाही: तुम्ही क्लिक करता तशी फाइल पेजवरच तयार होते, आणि तुम्ही ती आउटपुट बॉक्समधून कॉपी करता.
कोणत्या प्रीसेटपासून सुरुवात करावी
सर्वांना परवानगी: प्रत्येक क्रॉलर प्रत्येक पेज वाचू शकतो. सापडू आणि उद्धृत होऊ इच्छिणाऱ्या बहुतेक साइटसाठी योग्य.
ट्रेनिंग ब्लॉक, AI सर्चला परवानगी: GPTBot, ClaudeBot, CCBot आणि Google-Extended सारखे ट्रेनिंग क्रॉलर ब्लॉक होतात; OAI-SearchBot, Claude-SearchBot, PerplexityBot आणि ChatGPT-User सारख्या सर्च आणि युजर क्रॉलरना परवानगी राहते. तुमची पेजेस AI उत्तरांमध्ये दिसू आणि उद्धृत होऊ शकतात.
सर्व AI क्रॉलर ब्लॉक: यादीतील प्रत्येक AI क्रॉलर ब्लॉक होतो. ते क्रॉलर AI उत्तरांसाठी तुमची पेजेस मिळवणार नाहीत, याचा अर्थ सहसा असिस्टंटकडून कमी उल्लेख आणि कमी ट्रॅफिक.
उदाहरण: ट्रेनिंग ब्लॉक, AI सर्चला परवानगी
प्रत्येक ब्लॉक केलेल्या क्रॉलरचा स्वतःचा गट आहे, त्यामुळे त्याचा Disallow: / फक्त त्यालाच लागू होतो. OAI-SearchBot आणि Googlebot सह इतर सर्व क्रॉलर User-agent: * कडे जातात आणि सगळे वाचू शकतात. Content-Signal ओळ ती वाचणाऱ्या क्रॉलरसाठी हाच हेतू पुन्हा सांगते: सर्च आणि रिअल-टाइम उत्तरे हो, ट्रेनिंग नाही.
बदलू नका, एकत्र करा. तुमच्या सध्याच्या robots.txt मध्ये ॲडमिन भाग, कार्ट किंवा सर्च पेजेससाठी नियम असल्यास, ते नवीन फाइलच्या User-agent: * गटात कॉपी करा, नाहीतर ते भाग सर्व क्रॉलरसाठी खुले होतील.
फाइल प्रत्येक होस्टच्या मुळात ठेवा: https://example.com/robots.txt. सबडोमेनला स्वतःची फाइल लागते.
ती स्टेटस 200 सह साध्या टेक्स्ट स्वरूपात द्या. त्या पत्त्यावरील HTML पेज किंवा एरर robots.txt म्हणून चालत नाही.
निकाल robots.txt टेस्टरमध्ये पेस्ट करा आणि तुम्हाला महत्त्वाच्या क्रॉलरसाठी काही खरे पाथ तपासा.
लक्षात ठेवा की robots.txt ही विनंती आहे. तुम्ही परवानगी दिलेल्या क्रॉलरला फायरवॉल ब्लॉक करत असल्यास फाइल ते दुरुस्त करू शकत नाही; पूर्ण तपासणी ते दाखवते.
नेहमीच्या चुका
ट्रेनिंग थांबवण्यासाठी OAI-SearchBot किंवा PerplexityBot ब्लॉक करणे. ते सर्च क्रॉलर आहेत; त्यांना ब्लॉक केल्यास तुम्ही उत्तरांमधून बाहेर पडता.
त्यांपैकी फक्त एकाला ब्लॉक करायचे असताना एका Disallow: / च्या वर अनेक User-agent ओळी लिहिणे: एकाखाली एक ओळी एकच गट बनवतात.
ChatGPT-User सारखे युजरच्या विनंतीवर पेज मिळवणारे फेचर ब्लॉक पाळतील अशी अपेक्षा. काही कंपन्या सांगतात की एखाद्या व्यक्तीने पेज मागितल्यावर हे एजंट robots.txt पाळणार नाहीत.
Crawl-delay किंवा Noindex ओळी जोडणे. त्या RFC 9309 चा भाग नाहीत आणि Google दोन्हीकडे दुर्लक्ष करते.
वारंवार विचारले जाणारे प्रश्न
GPTBot ब्लॉक केल्याने माझी साइट ChatGPT मधून काढली जाईल का?
नाही. GPTBot ट्रेनिंग डेटा गोळा करतो. ChatGPT सर्च OAI-SearchBot वापरते, आणि ChatGPT-User लोकांनी मागितलेली पेजेस उघडतो. उद्धृत व्हायचे असल्यास त्यांना परवानगी ठेवा.
Content-Signal म्हणजे काय?
robots.txt मधील एक ओळ जी तुमचा मजकूर कसा वापरता येईल हे सांगते: search, ai-input (रिअल-टाइम उत्तरे) आणि ai-train (ट्रेनिंग), प्रत्येक हो किंवा नाही. समर्थन कंपनीनुसार वेगळे असते; क्रॉलर पाळतात तो नियम म्हणजे क्रॉलरसाठीचे स्वतंत्र गटच राहतात.
Google-Extended मुळे Google Search वर परिणाम होतो का?
नाही. हे फक्त robots.txt मधील टोकन आहे जे Google तुमची पेजेस त्याच्या AI मॉडेलसाठी वापरू शकते का हे नियंत्रित करते; ते Google Search मधील क्रॉलिंग किंवा रँकिंग बदलत नाही.
माझी निवड कुठे पाठवली जाते का?
नाही. जनरेटर तुमच्या ब्राउझरमध्ये चालतो आणि तुम्ही फाइल तपासायचे ठरवेपर्यंत आमच्या सर्व्हरला काहीही पाठवले जात नाही.