AI क्रॉलरसाठी robots.txt जनरेटर

कोणते AI क्रॉलर तुमची साइट वाचू शकतात ते निवडा आणि तयार झालेले robots.txt कॉपी करा. GPTBot आणि ClaudeBot सारखे AI ट्रेनिंग क्रॉलर ब्लॉक करणे, पण OAI-SearchBot आणि PerplexityBot सारख्या AI सर्च क्रॉलरना परवानगी देणे हा सामान्य पर्याय आहे, जेणेकरून तुमची पेजेस AI उत्तरांमध्ये दिसू शकतील आणि त्यांचा संदर्भ दिला जाऊ शकेल.

येथून सुरुवात करा
AI ट्रेनिंग
AI सर्च
युजरच्या विनंतीवरून फेच
Content-Signal (ऐच्छिक): तुम्ही ज्याला परवानगी देता ते निवडा

युजरच्या विनंतीवरून फेच करणाऱ्या एजंटना ब्लॉक करण्याचा परिणाम मर्यादित असतो: काही कंपन्या सांगतात की हे एजंट robots.txt पाळत नाहीत, कारण पेज एखाद्या व्यक्तीने मागितलेले असते. प्रकाशित करण्यापूर्वी robots.txt तपासणीने निकाल तपासा. AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी →

हे कसे वापरायचे

फाइल तुमच्या डोमेनच्या रूटवर ठेवा (https://example.com/robots.txt). इतर क्रॉलरसाठी आधीच नियम असल्यास ते तसेच ठेवा आणि फक्त AI गट जोडा. प्रत्येक क्रॉलर पुढच्या वेळी फाइल वाचेल तेव्हा बदल लागू होतात, सहसा एका दिवसात.

पूर्ण तपासणी चालवा →

मार्गदर्शक

robots.txt जनरेटर कसा वापरावा

हा मजकूर इंग्रजीतून मशीनद्वारे भाषांतरित केला आहे.

जनरेटर काय लिहितो

तुमची साइट वाचू शकणाऱ्या क्रॉलरवर टिक करा आणि ब्लॉक करायच्या क्रॉलरवरील टिक काढा. जनरेटर प्रत्येक ब्लॉक केलेल्या क्रॉलरसाठी एक गट असलेली robots.txt लिहितो, User-agent: <token> आणि त्यानंतर Disallow: /, मग इतर सगळ्यांना परवानगी देणारा शेवटचा User-agent: * गट. sitemap चा पत्ता जोडल्यास तो Sitemap ओळ जोडतो. Content-Signal पर्यायांवर टिक केल्यास तो तुमचा मजकूर कसा वापरता येईल हे सांगणारी Content-Signal ओळ जोडतो.

तुमच्या ब्राउझरमधून काहीही बाहेर जात नाही: तुम्ही क्लिक करता तशी फाइल पेजवरच तयार होते, आणि तुम्ही ती आउटपुट बॉक्समधून कॉपी करता.

कोणत्या प्रीसेटपासून सुरुवात करावी

उदाहरण: ट्रेनिंग ब्लॉक, AI सर्चला परवानगी

प्रत्येक ब्लॉक केलेल्या क्रॉलरचा स्वतःचा गट आहे, त्यामुळे त्याचा Disallow: / फक्त त्यालाच लागू होतो. OAI-SearchBot आणि Googlebot सह इतर सर्व क्रॉलर User-agent: * कडे जातात आणि सगळे वाचू शकतात. Content-Signal ओळ ती वाचणाऱ्या क्रॉलरसाठी हाच हेतू पुन्हा सांगते: सर्च आणि रिअल-टाइम उत्तरे हो, ट्रेनिंग नाही.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

प्रकाशित करण्यापूर्वी

नेहमीच्या चुका

वारंवार विचारले जाणारे प्रश्न

GPTBot ब्लॉक केल्याने माझी साइट ChatGPT मधून काढली जाईल का?

नाही. GPTBot ट्रेनिंग डेटा गोळा करतो. ChatGPT सर्च OAI-SearchBot वापरते, आणि ChatGPT-User लोकांनी मागितलेली पेजेस उघडतो. उद्धृत व्हायचे असल्यास त्यांना परवानगी ठेवा.

Content-Signal म्हणजे काय?

robots.txt मधील एक ओळ जी तुमचा मजकूर कसा वापरता येईल हे सांगते: search, ai-input (रिअल-टाइम उत्तरे) आणि ai-train (ट्रेनिंग), प्रत्येक हो किंवा नाही. समर्थन कंपनीनुसार वेगळे असते; क्रॉलर पाळतात तो नियम म्हणजे क्रॉलरसाठीचे स्वतंत्र गटच राहतात.

Google-Extended मुळे Google Search वर परिणाम होतो का?

नाही. हे फक्त robots.txt मधील टोकन आहे जे Google तुमची पेजेस त्याच्या AI मॉडेलसाठी वापरू शकते का हे नियंत्रित करते; ते Google Search मधील क्रॉलिंग किंवा रँकिंग बदलत नाही.

माझी निवड कुठे पाठवली जाते का?

नाही. जनरेटर तुमच्या ब्राउझरमध्ये चालतो आणि तुम्ही फाइल तपासायचे ठरवेपर्यंत आमच्या सर्व्हरला काहीही पाठवले जात नाही.

संबंधित टूल्स आणि मार्गदर्शक