AI क्रॉलर के लिए robots.txt जनरेटर

चुनें कि कौन-से AI क्रॉलर आपकी साइट पढ़ सकते हैं और बना हुआ robots.txt कॉपी करें। आम चुनाव है GPTBot और ClaudeBot जैसे AI ट्रेनिंग क्रॉलर को ब्लॉक करना, लेकिन OAI-SearchBot और PerplexityBot जैसे AI सर्च क्रॉलर को अनुमति देना, ताकि आपके पेज AI उत्तरों में दिखते और उद्धृत होते रहें।

यूज़र के कहने पर फ़ेच करने वाले क्रॉलर को ब्लॉक करने का असर सीमित है: कुछ वेंडर कहते हैं कि ये एजेंट robots.txt का पालन नहीं भी कर सकते, क्योंकि पेज किसी व्यक्ति ने माँगा था। प्रकाशित करने से पहले नतीजे को robots.txt चेकर से जाँचें। AI क्रॉलर के लिए robots.txt चेकर →

इसे कैसे इस्तेमाल करें

फ़ाइल को अपने डोमेन के रूट पर रखें (https://example.com/robots.txt)। अगर दूसरे क्रॉलर के लिए आपके पास पहले से नियम हैं, तो उन्हें रखें और केवल AI समूह जोड़ें। बदलाव तब लागू होते हैं जब हर क्रॉलर अगली बार फ़ाइल पढ़ता है, आम तौर पर एक दिन के भीतर।

पूरी जाँच चलाएँ →