AI क्रॉलर के लिए robots.txt चेकर

पेज का पता डालें: हम साइट की robots.txt पढ़ते हैं और हर AI और सर्च क्रॉलर के लिए दिखाते हैं कि वह उस पेज को फ़ेच कर सकता है या नहीं। या robots.txt पेस्ट करके उसे प्रकाशित करने से पहले टेस्ट करें।

robots.txt सिर्फ़ एक अनुरोध है। robots.txt जिस क्रॉलर को अनुमति देती है, उसे भी फ़ायरवॉल या बॉट सुरक्षा ब्लॉक कर सकती है; पूरी जाँच इसे टेस्ट करती है। पूरी जाँच चलाएँ →

AI क्रॉलर robots.txt कैसे पढ़ते हैं

हर क्रॉलर उस ग्रुप का पालन करता है जिसमें उसका टोकन (जैसे GPTBot या PerplexityBot) लिखा हो; ऐसा कोई ग्रुप न हो, तभी वह User-agent: * का पालन करता है। एक ग्रुप के अंदर सबसे लंबा मेल खाने वाला नियम लागू होता है, और बराबरी पर Allow जीतता है। GPTBot, ClaudeBot या Google-Extended जैसे ट्रेनिंग क्रॉलर को ब्लॉक करने से आपका कंटेंट मॉडल ट्रेनिंग से बाहर रहता है; OAI-SearchBot, ChatGPT-User या PerplexityBot जैसे सर्च और यूज़र क्रॉलर को ब्लॉक करने से आपके पेज AI जवाबों से बाहर रहते हैं।