पेजचा पत्ता टाका: आम्ही साइटचे robots.txt वाचतो आणि प्रत्येक AI आणि सर्च क्रॉलरसाठी ते पेज मिळवण्याची परवानगी आहे का ते दाखवतो. किंवा प्रकाशित करण्यापूर्वी तपासण्यासाठी robots.txt पेस्ट करा.
robots.txt ही फक्त विनंती आहे. robots.txt ने परवानगी दिलेल्या क्रॉलरलाही फायरवॉल किंवा बॉट संरक्षण ब्लॉक करू शकते; पूर्ण तपासणी हे तपासते. पूर्ण तपासणी चालवा →
तुम्ही असलेल्या पेजची हीच तपासणी, एका क्लिकमध्ये: AI क्रॉलर चेकर ↗
AI क्रॉलर robots.txt कसे वाचतात
प्रत्येक क्रॉलर त्याचे टोकन नमूद करणाऱ्या गटाचे पालन करतो (उदाहरणार्थ GPTBot किंवा PerplexityBot); असा गट नसेल तरच तो User-agent: * चे पालन करतो. गटामध्ये सर्वात लांब जुळणारा नियम लागू होतो, आणि बरोबरी झाल्यास Allow लागू होतो. GPTBot, ClaudeBot किंवा Google-Extended सारखे ट्रेनिंग क्रॉलर ब्लॉक केल्याने तुमचा मजकूर मॉडेल प्रशिक्षणापासून दूर राहतो; OAI-SearchBot, ChatGPT-User किंवा PerplexityBot सारखे सर्च आणि युजर क्रॉलर ब्लॉक केल्याने तुमची पेजेस AI उत्तरांपासून दूर राहतात.
मार्गदर्शक
robots.txt टेस्टर कसा वापरावा
हा मजकूर इंग्रजीतून मशीनद्वारे भाषांतरित केला आहे.
हा robots.txt टेस्टर काय तपासतो
पेजचा पत्ता टाका. टेस्टर त्या पत्त्याची स्कीम आणि होस्ट घेतो, त्या होस्टच्या मुळातून /robots.txt वाचतो आणि तुमच्या पेजच्या पाथसाठी त्यातील नियम तपासतो. तो 16 क्रॉलरपैकी प्रत्येकासाठी एकाच प्रश्नाचे उत्तर देतो: हा क्रॉलर हे पेज मिळवू शकतो का?
क्रॉलर त्यांच्या कामानुसार गटांत दाखवले आहेत. ट्रेनिंग क्रॉलर AI मॉडेलसाठी पेजेस गोळा करतात: GPTBot, ClaudeBot, CCBot, Bytespider आणि Meta-ExternalAgent, तसेच फक्त robots.txt मध्ये वापरले जाणारे टोकन Google-Extended आणि Applebot-Extended, जे स्वतः कधीच भेट देत नाहीत पण Google आणि Apple ला आधीच मिळवलेली पेजेस वापरता येतील का ते सांगतात. सर्च क्रॉलर AI उत्तरे आणि सर्च निकाल ज्यांचा संदर्भ देतात ते इंडेक्स तयार करतात: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot आणि Applebot. एखादी व्यक्ती असिस्टंटला पेज उघडायला सांगते तेव्हा युजर एजंट ते पेज मिळवतात: ChatGPT-User, Claude-User आणि Perplexity-User.
पत्त्याऐवजी तुम्ही robots.txt पेस्टही करू शकता. तेव्हा काहीही मिळवले जात नाही: टेस्टर तुम्ही पेस्ट केलेला मजकूर तपासतो, त्यामुळे प्रकाशित करण्यापूर्वी बदल वापरून पाहता येतो. पेस्ट केलेला मजकूर फक्त उत्तर देण्यासाठी वापरला जातो आणि सेव्ह केला जात नाही.
निकाल कसे वाचावे
टेबलमध्ये प्रत्येक क्रॉलरसाठी एक ओळ असते. तुमच्या पाथच्या कॉलममध्ये परवानगी आहे किंवा ब्लॉक केलेले असे लिहिलेले असते. शेवटचा कॉलम फाइलच्या कोणत्या भागाने निर्णय घेतला ते सांगतो:
स्वतःचा गट: फाइलमध्ये या क्रॉलरचे टोकन असलेली User-agent ओळ आहे, आणि त्याच्यासाठी फक्त त्या गटाचे नियम लागू होतात.
User-agent: *: कोणताही गट या क्रॉलरचे नाव घेत नाही, म्हणून तो सर्वांसाठीच्या गटाचे पालन करतो.
नियम नाही: कोणताही गट लागू होत नाही, म्हणून पेजला परवानगी आहे.
टेबलखाली फाइलमध्ये दिलेल्या Sitemap ओळी आणि असल्यास तिची Content-Signal ओळ दिसते. पत्त्यावरून टेक्स्ट फाइलऐवजी वेब पेज मिळाले किंवा कोणतीही फाइल मिळाली नाही, तर टेस्टर तसे सांगतो: /robots.txt वरील HTML पेज क्रॉलर फाइल नसल्यासारखे मानतात.
परवानगी आहे असे लिहिलेल्या ओळीचा अर्थ फक्त इतकाच की robots.txt त्या क्रॉलरला थांबवत नाही. क्रॉलर भेट देईलच असा त्याचा अर्थ नाही, आणि तुमच्या फायरवॉलबद्दल ती काहीही सांगत नाही.
क्रॉलर त्याचे नियम कसे निवडतो
robots.txt चे मानक RFC 9309 तीन नियम ठरवते, ज्यांमुळे जवळपास प्रत्येक अनपेक्षित निकालाचे स्पष्टीकरण मिळते. क्रॉलर आधी असे गट शोधतो ज्यांचा User-agent त्याच्या टोकनशी जुळतो, अक्षरांच्या केसकडे दुर्लक्ष करून. असा गट सापडल्यास तो फक्त त्याच गटांचे पालन करतो आणि User-agent: * कडे पूर्णपणे दुर्लक्ष करतो. निवडलेल्या गटात सर्वात लांब जुळणारा पाथ असलेला नियम लागू होतो, आणि Allow व Disallow समान लांबीने जुळल्यास Allow लागू होतो.
या फाइलमध्ये GPTBot प्रत्येक पेजवरून ब्लॉक आहे, कारण त्याचा स्वतःचा गट आहे. इतर प्रत्येक क्रॉलर /private/press/kit.pdf मिळवू शकतो, कारण Allow: /private/press/ हा Disallow: /private/ पेक्षा लांब आहे, आणि /private/notes/ वरून ब्लॉक आहे. दोन्ही पाथ टेस्टरमध्ये तपासा, आणि निर्णय एका गटावरून दुसऱ्या गटाकडे बदलताना दिसेल.
उदाहरणांसह नेहमीच्या चुका
एकाखाली एक लिहिलेल्या User-agent ओळी एकच गट बनवतात. User-agent: GPTBot, मग User-agent: OAI-SearchBot, मग Disallow: / असलेली फाइल दोन्ही क्रॉलर ब्लॉक करते, त्यामुळे ट्रेनिंग थांबवू इच्छिणारी साइट ChatGPT सर्चमधूनही गायब होते.
OpenAI चे चुकीचे टोकन ब्लॉक करणे. GPTBot ट्रेनिंग डेटा गोळा करतो; OAI-SearchBot ठरवतो की ChatGPT सर्च तुम्हाला दाखवू आणि उद्धृत करू शकते का. ट्रेनिंग थांबवण्यासाठी OAI-SearchBot किंवा ChatGPT-User ब्लॉक केल्यास तुम्ही उत्तरांमधूनच बाहेर पडता.
एका अक्षराने नियम उलटतो. पुढे काहीही नसलेला Disallow: सगळ्याला परवानगी देतो; Disallow: / सगळे ब्लॉक करतो.
पाथ केस-सेन्सिटिव्ह असतात. Disallow: /Blog/ हा /blog/ ब्लॉक करत नाही.
वाइल्डकार्ड काळजीपूर्वक वापरा. Disallow: /*.pdf हा /file.pdf?download=1 देखील ब्लॉक करतो; Disallow: /*.pdf$ फक्त .pdf ने संपणारे पत्ते ब्लॉक करतो.
फाइल चुकीच्या होस्टवर आहे. robots.txt फक्त ज्या स्कीम आणि होस्टवरून दिली जाते त्यांच्यासाठीच लागू होते, त्यामुळे www.example.com, example.com आणि shop.example.com प्रत्येकाला स्वतःची फाइल लागते.
सर्व्हर एररने उत्तर देतो. 4xx उत्तराचा अर्थ क्रॉलर सगळे मिळवू शकतात. 5xx उत्तर किंवा टाइमआउटचा अर्थ फाइल पुन्हा वाचता येईपर्यंत त्यांनी सगळे नाकारलेले आहे असे मानले पाहिजे, त्यामुळे बिघडलेला /robots.txt सगळे क्रॉलिंग थांबवू शकतो.
क्रॉलर पाळत नाहीत असे नियम. Noindex: आणि Crawl-delay: RFC 9309 चा भाग नाहीत, आणि Google दोन्हीकडे दुर्लक्ष करते.
robots.txt मुळे पेज सर्चमधून काढले जाईल अशी अपेक्षा. ते क्रॉलिंग थांबवते, इंडेक्सिंग नाही: ब्लॉक केलेला पत्ता त्याच्या मजकुराशिवायही सूचीत दिसू शकतो. पेज इंडेक्सबाहेर ठेवण्यासाठी क्रॉलिंगला परवानगी द्या आणि noindex मेटा टॅग किंवा हेडर वापरा.
ट्रेनिंग, सर्च आणि युजर क्रॉलर: प्रत्येकाला ब्लॉक केल्याने काय होते
ट्रेनिंग क्रॉलर ब्लॉक करणे हा धोरणात्मक निर्णय आहे. त्यामुळे तुमची पेजेस भविष्यातील मॉडेल ट्रेनिंगपासून दूर राहतात आणि AI सर्च आज तुम्हाला उद्धृत करू शकते की नाही यावर परिणाम होत नाही. OAI-SearchBot, Claude-SearchBot किंवा PerplexityBot सारखा सर्च क्रॉलर ब्लॉक केल्यास तुमची पेजेस त्या असिस्टंटच्या उत्तरांमधून बाहेर राहतात. Googlebot किंवा Bingbot ब्लॉक केल्यास तुम्ही त्या सर्च इंजिनमधून आणि त्यांच्यावर आधारित AI फीचर्समधून बाहेर पडता.
ChatGPT-User सारखे युजर एजंट तुमचे पेज मागणाऱ्या व्यक्तीसाठी काम करतात. काही कंपन्या सांगतात की अशा विनंत्यांसाठी हे एजंट robots.txt पाळणार नाहीत, त्यामुळे त्यांच्यासाठीचा नियम ही विनंती आहे, हमी नाही. ट्रेनिंग बंद आणि AI सर्च चालू हवे असल्यास ट्रेनिंग टोकन ब्लॉक करा आणि सर्च व युजर टोकनला हात लावू नका.
प्रकाशित करण्यापूर्वी तपासा, मग पुन्हा तपासा
तुमचा मसुदा टेस्टरमध्ये पेस्ट करा, उत्पादन किंवा किंमतीच्या पेजसारख्या महत्त्वाच्या पेजचा पाथ टाका आणि तुम्हाला महत्त्वाच्या प्रत्येक क्रॉलरची ओळ वाचा. तुम्हाला ब्लॉक करायचा होता त्या पाथसह पुन्हा करा. निकाल तुमच्या हेतूशी जुळल्यावर फाइल प्रकाशित करा आणि लाइव्ह पत्त्यासह टेस्टर पुन्हा चालवा, यातून सर्व्हर तुम्ही संपादित केलेलीच फाइल देतो हे सिद्ध होते.
क्रॉलर robots.txt कॅश करतात; उदाहरणार्थ, Google सहसा 24 तासांत आपली प्रत रिफ्रेश करते. बदल त्यांच्या वर्तनात दिसायला एक दिवस लागू शकतो, आणि Google Search Console मधील robots.txt अहवाल Google ने शेवटची मिळवलेली प्रत दाखवतो.
robots.txt क्रॉलरला परवानगी देते तरीही तो ब्लॉक असतो तेव्हा
robots.txt ही फक्त विनंती आहे. लोकांना पेज मिळत असतानाही फायरवॉल, बॉट संरक्षण सेवा किंवा CDN नियम क्रॉलरला 403 किंवा चॅलेंज पेज देऊ शकतो. टेस्टरला ते दिसत नाही, कारण तो फक्त एक फाइल वाचतो. पूर्ण तपासणी तुमचे पेज प्रत्येक क्रॉलरच्या युजर एजंटने आणि सामान्य ब्राउझरने मिळवते आणि कोणत्या क्रॉलरला वेगळे उत्तर मिळते ते HTTP स्टेटस आणि फायरवॉलच्या सिग्नेचरसह दाखवते.
वारंवार विचारले जाणारे प्रश्न
हा Google च्या robots.txt Tester सारखाच आहे का?
नाही. Google ने 2023 मध्ये आपला स्वतंत्र robots.txt Tester बंद केला; आता Search Console मधील robots.txt अहवाल फक्त Google च्या क्रॉलरसाठी Google ने मिळवलेली फाइल आणि पार्सिंग एरर दाखवतो. हा टेस्टर तेच RFC 9309 नियम एकाच वेळी 16 AI आणि सर्च क्रॉलरना लागू करतो.
परवानगी आहे याचा अर्थ क्रॉलर माझे पेज वाचेल किंवा उद्धृत करेल का?
नाही. याचा अर्थ robots.txt ते मनाई करत नाही. क्रॉलरला पेज मिळते का हे तुमच्या सर्व्हर आणि फायरवॉलवर अवलंबून असते, आणि असिस्टंट त्याचा संदर्भ देतो का हे तुमच्या मजकुरावर आणि विचारलेल्या प्रश्नावर अवलंबून असते.
एखाद्या क्रॉलरसाठी "नियम नाही" का दिसते?
तुमच्या फाइलमध्ये त्याच्या टोकनसाठी गट नाही आणि User-agent: * गटही नाही, म्हणून त्याला काहीच लागू होत नाही आणि प्रत्येक पाथला परवानगी आहे.
अजून प्रकाशित न केलेली robots.txt मी तपासू शकतो का?
हो. मजकूर दुसऱ्या फील्डमध्ये पेस्ट करा आणि तपासायचा पाथ टाका. तुमच्या साइटवरून काहीही मिळवले जात नाही, आणि पेस्ट केलेला मजकूर सेव्ह केला जात नाही.
टेस्टर GPTBot किंवा इतर क्रॉलर म्हणून विनंत्या पाठवतो का?
नाही. तो फक्त तुमची robots.txt वाचतो आणि नियम लागू करतो. प्रत्येक क्रॉलरला तुमच्या सर्व्हरकडून प्रत्यक्षात काय मिळते हे पाहण्यासाठी पूर्ण तपासणी चालवा.
मी तो किती वेळा वापरू शकतो?
तो मोफत आहे आणि खात्याची गरज नाही. तो सर्वांसाठी उपलब्ध राहावा म्हणून प्रत्येक नेटवर्क तासाला मर्यादित संख्येनेच तपासण्या करू शकते.