AI क्रॉलर के लिए robots.txt: क्या allow करें, क्या ब्लॉक
जिस भी AI क्रॉलर की आपको परवाह है, उसे अपना User-agent ग्रुप दें। अगर हवाला चाहिए तो OAI-SearchBot, Claude-SearchBot और PerplexityBot जैसे सर्च क्रॉलर को allow करें, और GPTBot, ClaudeBot, Google-Extended और Applebot-Extended जैसे ट्रेनिंग टोकन पर अलग से फ़ैसला लें। नामित ग्रुप उस क्रॉलर के लिए * ग्रुप की जगह ले लेता है।
robots.txt एक सादी टेक्स्ट फ़ाइल है जो 1994 से चली आ रही है और 2022 में औपचारिक मानक RFC 9309 बनी। ज़्यादातर AI वेंडर कहते हैं कि उनके क्रॉलर इसका पालन करते हैं, और कई सर्च और ट्रेनिंग के लिए अलग टोकन प्रकाशित करते हैं। इसलिए AI नीति बताने के लिए robots.txt सबसे सरल जगह है, बशर्ते नियमों का वही मतलब हो जो आप समझते हैं।
इस पेज पर
- AI क्रॉलर कौन-से robots.txt टोकन इस्तेमाल करते हैं?
- AI के लिए अच्छा robots.txt कैसा दिखता है?
- क्रॉलर कैसे चुनते हैं कि उन पर कौन-से नियम लागू हों?
- robots.txt की सबसे आम गलतियां कौन-सी हैं?
- क्या मैं allow और disallow से आगे AI उपयोग की नीति बता सकता हूं?
- बदलावों में कितना समय लगता है, और उन्हें कैसे जांचूं?
AI क्रॉलर कौन-से robots.txt टोकन इस्तेमाल करते हैं?
ये वे टोकन हैं जिन्हें वेंडर दस्तावेज़ित करते हैं। RFC 9309 के अनुसार मिलान में अक्षरों के केस का फ़र्क़ नहीं पड़ता।
- OpenAI:
OAI-SearchBot(ChatGPT सर्च),GPTBot(ट्रेनिंग),ChatGPT-User(उपयोगकर्ता के कहने पर होने वाले विज़िट; OpenAI कहती है कि robots.txt लागू न भी हो सकता है)। - Anthropic:
Claude-SearchBot(सर्च),ClaudeBot(ट्रेनिंग),Claude-User(उपयोगकर्ता के कहने पर होने वाले विज़िट)। - Perplexity:
PerplexityBot(सर्च),Perplexity-User(उपयोगकर्ता के कहने पर होने वाले विज़िट; Perplexity कहती है कि वह आम तौर पर robots.txt को नज़रअंदाज़ करता है)। - Google:
Googlebot(Search, उसकी AI सुविधाओं समेत) औरGoogle-Extended, एक ऐसा टोकन जिसका अपना कोई क्रॉलर नहीं है और जो Gemini की ट्रेनिंग और ग्राउंडिंग में इस्तेमाल को नियंत्रित करता है। - Apple:
Applebot(Spotlight, Siri, Safari सर्च) औरApplebot-Extended, जो क्रॉल नहीं करता पर Apple के फ़ाउंडेशन मॉडल की ट्रेनिंग में इस्तेमाल को नियंत्रित करता है। - Meta:
meta-externalagent(ट्रेनिंग और प्रोडक्ट इंडेक्सिंग) औरmeta-webindexer(Meta AI सर्च)। - Common Crawl:
CCBot, जो वेब डेटा का Common Crawl का मुफ़्त सार्वजनिक आर्काइव बनाता है।
AI के लिए अच्छा robots.txt कैसा दिखता है?
यह उदाहरण AI सर्च और यूज़र फ़ेच को अंदर आने देता है, मुख्य ट्रेनिंग टोकन से बाहर रहता है और एक निजी हिस्से को सबके लिए बंद रखता है:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xmlलगातार कई User-agent पंक्तियां एक ही ग्रुप बनाती हैं, इसलिए उनके नीचे के नियम उन सभी क्रॉलर पर लागू होते हैं। अगर आप चाहते हैं कि आपका कंटेंट ट्रेनिंग में इस्तेमाल हो, तो दूसरे ग्रुप को हटा दें। Google-Extended को ब्लॉक करने से Google Search पर असर नहीं पड़ता: Google कहती है कि यह Search में शामिल होने को प्रभावित नहीं करता और रैंकिंग सिग्नल नहीं है। इसी तरह Apple कहती है कि जो पेज Applebot-Extended को disallow करते हैं, वे फिर भी उसके सर्च नतीजों में दिख सकते हैं।
क्रॉलर कैसे चुनते हैं कि उन पर कौन-से नियम लागू हों?
RFC 9309 इसे सटीक ढंग से परिभाषित करता है, और इसके ब्योरे ज़्यादातर चौंकाने वाली बातों की व्याख्या करते हैं:
- क्रॉलर वह ग्रुप ढूंढता है जिसका
User-agentउसके प्रोडक्ट टोकन से मेल खाए, केस की परवाह किए बिना। अगर कई ग्रुप मेल खाएं, तो उनके नियम मिलाकर एक कर दिए जाते हैं। - केवल तब, जब कोई ग्रुप मेल न खाए, क्रॉलर
User-agent: *ग्रुप का पालन करता है। नामित ग्रुप*से कुछ भी विरासत में नहीं लेता। - ग्रुप के भीतर, सबसे लंबे मेल खाते पाथ वाला नियम जीतता है।
/blog/postके लिएAllow: /blog/,Disallow: /पर भारी पड़ता है। - अगर
AllowऔरDisallowनियम बराबर लंबाई में मेल खाएं, तोAllowका इस्तेमाल होना चाहिए। - पाथ में
*किसी भी अक्षर से मेल खाता है और$अंत को पक्का करता है, इसलिएDisallow: /*.pdf$हर PDF को ढक लेता है।
robots.txt की सबसे आम गलतियां कौन-सी हैं?
- यह उम्मीद करना कि नामित ग्रुप
*से विरासत लेगा।OAI-SearchBotका सिर्फ़Allow: /वाला ग्रुप हर पाथ खोल देता है, उन पाथ समेत जिन्हें आपने*के तहत disallow किया था। - robots.txt का ऐसा पता जो HTML पेज लौटाता है, अक्सर status 200 के साथ परोसा गया 404 पेज। क्रॉलर को उसमें कोई मान्य नियम नहीं मिलता।
- ऐसा robots.txt जो सर्वर एरर लौटाता है। RFC 9309 के अनुसार तब क्रॉलर को मान लेना चाहिए कि पूरी साइट disallow है। 404 अलग है: इसका मतलब है कि कोई पाबंदी नहीं।
- ट्रेनिंग ब्लॉक करना चाहते हुए सर्च टोकन ब्लॉक कर देना, जैसे मॉडल ट्रेनिंग से बचने के लिए
PerplexityBotयाClaude-SearchBotको disallow करना। - उपयोगकर्ता के कहने पर होने वाले फ़ेच रोकने के लिए robots.txt पर निर्भर रहना। OpenAI और Perplexity दोनों कहती हैं कि उनके user agent इसका पालन न भी करें।
- सबडोमेन भूल जाना। हर होस्ट का अपना robots.txt होता है; Anthropic के दस्तावेज़ साइट मालिकों को याद दिलाते हैं कि हर सबडोमेन के लिए नियम जोड़ें।
क्या मैं allow और disallow से आगे AI उपयोग की नीति बता सकता हूं?
Cloudflare ने robots.txt के लिए Content-Signal पंक्ति प्रस्तावित की है जिसमें तीन सिग्नल हैं: search (सर्च इंडेक्स बनाना और लिंक व छोटे अंश दिखाना), ai-input (AI उत्तरों में कंटेंट का रीयल-टाइम इस्तेमाल) और ai-train (मॉडल की ट्रेनिंग या फ़ाइन-ट्यूनिंग)। Cloudflare का managed robots.txt इसे आपके लिए जोड़ सकता है।
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /robots.txt की हर चीज़ की तरह, ये प्राथमिकताएं हैं, तकनीकी नियंत्रण नहीं। Cloudflare खुद बताती है कि robots.txt का पालन स्वैच्छिक है। यह पंक्ति वैकल्पिक है और नुकसान नहीं करती, पर ऊपर बताए हर क्रॉलर के ग्रुप की जगह नहीं लेती।
बदलावों में कितना समय लगता है, और उन्हें कैसे जांचूं?
RFC 9309 कहता है कि क्रॉलर को robots.txt की कैश की हुई प्रति 24 घंटे से ज़्यादा इस्तेमाल नहीं करनी चाहिए, और OpenAI व Perplexity दोनों कहती हैं कि बदलाव लागू होने में लगभग एक दिन लग सकता है। यह भी याद रखें कि robots.txt एक्सेस कंट्रोल नहीं है: जिस क्रॉलर को आपके नियम अनुमति देते हैं, उसे फ़ायरवॉल फिर भी ब्लॉक कर सकता है।
AISeeWhy हर टेस्ट किए गए क्रॉलर के लिए आपका robots.txt RFC 9309 के अनुसार पार्स करता है, पहुंच से बाहर या HTML के रूप में परोसी गई फ़ाइलों को चिह्नित करता है, दिखाता है कि आपके नियम और आपका सर्वर कहां असहमत हैं, और बदलाव के लिए तैयार diff देता है।
अक्सर पूछे जाने वाले प्रश्न
क्या GPTBot या ClaudeBot ब्लॉक करने से AI उत्तरों में मेरी दृश्यता घटती है?
सीधे तौर पर नहीं। दोनों वेंडर सर्च के लिए अलग क्रॉलर, OAI-SearchBot और Claude-SearchBot, इस्तेमाल करते हैं। ट्रेनिंग क्रॉलर को ब्लॉक करना नीति का चुनाव है।
क्या Google-Extended AI Overviews को रोकता है?
नहीं। Google कहती है कि Search की AI सुविधाएं Googlebot और nosnippet व noindex जैसे सामान्य Search नियंत्रण इस्तेमाल करती हैं। Google-Extended Google के दूसरे प्रोडक्ट में Gemini की ट्रेनिंग और ग्राउंडिंग को कवर करता है और Search को प्रभावित नहीं करता।
क्या AI क्रॉलर Crawl-delay को सपोर्ट करते हैं?
यह RFC 9309 का हिस्सा नहीं है। Anthropic कहती है कि वह Crawl-delay को गैर-मानक एक्सटेंशन के रूप में सपोर्ट करती है; दूसरे वेंडर के लिए उनके दस्तावेज़ देखें।
robots.txt कहां होना चाहिए?
हर होस्ट की रूट पर, जैसे https://example.com/robots.txt। सबफ़ोल्डर में रखी फ़ाइल को नज़रअंदाज़ किया जाता है, और हर सबडोमेन को अपनी फ़ाइल चाहिए।
स्रोत
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI क्रॉलरों का अवलोकन
- Google: आम क्रॉलर, Google-Extended समेत
- Apple: Applebot के बारे में
- Cloudflare: Managed robots.txt और Content Signals