AI क्रॉलरसाठी robots.txt: कशाला परवानगी द्यावी, काय ब्लॉक करावे
तुम्हाला महत्त्वाच्या प्रत्येक AI क्रॉलरला त्याचा स्वतःचा User-agent गट द्या. तुमचा संदर्भ दिला जावा असे वाटत असल्यास OAI-SearchBot, Claude-SearchBot आणि PerplexityBot सारख्या सर्च क्रॉलरना परवानगी द्या, आणि GPTBot, ClaudeBot, Google-Extended आणि Applebot-Extended सारख्या ट्रेनिंग टोकनबद्दल स्वतंत्र निर्णय घ्या. नाव असलेला गट त्या क्रॉलरसाठी * गटाची जागा घेतो.
robots.txt ही 1994 पासूनची साधी टेक्स्ट फाइल आहे, जी 2022 मध्ये RFC 9309 म्हणून औपचारिक मानक बनली. बहुतेक AI कंपन्या सांगतात की त्यांचे क्रॉलर ती पाळतात, आणि अनेक कंपन्या सर्च आणि ट्रेनिंगसाठी वेगळे टोकन प्रकाशित करतात. त्यामुळे AI धोरण सांगण्यासाठी robots.txt ही सर्वात सोपी जागा आहे, जर नियमांचा अर्थ तुम्हाला वाटतो तोच असेल.
या पेजवर
AI क्रॉलर कोणते robots.txt टोकन वापरतात?
कंपन्यांनी दस्तऐवजात दिलेले टोकन हे आहेत. RFC 9309 नुसार जुळणी केस-इन्सेन्सिटिव्ह असते.
- OpenAI:
OAI-SearchBot(ChatGPT सर्च),GPTBot(ट्रेनिंग),ChatGPT-User(युजरने मागितलेल्या भेटी; OpenAI सांगते की robots.txt लागू होईलच असे नाही). - Anthropic:
Claude-SearchBot(सर्च),ClaudeBot(ट्रेनिंग),Claude-User(युजरने मागितलेल्या भेटी). - Perplexity:
PerplexityBot(सर्च),Perplexity-User(युजरने मागितलेल्या भेटी; Perplexity सांगते की तो साधारणपणे robots.txt कडे दुर्लक्ष करतो). - Google:
Googlebot(Search, त्याच्या AI फीचरसह) आणिGoogle-Extended, स्वतःचा क्रॉलर नसलेले टोकन, जे Gemini ट्रेनिंग आणि grounding मधील वापर नियंत्रित करते. - Apple:
Applebot(Spotlight, Siri, Safari सर्च) आणिApplebot-Extended, जो क्रॉल करत नाही पण Apple च्या फाउंडेशन मॉडेलच्या ट्रेनिंगसाठीचा वापर नियंत्रित करतो. - Meta:
meta-externalagent(ट्रेनिंग आणि उत्पादन इंडेक्सिंग) आणिmeta-webindexer(Meta AI सर्च). - Common Crawl:
CCBot, जो Common Crawl चा वेब डेटाचा मोफत सार्वजनिक संग्रह तयार करतो.
AI साठी चांगली robots.txt कशी दिसते?
हे उदाहरण AI सर्च आणि युजर फेचना आत येऊ देते, मुख्य ट्रेनिंग टोकनमधून बाहेर पडते आणि एक खाजगी भाग सर्वांसाठी बंद ठेवते:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml सलग अनेक User-agent ओळी मिळून एक गट बनतो, त्यामुळे त्याखालील नियम त्या प्रत्येक क्रॉलरला लागू होतात. तुमचा मजकूर ट्रेनिंगसाठी वापरला जावा असे वाटत असल्यास, दुसरा गट फक्त काढून टाका. Google-Extended ब्लॉक केल्याने Google Search वर परिणाम होत नाही: Google सांगते की त्याचा Search मधील समावेशावर परिणाम होत नाही आणि ते रँकिंग सिग्नल नाही. तसेच Apple सांगते की Applebot-Extended ला नाकारणारी पेजेस त्याच्या सर्च निकालांमध्ये तरीही दिसू शकतात.
कोणते नियम लागू होतात हे क्रॉलर कसे निवडतात?
RFC 9309 हे नेमकेपणाने ठरवते, आणि त्याचे तपशील बहुतेक आश्चर्यांचे स्पष्टीकरण देतात:
- क्रॉलर असा गट शोधतो ज्याचा
User-agentत्याच्या product token शी केस न पाहता जुळतो. अनेक गट जुळल्यास त्यांचे नियम एकत्र केले जातात. - कोणताही गट जुळत नसेल तरच क्रॉलर
User-agent: *गटाचे पालन करतो. नाव असलेला गट*कडून काहीही वारसा घेत नाही. - गटामध्ये सर्वात लांब जुळणाऱ्या पाथचा नियम लागू होतो.
/blog/postसाठीAllow: /blog/हाDisallow: /वर मात करतो. AllowआणिDisallowनियम समान लांबीने जुळल्यासAllowवापरला जावा.- पाथमधील
*कोणत्याही अक्षरांशी जुळतो आणि$शेवट निश्चित करतो, त्यामुळेDisallow: /*.pdf$प्रत्येक PDF कव्हर करतो.
robots.txt मधील सर्वात सामान्य चुका कोणत्या?
- नाव असलेला गट
*कडून वारसा घेईल अशी अपेक्षा करणे. फक्तAllow: /असलेलाOAI-SearchBotचा गट प्रत्येक पाथ उघडतो,*खाली तुम्ही नाकारलेले पाथही. - HTML पेज देणारा robots.txt पत्ता, बहुतेकदा स्टेटस 200 सह दिलेले 404 पेज. क्रॉलरना त्यात कोणतेही वैध नियम सापडत नाहीत.
- सर्व्हर एरर देणारी robots.txt. RFC 9309 नुसार अशा वेळी क्रॉलरने संपूर्ण साइट नाकारलेली मानली पाहिजे. 404 वेगळे आहे: त्याचा अर्थ कोणतेही निर्बंध नाहीत.
- ट्रेनिंग ब्लॉक करायचे असताना सर्च टोकन ब्लॉक करणे, उदाहरणार्थ मॉडेल ट्रेनिंग टाळण्यासाठी
PerplexityBotकिंवाClaude-SearchBotला नाकारणे. - युजरने मागितलेले फेच थांबवण्यासाठी robots.txt वर अवलंबून राहणे. OpenAI आणि Perplexity दोघेही सांगतात की त्यांचे युजर एजंट ती पाळतीलच असे नाही.
- सबडोमेन विसरणे. प्रत्येक होस्टची स्वतःची robots.txt असते; Anthropic चे दस्तऐवज साइट मालकांना प्रत्येक सबडोमेनसाठी नियम जोडण्याची आठवण करून देतात.
परवानगी आणि नकाराशिवाय AI वापराचे धोरण सांगता येते का?
Cloudflare ने robots.txt साठी तीन सिग्नल असलेली Content-Signal ओळ सुचवली आहे: search (सर्च इंडेक्स तयार करणे आणि लिंक व छोटे उतारे दाखवणे), ai-input (AI उत्तरांसाठी मजकूर रिअल टाइममध्ये वापरणे) आणि ai-train (मॉडेल ट्रेन किंवा fine-tune करणे). Cloudflare ची managed robots.txt ती तुमच्यासाठी जोडू शकते.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txt मधील इतर सर्व गोष्टींप्रमाणे, या पसंती आहेत, तांत्रिक नियंत्रणे नाहीत. Cloudflare स्वतः नमूद करते की robots.txt चे पालन ऐच्छिक आहे. ही ओळ ऐच्छिक आहे आणि तिने काही नुकसान होत नाही, पण ती वरील प्रत्येक क्रॉलरच्या गटांची जागा घेत नाही.
बदलांना किती वेळ लागतो, आणि ते कसे तपासावे?
RFC 9309 सांगते की क्रॉलरनी कॅशमधील robots.txt 24 तासांपेक्षा जास्त वापरू नये, आणि OpenAI व Perplexity दोघेही सांगतात की बदल लागू होण्यास सुमारे एक दिवस लागू शकतो. हेही लक्षात ठेवा की robots.txt ॲक्सेस नियंत्रण नाही: तुमचे नियम परवानगी देत असलेल्या क्रॉलरलाही फायरवॉल ब्लॉक करू शकतो.
AISeeWhy तपासत असलेल्या प्रत्येक क्रॉलरसाठी तुमची robots.txt RFC 9309 नुसार पार्स करते, पोहोचता न येणाऱ्या किंवा HTML म्हणून दिल्या जाणाऱ्या फायली दाखवते, तुमचे नियम आणि तुमचा सर्व्हर कुठे जुळत नाहीत ते दाखवते आणि बदलासाठी तयार diff देते.
या समस्येवरील उपाय
- robots.txt GPTBot ला परवानगी देते, पण सर्व्हर त्याला ब्लॉक करतो
- robots.txt OAI-SearchBot ला नाकारते
- robots.txt हे HTML पेज आहे
- robots.txt मध्ये Content-Signal नाही
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
GPTBot किंवा ClaudeBot ब्लॉक केल्याने AI उत्तरांमधील माझ्या दृश्यमानतेला धक्का बसतो का?
थेट नाही. दोन्ही कंपन्या सर्चसाठी OAI-SearchBot आणि Claude-SearchBot हे वेगळे सर्च क्रॉलर वापरतात. ट्रेनिंग क्रॉलर ब्लॉक करणे हा धोरणात्मक निर्णय आहे.
Google-Extended मुळे AI Overviews थांबतात का?
नाही. Google सांगते की Search मधील AI फीचर Googlebot आणि nosnippet व noindex सारखी नेहमीची Search नियंत्रणे वापरतात. Google-Extended इतर Google उत्पादनांमधील Gemini ट्रेनिंग आणि grounding कव्हर करते आणि Search वर परिणाम करत नाही.
AI क्रॉलर Crawl-delay ला सपोर्ट करतात का?
तो RFC 9309 चा भाग नाही. Anthropic सांगते की ते Crawl-delay ला अमानक विस्तार म्हणून सपोर्ट करते; इतर कंपन्यांसाठी त्यांचे दस्तऐवज तपासा.
robots.txt कुठे असली पाहिजे?
प्रत्येक होस्टच्या रूटवर, उदाहरणार्थ https://example.com/robots.txt. सबफोल्डरमधील फाइलकडे दुर्लक्ष केले जाते, आणि प्रत्येक सबडोमेनला स्वतःची फाइल लागते.
स्रोत
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI क्रॉलरचे विहंगावलोकन
- Google: सामान्य क्रॉलर, Google-Extended सह
- Apple: Applebot बद्दल
- Cloudflare: Managed robots.txt आणि Content Signals