AI क्रॉलरसाठी robots.txt: कशाला परवानगी द्यावी, काय ब्लॉक करावे

प्रकाशित

छोटे उत्तर

तुम्हाला महत्त्वाच्या प्रत्येक AI क्रॉलरला त्याचा स्वतःचा User-agent गट द्या. तुमचा संदर्भ दिला जावा असे वाटत असल्यास OAI-SearchBot, Claude-SearchBot आणि PerplexityBot सारख्या सर्च क्रॉलरना परवानगी द्या, आणि GPTBot, ClaudeBot, Google-Extended आणि Applebot-Extended सारख्या ट्रेनिंग टोकनबद्दल स्वतंत्र निर्णय घ्या. नाव असलेला गट त्या क्रॉलरसाठी * गटाची जागा घेतो.

robots.txt ही 1994 पासूनची साधी टेक्स्ट फाइल आहे, जी 2022 मध्ये RFC 9309 म्हणून औपचारिक मानक बनली. बहुतेक AI कंपन्या सांगतात की त्यांचे क्रॉलर ती पाळतात, आणि अनेक कंपन्या सर्च आणि ट्रेनिंगसाठी वेगळे टोकन प्रकाशित करतात. त्यामुळे AI धोरण सांगण्यासाठी robots.txt ही सर्वात सोपी जागा आहे, जर नियमांचा अर्थ तुम्हाला वाटतो तोच असेल.

या पेजवर
  1. AI क्रॉलर कोणते robots.txt टोकन वापरतात?
  2. AI साठी चांगली robots.txt कशी दिसते?
  3. कोणते नियम लागू होतात हे क्रॉलर कसे निवडतात?
  4. robots.txt मधील सर्वात सामान्य चुका कोणत्या?
  5. परवानगी आणि नकाराशिवाय AI वापराचे धोरण सांगता येते का?
  6. बदलांना किती वेळ लागतो, आणि ते कसे तपासावे?

AI क्रॉलर कोणते robots.txt टोकन वापरतात?

कंपन्यांनी दस्तऐवजात दिलेले टोकन हे आहेत. RFC 9309 नुसार जुळणी केस-इन्सेन्सिटिव्ह असते.

AI साठी चांगली robots.txt कशी दिसते?

हे उदाहरण AI सर्च आणि युजर फेचना आत येऊ देते, मुख्य ट्रेनिंग टोकनमधून बाहेर पडते आणि एक खाजगी भाग सर्वांसाठी बंद ठेवते:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

सलग अनेक User-agent ओळी मिळून एक गट बनतो, त्यामुळे त्याखालील नियम त्या प्रत्येक क्रॉलरला लागू होतात. तुमचा मजकूर ट्रेनिंगसाठी वापरला जावा असे वाटत असल्यास, दुसरा गट फक्त काढून टाका. Google-Extended ब्लॉक केल्याने Google Search वर परिणाम होत नाही: Google सांगते की त्याचा Search मधील समावेशावर परिणाम होत नाही आणि ते रँकिंग सिग्नल नाही. तसेच Apple सांगते की Applebot-Extended ला नाकारणारी पेजेस त्याच्या सर्च निकालांमध्ये तरीही दिसू शकतात.

कोणते नियम लागू होतात हे क्रॉलर कसे निवडतात?

RFC 9309 हे नेमकेपणाने ठरवते, आणि त्याचे तपशील बहुतेक आश्चर्यांचे स्पष्टीकरण देतात:

robots.txt मधील सर्वात सामान्य चुका कोणत्या?

परवानगी आणि नकाराशिवाय AI वापराचे धोरण सांगता येते का?

Cloudflare ने robots.txt साठी तीन सिग्नल असलेली Content-Signal ओळ सुचवली आहे: search (सर्च इंडेक्स तयार करणे आणि लिंक व छोटे उतारे दाखवणे), ai-input (AI उत्तरांसाठी मजकूर रिअल टाइममध्ये वापरणे) आणि ai-train (मॉडेल ट्रेन किंवा fine-tune करणे). Cloudflare ची managed robots.txt ती तुमच्यासाठी जोडू शकते.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txt मधील इतर सर्व गोष्टींप्रमाणे, या पसंती आहेत, तांत्रिक नियंत्रणे नाहीत. Cloudflare स्वतः नमूद करते की robots.txt चे पालन ऐच्छिक आहे. ही ओळ ऐच्छिक आहे आणि तिने काही नुकसान होत नाही, पण ती वरील प्रत्येक क्रॉलरच्या गटांची जागा घेत नाही.

बदलांना किती वेळ लागतो, आणि ते कसे तपासावे?

RFC 9309 सांगते की क्रॉलरनी कॅशमधील robots.txt 24 तासांपेक्षा जास्त वापरू नये, आणि OpenAI व Perplexity दोघेही सांगतात की बदल लागू होण्यास सुमारे एक दिवस लागू शकतो. हेही लक्षात ठेवा की robots.txt ॲक्सेस नियंत्रण नाही: तुमचे नियम परवानगी देत असलेल्या क्रॉलरलाही फायरवॉल ब्लॉक करू शकतो.

AISeeWhy तपासत असलेल्या प्रत्येक क्रॉलरसाठी तुमची robots.txt RFC 9309 नुसार पार्स करते, पोहोचता न येणाऱ्या किंवा HTML म्हणून दिल्या जाणाऱ्या फायली दाखवते, तुमचे नियम आणि तुमचा सर्व्हर कुठे जुळत नाहीत ते दाखवते आणि बदलासाठी तयार diff देते.

या समस्येवरील उपाय

मोफत टूल्स

पुढील पायऱ्या

या लेखातील क्रॉलर

वारंवार विचारले जाणारे प्रश्न

GPTBot किंवा ClaudeBot ब्लॉक केल्याने AI उत्तरांमधील माझ्या दृश्यमानतेला धक्का बसतो का?

थेट नाही. दोन्ही कंपन्या सर्चसाठी OAI-SearchBot आणि Claude-SearchBot हे वेगळे सर्च क्रॉलर वापरतात. ट्रेनिंग क्रॉलर ब्लॉक करणे हा धोरणात्मक निर्णय आहे.

Google-Extended मुळे AI Overviews थांबतात का?

नाही. Google सांगते की Search मधील AI फीचर Googlebot आणि nosnippet व noindex सारखी नेहमीची Search नियंत्रणे वापरतात. Google-Extended इतर Google उत्पादनांमधील Gemini ट्रेनिंग आणि grounding कव्हर करते आणि Search वर परिणाम करत नाही.

AI क्रॉलर Crawl-delay ला सपोर्ट करतात का?

तो RFC 9309 चा भाग नाही. Anthropic सांगते की ते Crawl-delay ला अमानक विस्तार म्हणून सपोर्ट करते; इतर कंपन्यांसाठी त्यांचे दस्तऐवज तपासा.

robots.txt कुठे असली पाहिजे?

प्रत्येक होस्टच्या रूटवर, उदाहरणार्थ https://example.com/robots.txt. सबफोल्डरमधील फाइलकडे दुर्लक्ष केले जाते, आणि प्रत्येक सबडोमेनला स्वतःची फाइल लागते.

स्रोत

आणखी लेख