किसी URL और ख़ास क्रॉलर के लिए robots.txt नियम कैसे टेस्ट करें?

प्रकाशित

संक्षिप्त उत्तर

किसी एक क्रॉलर के लिए URL टेस्ट करने के लिए वह ग्रुप ढूंढें जिसमें उस क्रॉलर का टोकन है (कोई न हो तो User-agent: *), उसमें URL पाथ से मेल खाने वाले सभी Allow और Disallow नियम इकट्ठा करें, और सबसे लंबा नियम लागू करें; बराबरी पर Allow जीतता है। आप यह हाथ से, Google के ओपन-सोर्स पार्सर से, या हर क्रॉलर के लिए नतीजा दिखाने वाले चेकर से कर सकते हैं। Search Console का पुराना robots.txt Tester अब नहीं है, और उसकी जगह आई robots.txt रिपोर्ट दिखाती है कि Google ने क्या fetch किया, किसी URL के लिए नतीजा नहीं।

robots.txt फ़ाइल तब तक आसान लगती है जब तक आपको पक्का उत्तर न चाहिए: क्या GPTBot यह पेज fetch कर सकता है, और क्या OAI-SearchBot कर सकता है? उत्तर इस पर निर्भर है कि क्रॉलर कौन-सा ग्रुप चुनता है और उस ग्रुप में कौन-सा नियम जीतता है, और दोनों कदमों में गलती आसान है। यहां बताया गया है कि RFC 9309 के तहत मिलान कैसे होता है, चार हल किए गए उदाहरण, और फ़ाइल को ख़ुद टेस्ट करने के तीन तरीके।

इस पेज पर
  1. Google Search Console के robots.txt Tester का क्या हुआ?
  2. क्रॉलर कैसे तय करता है कि कोई URL allowed है?
  3. क्या आप robots.txt टेस्ट का एक उदाहरण समझा सकते हैं?
  4. Google का ओपन-सोर्स robots.txt पार्सर कैसे चलाएं?
  5. क्या मैं Python के urllib.robotparser से robots.txt टेस्ट कर सकता हूं?
  6. robots.txt टेस्ट पास होने पर भी क्रॉलर ब्लॉक क्यों रहता है?
  7. सभी AI क्रॉलर के लिए robots.txt एक साथ कैसे जांचें?

Google Search Console के robots.txt Tester का क्या हुआ?

नवंबर 2023 में Google ने Search Console में robots.txt रिपोर्ट जोड़ी और कहा कि वह robots.txt tester बंद कर रहा है। रिपोर्ट Settings में है और सिर्फ़ Google के क्रॉलर को कवर करती है। यह दिखाती है:

यह रिपोर्ट URL लेकर allowed या blocked नहीं बताती। Googlebot के लिए एक URL जांचने के लिए Google URL Inspection टूल की ओर इशारा करता है, और लोकल टेस्टिंग के लिए अपनी ओपन-सोर्स robots.txt लाइब्रेरी की ओर। इनमें से कोई भी GPTBot या ClaudeBot जैसे AI क्रॉलर के बारे में कुछ नहीं बताता।

क्रॉलर कैसे तय करता है कि कोई URL allowed है?

RFC 9309, यानी Robots Exclusion Protocol, मिलान तय करता है। Google अपने क्रॉलर के लिए यही व्यवहार दर्ज करता है।

robots.txt का रिस्पॉन्स कोड उतना ही मायने रखता है जितने उसके नियम। 4xx रिस्पॉन्स का मतलब है कि क्रॉलर सब कुछ fetch कर सकता है; Google 429 को छोड़कर हर 4xx को ऐसे मानता है जैसे फ़ाइल हो ही नहीं। 5xx रिस्पॉन्स का मतलब है कि क्रॉलर को पूरी साइट disallowed माननी होगी। Google पहले 12 घंटे क्रॉल रोकता है, फिर 30 दिनों तक आख़िरी सही कॉपी इस्तेमाल करता है। RFC 9309 के अनुसार क्रॉलर को कम से कम 500 KiB पार्स करना होगा, और Google 500 KiB के बाद का सब कुछ अनदेखा करता है।

क्या आप robots.txt टेस्ट का एक उदाहरण समझा सकते हैं?

यह एक छोटी robots.txt है जिसमें एक डिफ़ॉल्ट ग्रुप और दो नामित AI क्रॉलर हैं:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

बराबरी के मामले कम होते हैं लेकिन उसी तर्क पर चलते हैं। Google के दस्तावेज़ में URL /folder/page के लिए allow: /folder और disallow: /folder का उदाहरण है: दोनों बराबर लंबे हैं, इसलिए URL allowed है।

Google का ओपन-सोर्स robots.txt पार्सर कैसे चलाएं?

Google वह C++ लाइब्रेरी प्रकाशित करता है जिसे वह प्रोडक्शन में robots.txt नियम मिलाने के लिए इस्तेमाल करता है, साथ में एक छोटा कमांड-लाइन प्रोग्राम जो लोकल फ़ाइल पर एक URL और एक user agent टेस्ट करता है। Bazel इंस्टॉल होने पर:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

रिपॉज़िटरी में CMake बिल्ड भी बताया गया है, जो उन्हीं आर्ग्युमेंट वाली robots नाम की बाइनरी बनाता है। यह टूल सिर्फ़ पार्स और मिलान करता है; यह robots.txt डाउनलोड नहीं करता, इसलिए पहले लाइव फ़ाइल सेव करें। इसकी README यह भी बताती है कि पार्सिंग और मिलान से बाहर क्रॉलर-विशिष्ट व्यवहार लाइब्रेरी का हिस्सा नहीं है।

क्या मैं Python के urllib.robotparser से robots.txt टेस्ट कर सकता हूं?

Python की स्टैंडर्ड लाइब्रेरी में एक पार्सर है जो किसी user agent और URL के लिए allowed या blocked बताता है। यह स्क्रिप्ट ऊपर वाला उदाहरण टेस्ट करती है:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

नतीजे पर भरोसा करने से पहले अपना Python वर्ज़न जांचें। RFC 9309 मिलान का समर्थन 2026 में CPython में जोड़ा गया और पहली बार Python 3.13.14 और 3.14.5 में आया। पुराने रिलीज़, जिनमें पूरा 3.12 और उससे पहले के सभी शामिल हैं, फ़ाइल के क्रम में पहला मेल खाने वाला नियम लागू करते हैं, सबसे लंबा नहीं, और पाथ में * या $ नहीं समझते। उन वर्ज़न पर स्क्रिप्ट पहले और चौथे टेस्ट को उल्टा बताती है: Googlebot को /search/help/billing से blocked और OAI-SearchBot को PDF fetch करने की अनुमति।

दो और अंतर हर वर्ज़न पर लागू होते हैं। RobotFileParser.read() robots.txt के 401 या 403 रिस्पॉन्स को पूरी तरह disallow मानता है, जबकि RFC 9309 कहता है कि 4xx का मतलब है सब कुछ fetch किया जा सकता है। और read() फ़ाइल को Python के डिफ़ॉल्ट user agent से डाउनलोड करता है, जिसे कुछ फ़ायरवॉल ब्लॉक करते हैं, इसलिए टेस्ट ऐसी वजहों से blocked बता सकता है जिनका आपके नियमों से कोई लेना-देना नहीं। ऊपर की तरह फ़ाइल ख़ुद fetch करके parse() को देने से दोनों से बचा जा सकता है।

robots.txt टेस्ट पास होने पर भी क्रॉलर ब्लॉक क्यों रहता है?

टेस्टर एक सवाल का उत्तर देता है: क्या नियम इस URL की अनुमति देते हैं? कई चीज़ें उस उत्तर से बाहर हैं:

सभी AI क्रॉलर के लिए robots.txt एक साथ कैसे जांचें?

AISeeWhy का मुफ़्त robots.txt चेकर पेज का पता या पेस्ट की गई robots.txt लेता है और हर AI और सर्च क्रॉलर के लिए दिखाता है कि वह पेज fetch किया जा सकता है या नहीं। मुफ़्त robots.txt जनरेटर आपकी पसंद से फ़ाइल लिखता है, और मुफ़्त जांच पेज को 16 क्रॉलर के रूप में fetch करके दिखाती है कि क्या फ़ायरवॉल उसे ब्लॉक करता है जिसकी robots.txt अनुमति देती है।

इस समस्या के सुधार

मुफ़्त टूल

अगले कदम

इस लेख के क्रॉलर

अक्सर पूछे जाने वाले प्रश्न

क्या Google Search Console में अब भी robots.txt tester है?

नहीं। नवंबर 2023 में Google ने इसकी जगह robots.txt रिपोर्ट दी, जो Google द्वारा fetch की गई फ़ाइलें, उनका स्टेटस और errors दिखाती है। यह जांचने के लिए कि Googlebot किसी ख़ास URL को क्रॉल कर सकता है या नहीं, URL Inspection टूल इस्तेमाल करें।

क्या robots.txt में Allow, Disallow पर भारी पड़ता है?

सिर्फ़ तब जब Allow नियम लंबा हो, या ठीक बराबर लंबा हो। सबसे लंबे मेल खाने वाले पाथ वाला नियम जीतता है, चाहे वह किसी भी तरह का हो, और बराबरी पर Allow जीतता है।

क्या robots.txt केस-सेंसिटिव है?

आंशिक रूप से। User-agent मान का मिलान केस देखे बिना होता है, इसलिए gptbot और GPTBot एक ही ग्रुप हैं। पाथ केस-सेंसिटिव होते हैं, इसलिए Disallow: /Private/ से /private/ ब्लॉक नहीं होता।

robots.txt वैलिडेटर क्या जांचता है?

वैलिडेटर जांचता है कि फ़ाइल तक पहुंचा जा सकता है, वह टेक्स्ट के रूप में दी जाती है और मान्य सिंटैक्स में लिखी है। टेस्टर इससे आगे जाकर किसी ख़ास URL और क्रॉलर के लिए नतीजा देता है। आमतौर पर आपको दोनों चाहिए, क्योंकि मान्य फ़ाइल भी उस पेज को ब्लॉक कर सकती है जिसे आप अनुमति देना चाहते थे।

अगर किसी क्रॉलर का अपना ग्रुप है, तो क्या वह फिर भी User-agent: * मानता है?

नहीं। उस क्रॉलर के लिए नामित ग्रुप * ग्रुप की पूरी तरह जगह ले लेता है। जो भी नियम आप सब पर लागू करना चाहते हैं, उसे हर नामित ग्रुप में दोहराना होगा।

स्रोत

और लेख