एखाद्या URL आणि विशिष्ट क्रॉलरसाठी robots.txt नियम कसे तपासावे?

प्रकाशित

छोटे उत्तर

एका क्रॉलरसाठी URL तपासायला, क्रॉलरचे टोकन असलेला गट शोधा (कोणत्याच गटात नसेल तर User-agent: *), त्यातील URL पाथशी जुळणारे सर्व Allow आणि Disallow नियम गोळा करा आणि सर्वात लांब नियम लागू करा; बरोबरी झाल्यास Allow जिंकतो. हे तुम्ही हाताने, Google च्या open source parser ने, किंवा प्रत्येक क्रॉलरसाठी निकाल दाखवणाऱ्या तपासणी टूलने करू शकता. Search Console मधील Google चा जुना robots.txt Tester आता नाही, आणि त्याची जागा घेणारा robots.txt अहवाल Google ने काय मिळवले ते दाखवतो, URL साठी निकाल नव्हे.

robots.txt फाइल सोपी दिसते, जोपर्यंत तुम्हाला ठाम उत्तर हवे नसते: GPTBot हे पेज मिळवू शकतो का, आणि OAI-SearchBot? उत्तर क्रॉलर कोणता गट निवडतो आणि त्या गटातील कोणता नियम जिंकतो यावर अवलंबून असते, आणि दोन्ही पायऱ्यांत चूक होणे सोपे आहे. RFC 9309 नुसार जुळणी कशी होते, चार सोडवलेली उदाहरणे, आणि फाइल स्वतः तपासण्याचे तीन मार्ग इथे दिले आहेत.

या पेजवर
  1. Google Search Console मधील robots.txt Tester चे काय झाले?
  2. URL ला परवानगी आहे का हे क्रॉलर कसे ठरवतो?
  3. robots.txt चाचणीचे उदाहरण टप्प्याटप्प्याने समजावून सांगाल का?
  4. Google चा open source robots.txt parser कसा चालवायचा?
  5. Python च्या urllib.robotparser ने robots.txt तपासता येते का?
  6. robots.txt चाचणी पास होते तरी क्रॉलर ब्लॉक का राहतो?
  7. सर्व AI क्रॉलरसाठी robots.txt एकाच वेळी कसे तपासावे?

Google Search Console मधील robots.txt Tester चे काय झाले?

नोव्हेंबर 2023 मध्ये Google ने Search Console मध्ये robots.txt अहवाल जोडला आणि robots.txt टेस्टर बंद करत असल्याचे सांगितले. हा अहवाल Settings खाली आहे आणि फक्त Google च्या क्रॉलरना लागू होतो. तो दाखवतो:

हा अहवाल URL घेऊन "परवानगी" किंवा "ब्लॉक" असा निकाल देत नाही. Googlebot साठी एखादी URL तपासायला Google URL Inspection टूल सुचवते, आणि स्थानिक चाचणीसाठी त्याची open source robots.txt लायब्ररी. यापैकी कोणतेही GPTBot किंवा ClaudeBot सारख्या AI क्रॉलरबद्दल काहीच सांगत नाही.

URL ला परवानगी आहे का हे क्रॉलर कसे ठरवतो?

RFC 9309, म्हणजे Robots Exclusion Protocol, जुळणीची व्याख्या करते. Google त्याच्या क्रॉलरसाठी हेच वर्तन दस्तऐवजात देते.

robots.txt चा response code त्याच्या नियमांइतकाच महत्त्वाचा आहे. 4xx प्रतिसाद म्हणजे क्रॉलर सर्व काही मिळवू शकतो; Google 429 सोडून प्रत्येक 4xx ला फाइलच नाही असे मानते. 5xx प्रतिसाद म्हणजे क्रॉलरने संपूर्ण साइट नाकारलेली आहे असे गृहीत धरायला हवे. Google पहिले 12 तास क्रॉलिंग थांबवते, मग 30 दिवसांपर्यंत शेवटची चांगली प्रत वापरते. RFC 9309 नुसार क्रॉलरनी किमान 500 KiB पार्स करायला हवे, आणि Google 500 KiB नंतरचे सर्व दुर्लक्षित करते.

robots.txt चाचणीचे उदाहरण टप्प्याटप्प्याने समजावून सांगाल का?

डिफॉल्ट गट आणि नावाने दिलेले दोन AI क्रॉलर असलेली ही छोटी robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

बरोबरी क्वचित होते, पण तेच तर्कशास्त्र लागू होते. Google चे दस्तऐवज URL /folder/page साठी allow: /folder आणि disallow: /folder चे उदाहरण देतात: दोन्हींची लांबी सारखी आहे, त्यामुळे URL ला परवानगी आहे.

Google चा open source robots.txt parser कसा चालवायचा?

robots.txt नियम जुळवण्यासाठी Google उत्पादनात वापरत असलेली C++ लायब्ररी प्रकाशित करते, सोबत स्थानिक फाइलवर एक URL आणि एक युजर एजंट तपासण्यासाठी छोटा command-line प्रोग्राम. Bazel इन्स्टॉल असल्यास:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

repository मध्ये CMake build चेही दस्तऐवज आहेत, जे त्याच arguments सह robots नावाची binary तयार करते. हे टूल फक्त पार्स आणि जुळणी करते; ते robots.txt डाउनलोड करत नाही, त्यामुळे आधी लाइव्ह फाइल सेव्ह करा. त्याचे README असेही नमूद करते की पार्सिंग आणि जुळणीपलीकडचे क्रॉलर-विशिष्ट वर्तन लायब्ररीचा भाग नाही.

Python च्या urllib.robotparser ने robots.txt तपासता येते का?

Python च्या standard library मध्ये एक parser आहे जो युजर एजंट आणि URL साठी परवानगी किंवा ब्लॉक असे उत्तर देतो. ही स्क्रिप्ट वरचे उदाहरण तपासते:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

निकालावर विश्वास ठेवण्यापूर्वी तुमची Python आवृत्ती तपासा. RFC 9309 जुळणीचा सपोर्ट 2026 मध्ये CPython मध्ये जोडला गेला आणि प्रथम Python 3.13.14 आणि 3.14.5 मध्ये आला. जुन्या आवृत्त्या, ज्यात संपूर्ण 3.12 आणि त्याआधीच्या सर्व येतात, सर्वात लांब नव्हे तर फाइलमध्ये क्रमाने जुळणारा पहिला नियम लागू करतात, आणि पाथमधील * किंवा $ समजत नाहीत. त्या आवृत्त्यांवर स्क्रिप्ट पहिली आणि चौथी चाचणी उलट दाखवते: Googlebot ला /search/help/billing वरून ब्लॉक आणि OAI-SearchBot ला PDF मिळवण्याची परवानगी.

आणखी दोन फरक प्रत्येक आवृत्तीला लागू होतात. RobotFileParser.read() robots.txt साठीच्या 401 किंवा 403 प्रतिसादाला सर्व काही नाकारलेले मानते, तर RFC 9309 म्हणते की 4xx म्हणजे सर्व काही मिळवता येते. आणि read() Python च्या डिफॉल्ट युजर एजंटने फाइल डाउनलोड करते, जो काही फायरवॉल ब्लॉक करतात, त्यामुळे तुमच्या नियमांशी संबंध नसलेल्या कारणांनी चाचणी ब्लॉक दाखवू शकते. वरीलप्रमाणे फाइल स्वतः मिळवून parse() ला दिल्यास दोन्ही टाळता येतात.

robots.txt चाचणी पास होते तरी क्रॉलर ब्लॉक का राहतो?

टेस्टर एकाच प्रश्नाचे उत्तर देतो: नियम या URL ला परवानगी देतात का? अनेक गोष्टी त्या उत्तराच्या बाहेर असतात:

सर्व AI क्रॉलरसाठी robots.txt एकाच वेळी कसे तपासावे?

AISeeWhy ची मोफत robots.txt तपासणी पेजचा पत्ता किंवा पेस्ट केलेले robots.txt घेते आणि प्रत्येक AI आणि सर्च क्रॉलरसाठी ते पेज मिळवता येते का ते दाखवते. मोफत robots.txt जनरेटर तुमच्या निवडीनुसार फाइल लिहितो, आणि मोफत तपासणी पेज 16 क्रॉलर म्हणून मिळवून robots.txt जे परवानगी देते ते फायरवॉल ब्लॉक करतो का हे दाखवते.

या समस्येवरील उपाय

मोफत टूल्स

पुढील पायऱ्या

या लेखातील क्रॉलर

वारंवार विचारले जाणारे प्रश्न

Google Search Console मध्ये अजून robots.txt टेस्टर आहे का?

नाही. Google ने नोव्हेंबर 2023 मध्ये त्याची जागा robots.txt अहवालाने घेतली, जो Google ने मिळवलेल्या फाइल, त्यांची स्थिती आणि errors दाखवतो. Googlebot विशिष्ट URL क्रॉल करू शकतो का हे तपासायला URL Inspection टूल वापरा.

robots.txt मध्ये Allow हा Disallow ला मागे टाकतो का?

फक्त Allow नियम लांब असेल किंवा अगदी तितकाच लांब असेल तेव्हा. प्रकार कोणताही असो, सर्वात लांब जुळणारा पाथ असलेला नियम जिंकतो, आणि बरोबरीत Allow जिंकतो.

robots.txt case-sensitive आहे का?

अंशतः. User-agent मूल्य जुळवताना अक्षरांच्या case चा विचार होत नाही, त्यामुळे gptbot आणि GPTBot एकाच गटाचे नाव आहेत. पाथ case-sensitive असतात, त्यामुळे Disallow: /Private/ हा /private/ ब्लॉक करत नाही.

robots.txt validator काय तपासतो?

Validator तपासतो की फाइल पोहोचण्याजोगी आहे, मजकूर म्हणून दिली जाते आणि वैध syntax मध्ये लिहिलेली आहे. टेस्टर पुढे जाऊन विशिष्ट URL आणि क्रॉलरसाठी निकाल देतो. सहसा दोन्ही लागतात, कारण वैध फाइलसुद्धा तुम्हाला परवानगी द्यायचे असलेले पेज ब्लॉक करू शकते.

क्रॉलरचा स्वतःचा गट असेल तर तो User-agent: * सुद्धा पाळतो का?

नाही. नावाचा गट त्या क्रॉलरसाठी * गटाची जागा पूर्णपणे घेतो. सर्वांना लागू करायचा प्रत्येक नियम प्रत्येक नावाच्या गटात पुन्हा लिहावा लागतो.

स्रोत

आणखी लेख