URL र कुनै खास क्रलरका लागि robots.txt नियम कसरी जाँच्ने?
एउटा क्रलरका लागि URL जाँच्न, त्यो क्रलरको टोकन नाम भएको समूह खोज्नुहोस् (कुनै समूहमा नाम छैन भने User-agent: *), त्यसभित्र URL को path सँग मेल खाने हरेक Allow र Disallow नियम जम्मा गर्नुहोस्, र सबैभन्दा लामो नियम लागू गर्नुहोस्; बराबर भए Allow जित्छ। तपाईं यो हातैले, Google को open-source पार्सरले, वा हरेक क्रलरका लागि निर्णय देखाउने चेकरले गर्न सक्नुहुन्छ। Search Console को पुरानो robots.txt Tester हटिसकेको छ, र यसको सट्टा आएको robots.txt रिपोर्टले Google ले के ल्यायो देखाउँछ, URL का लागि निर्णय होइन।
robots.txt फाइल तबसम्म सरल देखिन्छ जबसम्म तपाईंलाई निश्चित उत्तर चाहिँदैन: के GPTBot ले यो पेज ल्याउन पाउँछ, र OAI-SearchBot ले? उत्तर क्रलरले कुन समूह छान्छ र त्यो समूहभित्र कुन नियम जित्छ भन्नेमा भर पर्छ, र दुवै चरणमा गल्ती गर्न सजिलो छ। RFC 9309 अनुसार मिलान कसरी हुन्छ, हल गरिएका चार उदाहरण, र फाइल आफैँ जाँच्ने तीन तरिका यहाँ छन्।
यस पेजमा
- Google Search Console को robots.txt Tester लाई के भयो?
- URL लाई अनुमति छ कि छैन भनेर क्रलरले कसरी निर्णय गर्छ?
- robots.txt जाँचको उदाहरण चरणबद्ध रूपमा देखाउन सक्नुहुन्छ?
- Google को open-source robots.txt पार्सर कसरी चलाउने?
- के Python को urllib.robotparser ले robots.txt जाँच्न सकिन्छ?
- robots.txt परीक्षण पास हुँदा पनि क्रलर किन ब्लक हुन्छ?
- सबै AI क्रलरका लागि robots.txt एकैपटक कसरी जाँच्ने?
Google Search Console को robots.txt Tester लाई के भयो?
नोभेम्बर 2023 मा Google ले Search Console मा robots.txt रिपोर्ट थप्यो र robots.txt tester बन्द गर्दै गरेको बतायो। रिपोर्ट Settings अन्तर्गत छ र Google का क्रलर मात्र समेट्छ। यसले देखाउँछ:
- तपाईंको property का शीर्ष 20 होस्टका लागि Google ले भेटेका robots.txt फाइल।
- हरेक फाइलको fetch स्थिति (
Fetched,Not Fetched - Not found (404)वाNot Fetched - Any other reason), Google ले अन्तिम पटक कहिले जाँच्यो, र बाइटमा यसको आकार। - फाइलका समस्या। Google भन्छ error ले नियम प्रयोग हुन दिँदैन, तर warning ले रोक्दैन।
- पछिल्लो 30 दिनमा Google ले ल्याएका संस्करण, र फाइल सुधारेपछि फेरि crawl गर्न अनुरोध गर्ने बटन।
रिपोर्टले URL लिएर अनुमति छ वा ब्लक छ भनेर फर्काउँदैन। Googlebot का लागि एउटा URL जाँच्न Google ले URL Inspection टुल, र स्थानीय परीक्षणका लागि आफ्नो open-source robots.txt लाइब्रेरी देखाउँछ। यीमध्ये कुनैले पनि GPTBot वा ClaudeBot जस्ता AI क्रलरबारे केही बताउँदैन।
URL लाई अनुमति छ कि छैन भनेर क्रलरले कसरी निर्णय गर्छ?
RFC 9309, Robots Exclusion Protocol, ले मिलानको नियम तय गर्छ। Google ले आफ्ना क्रलरका लागि पनि यही व्यवहार दस्तावेज गरेको छ।
- समूह छान्नुहोस्। User-agent को मिलानमा ठूलो-सानो अक्षरले फरक पर्दैन। एक वा बढी समूहमा क्रलरको टोकनको नाम छ भने तिनका नियम जोडिन्छन् र
User-agent: *समूह पूरै बेवास्ता हुन्छ। नाम भएको समूह नभएको क्रलरले मात्र*पछ्याउँछ। - नियम छान्नुहोस्। path URL सँग मेल खाने
AllowरDisallowनियममध्ये सबैभन्दा धेरै अक्षर भएको नियम जित्छ।AllowरDisallowबराबर लामा छन् भनेAllowजित्नुपर्छ। - प्याटर्न पढ्नुहोस्।
*ले अक्षरको जुनसुकै शृङ्खलासँग मेल खान्छ र$ले URL को अन्त्य जनाउँछ। path मा ठूलो-सानो अक्षरले फरक पर्छ, त्यसैले/Admin/ले/admin/सँग मेल खाँदैन। - मेल खाने नियम छैन भने अनुमति छ।
/robots.txtआफैँलाई सधैं अनुमति हुन्छ।
robots.txt को response code यसका नियमजत्तिकै महत्त्वपूर्ण छ। 4xx response को अर्थ क्रलरले सबै कुरा ल्याउन सक्छ; Google ले 429 बाहेक हरेक 4xx लाई फाइल नै नभएजस्तो मान्छ। 5xx response को अर्थ क्रलरले पूरै साइट निषेध भएको मान्नुपर्छ। Google पहिलो 12 घण्टा crawl रोक्छ, त्यसपछि 30 दिनसम्म अन्तिम राम्रो प्रति प्रयोग गर्छ। RFC 9309 ले क्रलरलाई कम्तीमा 500 KiB पार्स गर्न भन्छ, र Google ले 500 KiB पछिको सबै बेवास्ता गर्छ।
robots.txt जाँचको उदाहरण चरणबद्ध रूपमा देखाउन सक्नुहुन्छ?
यहाँ एउटा पूर्वनिर्धारित समूह र नाम दिइएका दुई AI क्रलर भएको सानो robots.txt छ:
Googlebotर/search/help/billing: अनुमति छ। Googlebot को समूह छैन, त्यसैले*समूह लागू हुन्छ।Disallow: /searchरAllow: /search/helpदुवै मेल खान्छन्, रAllowनियम लामो छ।GPTBotर/blog/post: ब्लक। GPTBot को आफ्नै समूह छ, रDisallow: /ले हरेक path सँग मेल खान्छ।OAI-SearchBotर/admin/settings: अनुमति छ। OAI-SearchBot को आफ्नै समूह छ, त्यसैले*समूहकोDisallow: /admin/यसमा लागू हुँदैन। सबैभन्दा धेरै अचम्म पार्ने कुरा यही हो; साझा नियम नाम भएका हरेक समूहमा दोहोर्याउनुहोस्।OAI-SearchBotर/files/report.pdf: ब्लक।Allow: /एक अक्षरले मेल खान्छ,Disallow: /*.pdf$सात अक्षरले, र लामो नियम जित्छ।
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ बराबरी कम हुन्छ तर उही तर्क पछ्याउँछ। Google को दस्तावेजले URL /folder/page का लागि allow: /folder र disallow: /folder को उदाहरण दिन्छ: दुवै बराबर लामा छन्, त्यसैले URL लाई अनुमति हुन्छ।
Google को open-source robots.txt पार्सर कसरी चलाउने?
Google ले robots.txt नियम मिलाउन आफ्नो production मा प्रयोग गर्ने C++ लाइब्रेरी प्रकाशित गर्छ, साथमा स्थानीय फाइलविरुद्ध एउटा URL र एउटा user agent जाँच्ने सानो command-line प्रोग्राम पनि। Bazel इन्स्टल भएपछि:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed रिपोजिटरीले CMake बिल्ड पनि दस्तावेज गर्छ, जसले उही argument भएको robots नामको binary बनाउँछ। टुलले पार्स र मिलान मात्र गर्छ; यसले robots.txt डाउनलोड गर्दैन, त्यसैले पहिले लाइभ फाइल सेभ गर्नुहोस्। यसको README ले पार्स र मिलानबाहिरको क्रलर-विशेष व्यवहार लाइब्रेरीको भाग होइन भनेर पनि बताउँछ।
के Python को urllib.robotparser ले robots.txt जाँच्न सकिन्छ?
Python को standard library मा user agent र URL का लागि अनुमति छ वा ब्लक छ भनेर उत्तर दिने पार्सर छ। यो स्क्रिप्टले माथिको उदाहरण जाँच्छ:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") नतिजामा भर पर्नुअघि आफ्नो Python संस्करण जाँच्नुहोस्। RFC 9309 मिलानको समर्थन 2026 मा CPython मा थपियो र पहिलो पटक Python 3.13.14 र 3.14.5 मा आयो। पुराना रिलिज, 3.12 र त्यसअघिका सबैसहित, सबैभन्दा लामो होइन, फाइलको क्रममा पहिले मेल खाने नियम लागू गर्छन्, र path भित्रको * वा $ बुझ्दैनन्। ती संस्करणमा स्क्रिप्टले पहिलो र चौथो परीक्षण उल्टो देखाउँछ: Googlebot लाई /search/help/billing बाट ब्लक र OAI-SearchBot लाई PDF ल्याउन अनुमति।
थप दुई भिन्नता हरेक संस्करणमा लागू हुन्छन्। RobotFileParser.read() ले robots.txt को 401 वा 403 response लाई सबै निषेध मान्छ, जबकि RFC 9309 भन्छ 4xx को अर्थ सबै ल्याउन सकिन्छ। र read() ले Python को पूर्वनिर्धारित user agent प्रयोग गरेर फाइल डाउनलोड गर्छ, जसलाई केही फायरवालले ब्लक गर्छन्, त्यसैले तपाईंका नियमसँग सम्बन्ध नभएका कारणले पनि परीक्षणले ब्लक देखाउन सक्छ। माथि जस्तै फाइल आफैँ ल्याएर parse() लाई दिँदा दुवै समस्या टर्छन्।
robots.txt परीक्षण पास हुँदा पनि क्रलर किन ब्लक हुन्छ?
टेस्टरले एउटै प्रश्नको उत्तर दिन्छ: के नियमले यो URL लाई अनुमति दिन्छन्? थुप्रै कुरा त्यो उत्तरभन्दा बाहिर छन्:
- लाइभ फाइल तपाईंले जाँचेको फाइलभन्दा फरक छ, वा क्रलरले अझै cache गरिएको प्रति प्रयोग गर्छ। RFC 9309 भन्छ क्रलरले cache गरिएको प्रति 24 घण्टाभन्दा बढी प्रयोग गर्नु हुँदैन, र Google ले सामान्यतया 24 घण्टासम्म cache गर्छ।
- robots.txt को URL ले HTML पेज वा error फर्काउँछ। स्थिति 200 भएको HTML पेजमा कुनै मान्य नियम हुँदैन, र 5xx response ले पूरै साइट ब्लक गर्छ।
- robots.txt अनुरोध हो, पहुँच नियन्त्रण होइन। फायरवाल, CDN वा बट सुरक्षाले क्रलरलाई अझै 403 वा च्यालेन्ज पेज दिन सक्छन्।
सबै AI क्रलरका लागि robots.txt एकैपटक कसरी जाँच्ने?
AISeeWhy को निःशुल्क robots.txt चेकरले पेजको ठेगाना वा पेस्ट गरिएको robots.txt लिन्छ र हरेक AI र सर्च क्रलरका लागि त्यो पेज ल्याउन सकिन्छ कि सकिँदैन देखाउँछ। निःशुल्क robots.txt जेनेरेटरले तपाईंका छनोटबाट फाइल लेख्छ, र निःशुल्क जाँचले robots.txt ले अनुमति दिएको कुरा फायरवालले ब्लक गर्छ कि गर्दैन देखाउन पेजलाई 16 क्रलरका रूपमा ल्याउँछ।
यो समस्याका समाधान
- robots.txt ले GPTBot लाई अनुमति दिन्छ, तर सर्भरले ब्लक गर्छ
- robots.txt ले OAI-SearchBot लाई निषेध गर्छ
- robots.txt एउटा HTML पेज हो
- robots.txt ल्याउन सकिँदैन
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
के Google Search Console मा अझै robots.txt tester छ?
छैन। नोभेम्बर 2023 मा Google ले यसलाई robots.txt रिपोर्टले प्रतिस्थापन गर्यो, जसले Google ले ल्याएका फाइल, तिनको स्थिति र कुनै error देखाउँछ। Googlebot ले कुनै खास URL crawl गर्न पाउँछ कि पाउँदैन जाँच्न URL Inspection टुल प्रयोग गर्नुहोस्।
के robots.txt मा Allow ले Disallow लाई जित्छ?
Allow नियम लामो वा ठ्याक्कै बराबर लामो भए मात्र। जुनसुकै प्रकारको भए पनि सबैभन्दा लामो मेल खाने path भएको नियम जित्छ, र बराबरीमा Allow जित्छ।
के robots.txt मा ठूलो-सानो अक्षरले फरक पर्छ?
आंशिक रूपमा। User-agent को मान ठूलो-सानो अक्षर नहेरी मिलाइन्छ, त्यसैले gptbot र GPTBot ले उही समूह जनाउँछन्। path मा फरक पर्छ, त्यसैले Disallow: /Private/ ले /private/ ब्लक गर्दैन।
robots.txt भ्यालिडेटरले के जाँच्छ?
भ्यालिडेटरले फाइल पहुँचयोग्य छ, पाठका रूपमा पठाइन्छ र मान्य सिन्ट्याक्समा लेखिएको छ भनेर जाँच्छ। टेस्टर अझ अगाडि गएर खास URL र क्रलरका लागि निर्णय दिन्छ। प्रायः दुवै चाहिन्छ, किनकि मान्य फाइलले पनि तपाईंले अनुमति दिन खोजेको पेज ब्लक गर्न सक्छ।
क्रलरको आफ्नै समूह छ भने के यसले अझै User-agent: * पछ्याउँछ?
पछ्याउँदैन। नाम भएको समूहले त्यो क्रलरका लागि * समूहलाई पूरै प्रतिस्थापन गर्छ। सबैलाई लागू गर्न चाहेको नियम नाम भएका हरेक समूहमा दोहोर्याउनुपर्छ।
स्रोतहरू
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py