የrobots.txt ደንቦችን ለአንድ URL እና ለተወሰነ ክሮውለር እንዴት እፈትሻለሁ?
URLን ለአንድ ክሮውለር ለመፈተሽ የክሮውለሩን token የሚጠቅሰውን ቡድን ያግኙ (ምንም ቡድን ካልጠቀሰው User-agent: *)፣ በውስጡ ከURL path ጋር የሚዛመዱትን ሁሉንም የAllow እና የDisallow ደንቦች ይሰብስቡ፣ ረጅሙንም ይተግብሩ፤ እኩል ከሆኑ Allow ያሸንፋል። ይህን በእጅ፣ በGoogle open-source parser ወይም ለእያንዳንዱ ክሮውለር ውሳኔ በሚያሳይ ፈታሽ ማድረግ ይችላሉ። በSearch Console ውስጥ የነበረው የGoogle የድሮ robots.txt Tester ተወግዷል፣ የተካው የrobots.txt ሪፖርት ደግሞ Google ያመጣውን ያሳያል እንጂ ለአንድ URL ውሳኔ አይሰጥም።
የrobots.txt ፋይል ቀላል ይመስላል፣ ግልጽ መልስ እስኪያስፈልግዎ ድረስ፦ GPTBot ይህን ገጽ ማምጣት ይችላል? OAI-SearchBotስ? መልሱ ክሮውለሩ የትኛውን ቡድን እንደሚመርጥ እና በዚያ ቡድን ውስጥ የትኛው ደንብ እንደሚያሸንፍ ይወሰናል፣ ሁለቱም ደረጃዎች በቀላሉ ሊሳሳቱ ይችላሉ። ማዛመዱ በRFC 9309 መሠረት እንዴት እንደሚሠራ፣ አራት የተሠሩ ምሳሌዎች እና ፋይልን ራስዎ የሚፈትሹባቸው ሦስት መንገዶች እነሆ።
በዚህ ገጽ ላይ
- በGoogle Search Console ውስጥ የነበረው robots.txt Tester ምን ሆነ?
- ክሮውለር አንድ URL መፈቀዱን እንዴት ይወስናል?
- የrobots.txt ፍተሻን በምሳሌ ማሳየት ይቻላል?
- የGoogleን open-source የrobots.txt parser እንዴት አስኬዳለሁ?
- robots.txtን በPython urllib.robotparser መፈተሽ እችላለሁ?
- የrobots.txt ፈተና እያለፈ ክሮውለሩ አሁንም የሚታገደው ለምንድን ነው?
- robots.txtን ለሁሉም የAI ክሮውለሮች በአንድ ጊዜ እንዴት እፈትሻለሁ?
በGoogle Search Console ውስጥ የነበረው robots.txt Tester ምን ሆነ?
በኖቬምበር 2023 Google በSearch Console ላይ የrobots.txt ሪፖርት ጨመረ፣ የrobots.txt testerን እንደሚያቋርጥም አስታወቀ። ሪፖርቱ በSettings ሥር ያለ ሲሆን የGoogle ክሮውለሮችን ብቻ ይሸፍናል። የሚያሳየው፦
- Google ለpropertyዎ ዋና 20 hosts ያገኛቸውን የrobots.txt ፋይሎች።
- የእያንዳንዱን ፋይል የማምጣት ሁኔታ (
Fetched፣Not Fetched - Not found (404)ወይምNot Fetched - Any other reason)፣ Google ለመጨረሻ ጊዜ መቼ እንደፈተሸው እና መጠኑን በባይት። - በፋይሉ ውስጥ ያሉ ችግሮች። Google ስህተቶች (errors) አንድ ደንብ ጥቅም ላይ እንዳይውል እንደሚከለክሉ፣ ማስጠንቀቂያዎች (warnings) ግን እንደማይከለክሉ ይናገራል።
- Google ባለፉት 30 ቀናት ያመጣቸው ስሪቶች፣ እና ፋይሉን ካስተካከሉ በኋላ እንደገና crawl እንዲደረግ የሚጠይቁበት ቁልፍ።
ሪፖርቱ URL ተቀብሎ «ተፈቅዷል» ወይም «ታግዷል» አይመልስም። አንድን URL ለGooglebot ለመፈተሽ Google ወደ URL Inspection መሣሪያ፣ ለአካባቢያዊ ሙከራ ደግሞ ወደ open-source የrobots.txt ቤተ-መጻሕፍቱ ይጠቁማል። ሁለቱም እንደ GPTBot ወይም ClaudeBot ስላሉ የAI ክሮውለሮች ምንም አይነግሩዎትም።
ክሮውለር አንድ URL መፈቀዱን እንዴት ይወስናል?
RFC 9309፣ Robots Exclusion Protocol፣ ማዛመዱን ይገልጻል። Google ለክሮውለሮቹ ተመሳሳይ ባህሪን ይገልጻል።
- ቡድኑን መምረጥ። የUser-agent ማዛመድ ትልቅ እና ትንሽ ፊደልን አይለይም። አንድ ወይም ከዚያ በላይ ቡድኖች የክሮውለሩን token ከጠቀሱ፣ ደንቦቻቸው ይጣመራሉ፣ የ
User-agent: *ቡድን ደግሞ ሙሉ በሙሉ ችላ ይባላል።*ን የሚከተለው የራሱ ቡድን የሌለው ክሮውለር ብቻ ነው። - ደንቡን መምረጥ። path ከURL ጋር ከሚዛመድባቸው የ
Allowእና የDisallowደንቦች መካከል ብዙ ቁምፊዎች ያለው ያሸንፋል።AllowእናDisallowእኩል ርዝመት ካላቸውAllowማሸነፍ አለበት። - ቅጦቹን ማንበብ።
*ማንኛውንም የቁምፊዎች ተከታታይ ይዛመዳል፣$ደግሞ የURLን መጨረሻ ያመለክታል። paths ትልቅ እና ትንሽ ፊደልን ይለያሉ፣ ስለዚህ/Admin/ከ/admin/ጋር አይዛመድም። - የሚዛመድ ደንብ ከሌለ ተፈቅዷል ማለት ነው።
/robots.txtራሱ ሁልጊዜ ተፈቅዷል።
የrobots.txt የምላሽ ኮድ እንደ ደንቦቹ አስፈላጊ ነው። 4xx ምላሽ ክሮውለሩ ሁሉንም ማምጣት ይችላል ማለት ነው፤ Google ከ429 በስተቀር ማንኛውንም 4xx ፋይል እንደሌለ አድርጎ ይመለከታል። 5xx ምላሽ ክሮውለሩ ድረ-ገጹ በሙሉ እንደተከለከለ መገመት አለበት ማለት ነው። Google ለመጀመሪያዎቹ 12 ሰዓታት crawl ማድረግ ያቆማል፣ ከዚያ የመጨረሻውን ጥሩ ቅጂ እስከ 30 ቀናት ይጠቀማል። RFC 9309 ክሮውለሮች ቢያንስ 500 KiB parse እንዲያደርጉ ይጠይቃል፣ Google ደግሞ ከ500 KiB በኋላ ያለውን ሁሉ ችላ ይላል።
የrobots.txt ፍተሻን በምሳሌ ማሳየት ይቻላል?
ነባሪ ቡድን እና በስም የተጠቀሱ ሁለት የAI ክሮውለሮች ያሉት ትንሽ robots.txt እነሆ፦
Googlebotእና/search/help/billing፦ ተፈቅዷል። የGooglebot ቡድን ስለሌለ የ*ቡድን ይተገበራል።Disallow: /searchእናAllow: /search/helpሁለቱም ይዛመዳሉ፣ የAllowደንቡም ይረዝማል።GPTBotእና/blog/post፦ ታግዷል። GPTBot የራሱ ቡድን አለው፣Disallow: /ደግሞ ከእያንዳንዱ path ጋር ይዛመዳል።OAI-SearchBotእና/admin/settings፦ ተፈቅዷል። OAI-SearchBot የራሱ ቡድን ስላለው በ*ቡድን ውስጥ ያለውDisallow: /admin/በእሱ ላይ አይተገበርም። ይህ በጣም የተለመደው አስገራሚ ነገር ነው፤ የጋራ ደንቦችን በእያንዳንዱ በስም በተጠቀሰ ቡድን ውስጥ ይድገሙ።OAI-SearchBotእና/files/report.pdf፦ ታግዷል።Allow: /በአንድ ቁምፊ፣Disallow: /*.pdf$ደግሞ በሰባት ቁምፊዎች ይዛመዳል፣ ረጅሙ ደንብም ያሸንፋል።
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ እኩልነቶች ብዙም አይከሰቱም፣ ግን ተመሳሳይ አመክንዮ ይከተላሉ። የGoogle ሰነዶች ለ/folder/page URL የallow: /folder እና disallow: /folder ምሳሌን ይሰጣሉ፦ ሁለቱም እኩል ርዝመት ስላላቸው URLው ተፈቅዷል።
የGoogleን open-source የrobots.txt parser እንዴት አስኬዳለሁ?
Google የrobots.txt ደንቦችን ለማዛመድ በምርት ውስጥ የሚጠቀምበትን የC++ ቤተ-መጻሕፍት ያትማል፤ አንድን URL እና አንድን user agent በአካባቢያዊ ፋይል ላይ የሚፈትሽ ትንሽ የcommand-line ፕሮግራምም አብሮት አለ። Bazel ተጭኖ ከሆነ፦
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed repositoryው የCMake buildንም ይገልጻል፤ ይህ ተመሳሳይ arguments ያሉት robots የሚባል binary ይፈጥራል። መሣሪያው parse ማድረግ እና ማዛመድ ብቻ ይሠራል፤ robots.txtን አያወርድም፣ ስለዚህ መጀመሪያ የቀጥታውን ፋይል ያስቀምጡ። READMEው ከparsing እና ከማዛመድ ውጭ ያለ የክሮውለር-ተኮር ባህሪ የቤተ-መጻሕፍቱ አካል እንዳልሆነም ይገልጻል።
robots.txtን በPython urllib.robotparser መፈተሽ እችላለሁ?
የPython standard library ለአንድ user agent እና URL «ተፈቅዷል» ወይም «ታግዷል» የሚመልስ parser ያካትታል። ይህ script ከላይ ያለውን ምሳሌ ይፈትሻል፦
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") ውጤቱን ከማመንዎ በፊት የPython ስሪትዎን ይፈትሹ። የRFC 9309 ማዛመድ ድጋፍ በ2026 ወደ CPython ተጨመረ፣ መጀመሪያ በPython 3.13.14 እና 3.14.5 ውስጥ ወጣ። የቆዩ ስሪቶች፣ ሁሉንም የ3.12 እና ከዚያ በፊት ያሉትን ጨምሮ፣ ረጅሙን ሳይሆን በፋይሉ ቅደም ተከተል መጀመሪያ የሚዛመደውን ደንብ ይተገብራሉ፣ በpaths ውስጥ ያሉ * ወይም $ንም አይረዱም። በእነዚያ ስሪቶች ላይ scriptው የመጀመሪያውን እና አራተኛውን ፈተና በተገላቢጦሽ ይዘግባል፦ Googlebot ከ/search/help/billing ታግዷል፣ OAI-SearchBot ደግሞ PDFውን እንዲያመጣ ተፈቅዶለታል።
ሁለት ተጨማሪ ልዩነቶች በሁሉም ስሪቶች ላይ ይሠራሉ። RobotFileParser.read() ለrobots.txt የ401 ወይም 403 ምላሽን «ሁሉም ተከልክሏል» አድርጎ ይመለከታል፣ RFC 9309 ግን 4xx ሁሉም ሊመጣ ይችላል ማለት እንደሆነ ይናገራል። read() ደግሞ ፋይሉን በPython ነባሪ user agent ያወርዳል፤ አንዳንድ ፋየርዎሎች ይህን ያግዳሉ፣ ስለዚህ ፈተናው ከደንቦችዎ ጋር ባልተያያዙ ምክንያቶች «ታግዷል» ሊል ይችላል። ፋይሉን ራስዎ አምጥተው ልክ ከላይ እንዳለው ለparse() መስጠት ሁለቱንም ያስቀራል።
የrobots.txt ፈተና እያለፈ ክሮውለሩ አሁንም የሚታገደው ለምንድን ነው?
tester አንድ ጥያቄ ይመልሳል፦ ደንቦቹ ይህን URL ይፈቅዳሉ? በርካታ ነገሮች ከዚያ መልስ ውጭ ናቸው፦
- የቀጥታው ፋይል ከፈተኑት የተለየ ነው፣ ወይም ክሮውለሩ አሁንም cache የተደረገ ቅጂ ይጠቀማል። RFC 9309 ክሮውለሮች cache የተደረገ ቅጂን ከ24 ሰዓት በላይ መጠቀም እንደሌለባቸው ይናገራል፣ Google ደግሞ በአጠቃላይ እስከ 24 ሰዓት cache ያደርጋል።
- የrobots.txt URL የHTML ገጽ ወይም ስህተት ይመልሳል። status 200 ያለው የHTML ገጽ ምንም ትክክለኛ ደንብ አይይዝም፣ 5xx ምላሽ ደግሞ ድረ-ገጹን በሙሉ ያግዳል።
- robots.txt ጥያቄ እንጂ የመዳረሻ ቁጥጥር አይደለም። ፋየርዎል፣ CDN ወይም የቦት ጥበቃ አሁንም ለክሮውለሩ በ403 ወይም በchallenge ገጽ ሊመልስ ይችላል።
robots.txtን ለሁሉም የAI ክሮውለሮች በአንድ ጊዜ እንዴት እፈትሻለሁ?
ነጻው የAISeeWhy robots.txt ፈታሽ የገጽ አድራሻ ወይም የተለጠፈ robots.txt ተቀብሎ ለእያንዳንዱ የAI እና የፍለጋ ክሮውለር ያ ገጽ ሊመጣ ይችል እንደሆነ ያሳያል። ነጻው የrobots.txt ማመንጫ ከምርጫዎችዎ ፋይል ይጽፋል፣ ነጻው ፍተሻ ደግሞ ገጹን እንደ 16 ክሮውለሮች አምጥቶ robots.txt የሚፈቅደውን ፋየርዎል ያግድ እንደሆነ ያሳያል።
ለዚህ ችግር ማስተካከያዎች
- robots.txt GPTBotን ይፈቅዳል፣ ነገር ግን አገልጋዩ ያግደዋል
- robots.txt OAI-SearchBotን ይከለክላል
- robots.txt የHTML ገጽ ነው
- robots.txt ሊመጣ አይችልም
ቀጣይ እርምጃዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ተደጋግመው የሚጠየቁ ጥያቄዎች
በGoogle Search Console ውስጥ አሁንም robots.txt tester አለ?
የለም። Google በኖቬምበር 2023 በrobots.txt ሪፖርት ተካው፤ ሪፖርቱ Google ያመጣቸውን ፋይሎች፣ ሁኔታቸውን እና ማንኛውንም ስህተት ያሳያል። Googlebot አንድን URL crawl ማድረግ ይችል እንደሆነ ለመፈተሽ URL Inspection መሣሪያን ይጠቀሙ።
በrobots.txt ውስጥ Allow ከDisallow ይበልጣል?
የAllow ደንቡ ረጅም ወይም ልክ እኩል ርዝመት ሲኖረው ብቻ። ዓይነቱ ምንም ይሁን ረጅሙ የሚዛመድ path ያለው ደንብ ያሸንፋል፣ እኩል ሲሆኑ ደግሞ Allow ያሸንፋል።
robots.txt ትልቅ እና ትንሽ ፊደልን ይለያል?
በከፊል። የUser-agent እሴት ፊደል ሳይለይ ይዛመዳል፣ ስለዚህ gptbot እና GPTBot አንድ ቡድንን ያመለክታሉ። paths ግን ፊደል ይለያሉ፣ ስለዚህ Disallow: /Private/ /private/ን አያግድም።
የrobots.txt validator ምን ይፈትሻል?
validator ፋይሉ ሊደረስበት የሚችል፣ እንደ ጽሑፍ የሚቀርብ እና በትክክለኛ syntax የተጻፈ መሆኑን ይፈትሻል። tester ከዚያ አልፎ ለአንድ የተወሰነ URL እና ክሮውለር ውሳኔ ይሰጣል። ብዙውን ጊዜ ሁለቱም ያስፈልግዎታል፣ ምክንያቱም ትክክለኛ ፋይልም ለመፍቀድ ያሰቡትን ገጽ ሊያግድ ይችላል።
ክሮውለር የራሱ ቡድን ካለው አሁንም User-agent: *ን ይከተላል?
አይከተልም። በስም የተጠቀሰ ቡድን ለዚያ ክሮውለር የ* ቡድንን ሙሉ በሙሉ ይተካል። ለሁሉም እንዲተገበር የሚፈልጉትን ማንኛውንም ደንብ በእያንዳንዱ በስም በተጠቀሰ ቡድን ውስጥ መድገም አለብዎት።
ምንጮች
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py