የrobots.txt ደንቦችን ለአንድ URL እና ለተወሰነ ክሮውለር እንዴት እፈትሻለሁ?

የታተመበት

አጭር መልስ

URLን ለአንድ ክሮውለር ለመፈተሽ የክሮውለሩን token የሚጠቅሰውን ቡድን ያግኙ (ምንም ቡድን ካልጠቀሰው User-agent: *)፣ በውስጡ ከURL path ጋር የሚዛመዱትን ሁሉንም የAllow እና የDisallow ደንቦች ይሰብስቡ፣ ረጅሙንም ይተግብሩ፤ እኩል ከሆኑ Allow ያሸንፋል። ይህን በእጅ፣ በGoogle open-source parser ወይም ለእያንዳንዱ ክሮውለር ውሳኔ በሚያሳይ ፈታሽ ማድረግ ይችላሉ። በSearch Console ውስጥ የነበረው የGoogle የድሮ robots.txt Tester ተወግዷል፣ የተካው የrobots.txt ሪፖርት ደግሞ Google ያመጣውን ያሳያል እንጂ ለአንድ URL ውሳኔ አይሰጥም።

የrobots.txt ፋይል ቀላል ይመስላል፣ ግልጽ መልስ እስኪያስፈልግዎ ድረስ፦ GPTBot ይህን ገጽ ማምጣት ይችላል? OAI-SearchBotስ? መልሱ ክሮውለሩ የትኛውን ቡድን እንደሚመርጥ እና በዚያ ቡድን ውስጥ የትኛው ደንብ እንደሚያሸንፍ ይወሰናል፣ ሁለቱም ደረጃዎች በቀላሉ ሊሳሳቱ ይችላሉ። ማዛመዱ በRFC 9309 መሠረት እንዴት እንደሚሠራ፣ አራት የተሠሩ ምሳሌዎች እና ፋይልን ራስዎ የሚፈትሹባቸው ሦስት መንገዶች እነሆ።

በዚህ ገጽ ላይ
  1. በGoogle Search Console ውስጥ የነበረው robots.txt Tester ምን ሆነ?
  2. ክሮውለር አንድ URL መፈቀዱን እንዴት ይወስናል?
  3. የrobots.txt ፍተሻን በምሳሌ ማሳየት ይቻላል?
  4. የGoogleን open-source የrobots.txt parser እንዴት አስኬዳለሁ?
  5. robots.txtን በPython urllib.robotparser መፈተሽ እችላለሁ?
  6. የrobots.txt ፈተና እያለፈ ክሮውለሩ አሁንም የሚታገደው ለምንድን ነው?
  7. robots.txtን ለሁሉም የAI ክሮውለሮች በአንድ ጊዜ እንዴት እፈትሻለሁ?

በGoogle Search Console ውስጥ የነበረው robots.txt Tester ምን ሆነ?

በኖቬምበር 2023 Google በSearch Console ላይ የrobots.txt ሪፖርት ጨመረ፣ የrobots.txt testerን እንደሚያቋርጥም አስታወቀ። ሪፖርቱ በSettings ሥር ያለ ሲሆን የGoogle ክሮውለሮችን ብቻ ይሸፍናል። የሚያሳየው፦

ሪፖርቱ URL ተቀብሎ «ተፈቅዷል» ወይም «ታግዷል» አይመልስም። አንድን URL ለGooglebot ለመፈተሽ Google ወደ URL Inspection መሣሪያ፣ ለአካባቢያዊ ሙከራ ደግሞ ወደ open-source የrobots.txt ቤተ-መጻሕፍቱ ይጠቁማል። ሁለቱም እንደ GPTBot ወይም ClaudeBot ስላሉ የAI ክሮውለሮች ምንም አይነግሩዎትም።

ክሮውለር አንድ URL መፈቀዱን እንዴት ይወስናል?

RFC 9309፣ Robots Exclusion Protocol፣ ማዛመዱን ይገልጻል። Google ለክሮውለሮቹ ተመሳሳይ ባህሪን ይገልጻል።

የrobots.txt የምላሽ ኮድ እንደ ደንቦቹ አስፈላጊ ነው። 4xx ምላሽ ክሮውለሩ ሁሉንም ማምጣት ይችላል ማለት ነው፤ Google ከ429 በስተቀር ማንኛውንም 4xx ፋይል እንደሌለ አድርጎ ይመለከታል። 5xx ምላሽ ክሮውለሩ ድረ-ገጹ በሙሉ እንደተከለከለ መገመት አለበት ማለት ነው። Google ለመጀመሪያዎቹ 12 ሰዓታት crawl ማድረግ ያቆማል፣ ከዚያ የመጨረሻውን ጥሩ ቅጂ እስከ 30 ቀናት ይጠቀማል። RFC 9309 ክሮውለሮች ቢያንስ 500 KiB parse እንዲያደርጉ ይጠይቃል፣ Google ደግሞ ከ500 KiB በኋላ ያለውን ሁሉ ችላ ይላል።

የrobots.txt ፍተሻን በምሳሌ ማሳየት ይቻላል?

ነባሪ ቡድን እና በስም የተጠቀሱ ሁለት የAI ክሮውለሮች ያሉት ትንሽ robots.txt እነሆ፦

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

እኩልነቶች ብዙም አይከሰቱም፣ ግን ተመሳሳይ አመክንዮ ይከተላሉ። የGoogle ሰነዶች ለ/folder/page URL የallow: /folder እና disallow: /folder ምሳሌን ይሰጣሉ፦ ሁለቱም እኩል ርዝመት ስላላቸው URLው ተፈቅዷል።

የGoogleን open-source የrobots.txt parser እንዴት አስኬዳለሁ?

Google የrobots.txt ደንቦችን ለማዛመድ በምርት ውስጥ የሚጠቀምበትን የC++ ቤተ-መጻሕፍት ያትማል፤ አንድን URL እና አንድን user agent በአካባቢያዊ ፋይል ላይ የሚፈትሽ ትንሽ የcommand-line ፕሮግራምም አብሮት አለ። Bazel ተጭኖ ከሆነ፦

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

repositoryው የCMake buildንም ይገልጻል፤ ይህ ተመሳሳይ arguments ያሉት robots የሚባል binary ይፈጥራል። መሣሪያው parse ማድረግ እና ማዛመድ ብቻ ይሠራል፤ robots.txtን አያወርድም፣ ስለዚህ መጀመሪያ የቀጥታውን ፋይል ያስቀምጡ። READMEው ከparsing እና ከማዛመድ ውጭ ያለ የክሮውለር-ተኮር ባህሪ የቤተ-መጻሕፍቱ አካል እንዳልሆነም ይገልጻል።

robots.txtን በPython urllib.robotparser መፈተሽ እችላለሁ?

የPython standard library ለአንድ user agent እና URL «ተፈቅዷል» ወይም «ታግዷል» የሚመልስ parser ያካትታል። ይህ script ከላይ ያለውን ምሳሌ ይፈትሻል፦

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

ውጤቱን ከማመንዎ በፊት የPython ስሪትዎን ይፈትሹ። የRFC 9309 ማዛመድ ድጋፍ በ2026 ወደ CPython ተጨመረ፣ መጀመሪያ በPython 3.13.14 እና 3.14.5 ውስጥ ወጣ። የቆዩ ስሪቶች፣ ሁሉንም የ3.12 እና ከዚያ በፊት ያሉትን ጨምሮ፣ ረጅሙን ሳይሆን በፋይሉ ቅደም ተከተል መጀመሪያ የሚዛመደውን ደንብ ይተገብራሉ፣ በpaths ውስጥ ያሉ * ወይም $ንም አይረዱም። በእነዚያ ስሪቶች ላይ scriptው የመጀመሪያውን እና አራተኛውን ፈተና በተገላቢጦሽ ይዘግባል፦ Googlebot ከ/search/help/billing ታግዷል፣ OAI-SearchBot ደግሞ PDFውን እንዲያመጣ ተፈቅዶለታል።

ሁለት ተጨማሪ ልዩነቶች በሁሉም ስሪቶች ላይ ይሠራሉ። RobotFileParser.read() ለrobots.txt የ401 ወይም 403 ምላሽን «ሁሉም ተከልክሏል» አድርጎ ይመለከታል፣ RFC 9309 ግን 4xx ሁሉም ሊመጣ ይችላል ማለት እንደሆነ ይናገራል። read() ደግሞ ፋይሉን በPython ነባሪ user agent ያወርዳል፤ አንዳንድ ፋየርዎሎች ይህን ያግዳሉ፣ ስለዚህ ፈተናው ከደንቦችዎ ጋር ባልተያያዙ ምክንያቶች «ታግዷል» ሊል ይችላል። ፋይሉን ራስዎ አምጥተው ልክ ከላይ እንዳለው ለparse() መስጠት ሁለቱንም ያስቀራል።

የrobots.txt ፈተና እያለፈ ክሮውለሩ አሁንም የሚታገደው ለምንድን ነው?

tester አንድ ጥያቄ ይመልሳል፦ ደንቦቹ ይህን URL ይፈቅዳሉ? በርካታ ነገሮች ከዚያ መልስ ውጭ ናቸው፦

robots.txtን ለሁሉም የAI ክሮውለሮች በአንድ ጊዜ እንዴት እፈትሻለሁ?

ነጻው የAISeeWhy robots.txt ፈታሽ የገጽ አድራሻ ወይም የተለጠፈ robots.txt ተቀብሎ ለእያንዳንዱ የAI እና የፍለጋ ክሮውለር ያ ገጽ ሊመጣ ይችል እንደሆነ ያሳያል። ነጻው የrobots.txt ማመንጫ ከምርጫዎችዎ ፋይል ይጽፋል፣ ነጻው ፍተሻ ደግሞ ገጹን እንደ 16 ክሮውለሮች አምጥቶ robots.txt የሚፈቅደውን ፋየርዎል ያግድ እንደሆነ ያሳያል።

ለዚህ ችግር ማስተካከያዎች

ነጻ መሣሪያዎች

ቀጣይ እርምጃዎች

በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች

ተደጋግመው የሚጠየቁ ጥያቄዎች

በGoogle Search Console ውስጥ አሁንም robots.txt tester አለ?

የለም። Google በኖቬምበር 2023 በrobots.txt ሪፖርት ተካው፤ ሪፖርቱ Google ያመጣቸውን ፋይሎች፣ ሁኔታቸውን እና ማንኛውንም ስህተት ያሳያል። Googlebot አንድን URL crawl ማድረግ ይችል እንደሆነ ለመፈተሽ URL Inspection መሣሪያን ይጠቀሙ።

በrobots.txt ውስጥ Allow ከDisallow ይበልጣል?

የAllow ደንቡ ረጅም ወይም ልክ እኩል ርዝመት ሲኖረው ብቻ። ዓይነቱ ምንም ይሁን ረጅሙ የሚዛመድ path ያለው ደንብ ያሸንፋል፣ እኩል ሲሆኑ ደግሞ Allow ያሸንፋል።

robots.txt ትልቅ እና ትንሽ ፊደልን ይለያል?

በከፊል። የUser-agent እሴት ፊደል ሳይለይ ይዛመዳል፣ ስለዚህ gptbot እና GPTBot አንድ ቡድንን ያመለክታሉ። paths ግን ፊደል ይለያሉ፣ ስለዚህ Disallow: /Private/ /private/ን አያግድም።

የrobots.txt validator ምን ይፈትሻል?

validator ፋይሉ ሊደረስበት የሚችል፣ እንደ ጽሑፍ የሚቀርብ እና በትክክለኛ syntax የተጻፈ መሆኑን ይፈትሻል። tester ከዚያ አልፎ ለአንድ የተወሰነ URL እና ክሮውለር ውሳኔ ይሰጣል። ብዙውን ጊዜ ሁለቱም ያስፈልግዎታል፣ ምክንያቱም ትክክለኛ ፋይልም ለመፍቀድ ያሰቡትን ገጽ ሊያግድ ይችላል።

ክሮውለር የራሱ ቡድን ካለው አሁንም User-agent: *ን ይከተላል?

አይከተልም። በስም የተጠቀሰ ቡድን ለዚያ ክሮውለር የ* ቡድንን ሙሉ በሙሉ ይተካል። ለሁሉም እንዲተገበር የሚፈልጉትን ማንኛውንም ደንብ በእያንዳንዱ በስም በተጠቀሰ ቡድን ውስጥ መድገም አለብዎት።

ምንጮች

ተጨማሪ ጽሑፎች