መመሪያ
የrobots.txt ጀነሬተርን እንዴት መጠቀም እንደሚቻል
ይህ ጽሑፍ ከእንግሊዝኛ በማሽን ተተርጉሟል።
ጀነሬተሩ ምን ይጽፋል
ድረ-ገጽዎን ማንበብ የሚችሉትን ክሮውለሮች ምልክት ያድርጉ፣ ማገድ የሚፈልጓቸውን ምልክት ያንሱ። ጀነሬተሩ ለእያንዳንዱ የታገደ ክሮውለር አንድ ቡድን ያለው robots.txt ይጽፋል፣ User-agent: <token> ከዚያም Disallow: /፣ ከዚያ ሌላውን ሁሉ የሚፈቅድ የመዝጊያ User-agent: * ቡድን። የsitemap አድራሻ ይጨምሩ፣ የSitemap መስመር ይጨምራል። የContent-Signal አማራጮችን ምልክት ያድርጉ፣ ይዘትዎ እንዴት ሊውል እንደሚችል የሚገልጽ የContent-Signal መስመር ይጨምራል።
ከአሳሽዎ ምንም አይወጣም፦ ፋይሉ ሲጫኑ በገጹ ላይ ይገነባል፣ ከውጤት ሳጥኑም ይገለብጡታል።
ከየትኛው ቅድመ-ቅንብር መጀመር
- ሁሉንም ፍቀድ፦ እያንዳንዱ ክሮውለር እያንዳንዱን ገጽ ማንበብ ይችላል። መገኘት እና መጠቀስ ለሚፈልጉ ለአብዛኞቹ ድረ-ገጾች ተስማሚ ነው።
- ስልጠናን አግድ፣ የAI ፍለጋን ፍቀድ፦ እንደ
GPTBot፣ ClaudeBot፣ CCBot እና Google-Extended ያሉ የስልጠና ክሮውለሮች ታግደዋል፤ እንደ OAI-SearchBot፣ Claude-SearchBot፣ PerplexityBot እና ChatGPT-User ያሉ የፍለጋ እና የተጠቃሚ ክሮውለሮች ተፈቅደው ይቆያሉ። ገጾችዎ አሁንም በAI መልሶች ውስጥ ሊታዩ እና ሊጠቀሱ ይችላሉ። - ሁሉንም የAI ክሮውለሮች አግድ፦ በዝርዝሩ ውስጥ ያለ እያንዳንዱ የAI ክሮውለር ታግዷል። እነዚያ ክሮውለሮች ገጾችዎን ለAI መልሶች አያመጡም፣ ይህም ብዙውን ጊዜ ጥቂት ጥቅሶችን እና ከረዳቶች የሚመጣ ያነሰ ትራፊክን ማለት ነው።
ምሳሌ፦ ስልጠናን አግድ፣ የAI ፍለጋን ፍቀድ
እያንዳንዱ የታገደ ክሮውለር የራሱ ቡድን አለው፣ ስለዚህ Disallow: /ኡ ለእሱ ብቻ ይሠራል። OAI-SearchBotን እና Googlebotን ጨምሮ ሌሎቹ ክሮውለሮች ሁሉ ወደ User-agent: * ይወድቃሉ፣ ሁሉንም ማንበብም ይችላሉ። የContent-Signal መስመሩ ለሚያነቡት ክሮውለሮች ተመሳሳዩን ሐሳብ ይደግማል፦ ፍለጋ እና በቅጽበት መልሶች አዎ፣ ስልጠና አይሆንም።
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Sitemap: https://example.com/sitemap.xml
ከማተምዎ በፊት
- ያዋህዱ፣ አይተኩ። የአሁኑ robots.txtዎ ለአስተዳደር ክፍሎች፣ ለጋሪዎች ወይም ለፍለጋ ገጾች ደንቦች ካሉት ወደ አዲሱ ፋይል
User-agent: * ቡድን ይገልብጧቸው፣ አለበለዚያ እነዚያን ክፍሎች ለሁሉም ክሮውለሮች ይከፍታሉ። - ፋይሉን በእያንዳንዱ host ስር ያስቀምጡ፦
https://example.com/robots.txt። ንዑስ ጎራ የራሱ ፋይል ያስፈልገዋል። - በ200 status እንደ ተራ ጽሑፍ ያቅርቡት። በዚያ አድራሻ ያለ HTML ገጽ ወይም ስህተት እንደ robots.txt አይሠራም።
- ውጤቱን በrobots.txt tester ይለጥፉ፣ ለሚያሳስብዎት ክሮውለሮች ጥቂት እውነተኛ paths ይፈትሹ።
- robots.txt ጥያቄ መሆኑን ያስታውሱ። ፋየርዎል የፈቀዱትን ክሮውለር ካገደ ፋይሉ ያንን ማስተካከል አይችልም፤ ሙሉው ፍተሻ ያሳየዋል።
የተለመዱ ስህተቶች
- ስልጠናን ለማቆም
OAI-SearchBotን ወይም PerplexityBotን ማገድ። እነዚህ የፍለጋ ክሮውለሮች ናቸው፤ እነሱን ማገድ ከመልሶች ያስወጣዎታል። - አንዱን ብቻ ለማገድ እያሰቡ ከአንድ
Disallow: / በላይ በርካታ User-agent መስመሮችን መጻፍ፦ ተደራርበው የተጻፉ መስመሮች አንድ ቡድን ይፈጥራሉ። - እንደ
ChatGPT-User ያሉ በተጠቃሚ ጥያቄ የሚሠሩ ማምጫዎች እገዳውን ያከብራሉ ብሎ መጠበቅ። አንዳንድ አቅራቢዎች ገጹን ሰው ሲጠይቅ እነዚህ ወኪሎች robots.txtን ላይከተሉ እንደሚችሉ ይናገራሉ። Crawl-delay ወይም Noindex መስመሮችን መጨመር። የRFC 9309 አካል አይደሉም፣ Google ሁለቱንም ችላ ይላል።
ተደጋግመው የሚጠየቁ ጥያቄዎች
GPTBotን ማገድ ድረ-ገጼን ከChatGPT ያስወግዳል?
አያስወግድም። GPTBot የስልጠና መረጃ ይሰበስባል። ChatGPT ፍለጋ OAI-SearchBotን ይጠቀማል፣ ChatGPT-User ደግሞ ሰዎች የሚጠይቋቸውን ገጾች ይከፍታል። መጠቀስ ከፈለጉ እነዚያን ተፈቅደው ይተዉ።
Content-Signal ምንድን ነው?
ይዘትዎ እንዴት ሊውል እንደሚችል የሚገልጽ በrobots.txt ውስጥ ያለ መስመር፦ search፣ ai-input (በቅጽበት መልሶች) እና ai-train (ስልጠና)፣ እያንዳንዳቸው አዎ ወይም አይሆንም። ድጋፉ እንደ አቅራቢው ይለያያል፤ ክሮውለሮች የሚከተሉት ደንብ ለተወሰኑ ክሮውለሮች የተጻፉት ቡድኖች ሆነው ይቆያሉ።
Google-Extended በGoogle Search ላይ ተጽዕኖ ያደርጋል?
አያደርግም። Google ገጾችዎን ለAI ሞዴሎቹ መጠቀም ይችል እንደሆነ የሚቆጣጠር በrobots.txt ብቻ የሚሠራ token ነው፤ በGoogle Search ውስጥ ክሮውሊንግን ወይም ደረጃን አይቀይርም።
ምርጫዬ ወደ የትም ይላካል?
አይላክም። ጀነሬተሩ በአሳሽዎ ውስጥ ይሠራል፣ ፋይሉን ለመሞከር እስኪመርጡ ድረስ ወደ ሰርቨራችን ምንም አይላክም።
ተዛማጅ መሣሪያዎች እና መመሪያዎች