ለAI ክሮውለሮች የrobots.txt ማመንጫ

የትኞቹ የAI ክሮውለሮች ድረ-ገጽዎን ማንበብ እንደሚችሉ ይምረጡ እና የተፈጠረውን robots.txt ይቅዱ። የተለመደ ምርጫ እንደ GPTBot እና ClaudeBot ያሉ የAI ስልጠና ክሮውለሮችን ማገድ ነገር ግን እንደ OAI-SearchBot እና PerplexityBot ያሉ የAI ፍለጋ ክሮውለሮችን መፍቀድ ነው፣ በዚህም ገጾችዎ አሁንም በAI መልሶች ውስጥ ሊታዩ እና ሊጠቀሱ ይችላሉ።

ከዚህ ይጀምሩ
የAI ስልጠና
የAI ፍለጋ
በተጠቃሚ ጥያቄ የሚደረግ ማምጣት
Content-Signal (አማራጭ)፦ የሚፈቅዱትን ምልክት ያድርጉ

በተጠቃሚ ጥያቄ የሚያመጡ ወኪሎችን ማገድ ውስን ውጤት አለው፦ አንዳንድ አቅራቢዎች እነዚህ ወኪሎች robots.txtን ላይከተሉ እንደሚችሉ ይናገራሉ፣ ምክንያቱም ገጹን የጠየቀው ሰው ነው። ውጤቱን ከማተምዎ በፊት በrobots.txt ፈታሹ ይፈትሹት። robots.txt tester እና ፈታሽ ለAI ክሮውለሮች →

እንዴት እንደሚጠቀሙበት

ፋይሉን በዶሜይንዎ root ላይ ያስቀምጡ (https://example.com/robots.txt)። ለሌሎች ክሮውለሮች ደንቦች ካሉዎት፣ ያቆዩዋቸው እና የAI ቡድኖችን ብቻ ይጨምሩ። ለውጦች ተግባራዊ የሚሆኑት እያንዳንዱ ክሮውለር ፋይሉን በሚቀጥለው ጊዜ ሲያነብ ነው፣ ብዙውን ጊዜ በአንድ ቀን ውስጥ።

ሙሉውን ፍተሻ ያካሂዱ →

መመሪያ

የrobots.txt ጀነሬተርን እንዴት መጠቀም እንደሚቻል

ይህ ጽሑፍ ከእንግሊዝኛ በማሽን ተተርጉሟል።

ጀነሬተሩ ምን ይጽፋል

ድረ-ገጽዎን ማንበብ የሚችሉትን ክሮውለሮች ምልክት ያድርጉ፣ ማገድ የሚፈልጓቸውን ምልክት ያንሱ። ጀነሬተሩ ለእያንዳንዱ የታገደ ክሮውለር አንድ ቡድን ያለው robots.txt ይጽፋል፣ User-agent: <token> ከዚያም Disallow: /፣ ከዚያ ሌላውን ሁሉ የሚፈቅድ የመዝጊያ User-agent: * ቡድን። የsitemap አድራሻ ይጨምሩ፣ የSitemap መስመር ይጨምራል። የContent-Signal አማራጮችን ምልክት ያድርጉ፣ ይዘትዎ እንዴት ሊውል እንደሚችል የሚገልጽ የContent-Signal መስመር ይጨምራል።

ከአሳሽዎ ምንም አይወጣም፦ ፋይሉ ሲጫኑ በገጹ ላይ ይገነባል፣ ከውጤት ሳጥኑም ይገለብጡታል።

ከየትኛው ቅድመ-ቅንብር መጀመር

ምሳሌ፦ ስልጠናን አግድ፣ የAI ፍለጋን ፍቀድ

እያንዳንዱ የታገደ ክሮውለር የራሱ ቡድን አለው፣ ስለዚህ Disallow: /ኡ ለእሱ ብቻ ይሠራል። OAI-SearchBotን እና Googlebotን ጨምሮ ሌሎቹ ክሮውለሮች ሁሉ ወደ User-agent: * ይወድቃሉ፣ ሁሉንም ማንበብም ይችላሉ። የContent-Signal መስመሩ ለሚያነቡት ክሮውለሮች ተመሳሳዩን ሐሳብ ይደግማል፦ ፍለጋ እና በቅጽበት መልሶች አዎ፣ ስልጠና አይሆንም።

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

ከማተምዎ በፊት

የተለመዱ ስህተቶች

ተደጋግመው የሚጠየቁ ጥያቄዎች

GPTBotን ማገድ ድረ-ገጼን ከChatGPT ያስወግዳል?

አያስወግድም። GPTBot የስልጠና መረጃ ይሰበስባል። ChatGPT ፍለጋ OAI-SearchBotን ይጠቀማል፣ ChatGPT-User ደግሞ ሰዎች የሚጠይቋቸውን ገጾች ይከፍታል። መጠቀስ ከፈለጉ እነዚያን ተፈቅደው ይተዉ።

Content-Signal ምንድን ነው?

ይዘትዎ እንዴት ሊውል እንደሚችል የሚገልጽ በrobots.txt ውስጥ ያለ መስመር፦ search፣ ai-input (በቅጽበት መልሶች) እና ai-train (ስልጠና)፣ እያንዳንዳቸው አዎ ወይም አይሆንም። ድጋፉ እንደ አቅራቢው ይለያያል፤ ክሮውለሮች የሚከተሉት ደንብ ለተወሰኑ ክሮውለሮች የተጻፉት ቡድኖች ሆነው ይቆያሉ።

Google-Extended በGoogle Search ላይ ተጽዕኖ ያደርጋል?

አያደርግም። Google ገጾችዎን ለAI ሞዴሎቹ መጠቀም ይችል እንደሆነ የሚቆጣጠር በrobots.txt ብቻ የሚሠራ token ነው፤ በGoogle Search ውስጥ ክሮውሊንግን ወይም ደረጃን አይቀይርም።

ምርጫዬ ወደ የትም ይላካል?

አይላክም። ጀነሬተሩ በአሳሽዎ ውስጥ ይሠራል፣ ፋይሉን ለመሞከር እስኪመርጡ ድረስ ወደ ሰርቨራችን ምንም አይላክም።

ተዛማጅ መሣሪያዎች እና መመሪያዎች