llms.txt ምንድን ነው፣ መጨመሩስ ጠቃሚ ነው?
llms.txt በ/llms.txt ላይ የሚቀመጥ የታቀደ የMarkdown ፋይል ሲሆን ለAI መሣሪያዎች ስለ ድረ-ገጽዎ አጭር ማጠቃለያ እና በጣም ጠቃሚ ወደሆኑ ገጾቹ የሚወስዱ አገናኞችን ዝርዝር ይሰጣል። የማኅበረሰብ ሐሳብ እንጂ መደበኛ ደረጃ አይደለም፣ ዋና ዋናዎቹ የAI ፍለጋ ክሮውለሮችም እንደሚጠቀሙበት አይናገሩም። ለመጨመር ርካሽ ነው፣ ነገር ግን ክሮውል ሊደረግ የሚችል HTMLን አይተካም።
llms.txt ብዙ ትኩረት ያገኛል፣ ብዙ ጊዜም የAI robots.txt ተብሎ ይቀርባል። የተለየ ነገር ነው፦ robots.txt ክሮውለሮች ምን ማምጣት እንደሚችሉ ይገልጻል፣ llms.txt ደግሞ የAI መሣሪያዎችን ሊነበብ የሚገባው ይዘት ላይ የሚጠቁም የንባብ መመሪያ ነው። ሐሳቡ የሚለው፣ ስለ አጠቃቀሙ የሚታወቀው እና እንዴት እንደሚጻፍ እነሆ።
በዚህ ገጽ ላይ
llms.txt ከየት መጣ?
Jeremy Howard የ/llms.txt ፋይልን በመስከረም 2024 አቀረበ፣ ሐሳቡም በllmstxt.org ይጠበቃል። ዓላማው የቋንቋ ሞዴሎች እና ወኪሎች ድረ-ገጽን ለስልጠና ሳይሆን በinference ጊዜ እንዲጠቀሙ የሚያግዝ አንድ ፋይልን ደረጃውን ማስያዝ ነው፣ ለምሳሌ የኮድ ረዳት የአንድን library ሰነዶች ሲያስፈልገው።
ሐሳቡ ለእውነተኛ ችግር ምላሽ ይሰጣል። የድር ገጾች navigation፣ scripts፣ banners እና layout ይይዛሉ። ወደ ቁልፍ ገጾቹ ንጹህ ስሪቶች የሚወስዱ አገናኞች ያሉት አጭር፣ በጥንቃቄ የተመረጠ የMarkdown ፋይል ሞዴል በተወሰነ context window ውስጥ ለመሥራት ቀላል ነው።
በllms.txt ፋይል ውስጥ ምን ይገባል?
ፋይሉ ቋሚ ቅደም ተከተል ያለው Markdown ነው። የሚያስፈልገው የመጀመሪያው ክፍል ብቻ ነው፦
- የድረ-ገጹ ወይም የፕሮጀክቱ ስም ያለው H1 (ግዴታ)።
- ድረ-ገጹ ምን እንደሆነ አጭር ማጠቃለያ ያለው blockquote።
- ተጨማሪ ዝርዝር ያላቸው፣ ርዕስ የሌላቸው አማራጭ አንቀጾች ወይም ዝርዝሮች።
- የH2 ክፍሎች፣ እያንዳንዳቸው በ
[name](url)ቅርጽ የMarkdown አገናኞች ዝርዝር ያላቸው፣ ከፈለጉ ከኮሎን እና ከማስታወሻ ጋር። - መሣሪያ አነስተኛ context ሲያስፈልገው ሊዘላቸው ለሚችሉ ሁለተኛ ደረጃ አገናኞች
Optionalየተባለ አማራጭ ክፍል።
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) ሐሳቡ መሣሪያዎች ንጹህ ጽሑፍ እንዲያመጡ የገጾችን የMarkdown ስሪቶች በተመሳሳዩ URL ላይ .md ተጨምሮ እንዲቀርቡም ይጠቁማል፣ ለምሳሌ page.html.md።
ዛሬ llms.txtን በእርግጥ የሚያነበው ማን ነው?
ጥንቃቄ ማድረግ የሚያዋጣው እዚህ ላይ ነው። የllmstxt.org ድረ-ገጽ ፋይሎቹ በብዛት የሚውሉት ለሶፍትዌር ሰነዶች እንደሆነ ይናገራል፣ የኮድ ወኪሎች የሚከተሏቸውም እዚያ ነው። OpenAI፣ Anthropic፣ Google እና Perplexity በገመገምናቸው የክሮውለር ሰነዶች ውስጥ llms.txtን የፍለጋ ክሮውለሮቻቸው ከሚጠቀሙባቸው ምልክቶች መካከል አይዘረዝሩም።
Google ለራሱ የSearch ባህሪያት ከዚህም ያልፋል። ስለ AI Overviews እና AI Mode ያለው መመሪያው በእነሱ ውስጥ ለመታየት አዲስ በማሽን የሚነበቡ ፋይሎችን፣ የAI ጽሑፍ ፋይሎችን ወይም markup መፍጠር እንደማያስፈልግዎ ይናገራል። ለGoogle Search llms.txt የተገለጸ ሚና የለውም።
ስለዚህ ታማኙ መልስ ይህ ነው፦ አንዳንድ የAI መሣሪያዎች፣ በአብዛኛው የኮድ ረዳቶች እና ወደ ድረ-ገጹ የሚጠቆሙ ወኪሎች፣ ሊያነቡት ይችላሉ። የAI ፍለጋ ገጽዎን ይጠቅስ እንደሆነ የሚወስኑት ክሮውለሮች የሚሠሩት ከHTMLዎ ነው።
ፋይልዎን የሚያነብ ነገር ካለ ራስዎ ማየት ይችላሉ። በአገልጋይዎ ወይም በCDNዎ logs ውስጥ ወደ /llms.txt የሚቀርቡ ጥያቄዎችን ይፈልጉ እና user agentsቹን ይመልከቱ። በጥቂት ሳምንታት ውስጥ ምንም ጥያቄ ካልታየ፣ ይህ ለድረ-ገጽዎ ስላለው ዋጋ ከማንኛውም አጠቃላይ ማረጋገጫ የበለጠ ይነግርዎታል።
ለማንኛውም ልጨምር?
ለአብዛኞቹ ድረ-ገጾች አነስተኛ ወጪ እና አነስተኛ እርግጠኝነት ያለው ተጨማሪ ነው። ጥቂት ደቂቃዎችን ይወስዳል፣ በፍለጋ ውስጥ መታየትዎን ሊጎዳ አይችልም፣ የሚፈልጉትን ወኪሎችም ሊረዳ ይችላል። በጣም ጠቃሚ የሚሆነው ለሰነዶች፣ ለገንቢ መሣሪያዎች እና ብዙ የማጣቀሻ ይዘት ላላቸው ምርቶች ነው።
ማድረግ የማይችለው የመዳረሻ ችግሮችን ማስተካከል ነው። ፋየርዎል የAI ክሮውለሮችን ካገደ፣ robots.txtዎ ከከለከላቸው ወይም ይዘትዎ የሚታየው JavaScript ከተሠራ በኋላ ብቻ ከሆነ፣ llms.txt ምንም አይቀይርም። እነዚያን መጀመሪያ ያስተካክሉ።
ጥሩ llms.txt እንዴት እጽፋለሁ?
- በ
https://yourdomain.com/llms.txtላይ ያስቀምጡት እና እንደ HTML ገጽ ሳይሆን እንደ ተራ ጽሑፍ በሁኔታ 200 ያቅርቡት። - ማጠቃለያውን ድረ-ገጹን ለአዲስ የሥራ ባልደረባ በሁለት ዓረፍተ ነገሮች እንደሚያብራሩት ይጻፉት፦ ምን እንደሆነ፣ ለማን እንደሆነ።
- እውነተኛ ጥያቄዎችን የሚመልሱ ገጾችን ይዘርዝሩ፦ ምርት፣ ዋጋ፣ ሰነዶች፣ ፖሊሲዎች። የtag ገጾችን እና ማኅደሮችን ይዝለሉ።
- ፍጹም (absolute) URLsን ይጠቀሙ እና ዝርዝሩ ጠቃሚ ሆኖ እንዲቆይ አጭር ያድርጉት፤ ለአብዛኞቹ ድረ-ገጾች ጥቂት ደርዘን አገናኞች ይበቃሉ።
- ወቅታዊ ያድርጉት። ወደ ተወገዱ ገጾች የሚያገናኝ ፋይል ከሌለው የከፋ ነው።
- ፈቃዶችን ለመግለጽ አይጠቀሙበት። የመዳረሻ ደንቦች ቦታቸው robots.txt ውስጥ ነው።
AISeeWhy llms.txtን እንዴት ይመለከታል?
AISeeWhy ድረ-ገጽዎ llms.txt እንዳለው እና ኦዲት የተደረገው ገጽ በውስጡ መዘርዘሩን ይፈትሻል። የAI ክሮውለሮች ዛሬ እምብዛም ስለማያነቡት፣ የጎደለ ፋይል P3 ግኝት፣ ዝቅተኛው ቅድሚያ ነው፣ ሪፖርቱም ከገጽዎ ርዕስ፣ መግለጫ እና sitemap የተገነባ፣ አርትዕ አድርገው ሊያትሙት የሚችሉትን ረቂቅ ያካትታል።
ለዚህ ችግር ማስተካከያዎች
- የወኪሎች discovery ፋይል ሊነበብ አይችልም
- ለወኪሎች የቀረበው የMarkdown ስሪት ተበላሽቷል
- ያለVary: Accept የተሰጠ የMarkdown መልስ
- ለAI ወኪሎች የMarkdown ስሪት የለም
ቀጣይ እርምጃዎች
- robots.txt tester እና ፈታሽ ለAI ክሮውለሮች
- የllms.txt ፈታሽ እና አረጋጋጭ
- የሙሉ ሪፖርት ምሳሌ ይመልከቱ
- የAI ክሮውለር ክትትል
- እቅዶች እና ዋጋዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ተደጋግመው የሚጠየቁ ጥያቄዎች
llms.txt ኦፊሴላዊ መደበኛ ደረጃ ነው?
አይደለም። በllmstxt.org የታተመ የማኅበረሰብ ሐሳብ ነው። የIETF ወይም የW3C መደበኛ ደረጃ አይደለም፣ ማንኛውም የAI አቅራቢም ሊያነበው አይገደድም።
llms.txt የAI ስልጠናን ያግዳል?
አያግድም። የአገናኞች ዝርዝር እንጂ የፈቃዶች ስብስብ አይደለም። ከስልጠና ለመውጣት በrobots.txt ውስጥ እንደ GPTBot፣ ClaudeBot ወይም Google-Extended ያሉትን የስልጠና tokens ይጠቀሙ።
በGoogle AI Overviews ውስጥ ለመታየት llms.txt ያስፈልገኛል?
አያስፈልግዎትም። Google በAI Overviews ወይም AI Mode ውስጥ ለመታየት የAI ጽሑፍ ፋይሎች ወይም ልዩ markup እንደማያስፈልጉ ይናገራል። ገጹ index የተደረገ እና snippet ለማሳየት ብቁ መሆን አለበት።
llms.txt በንዑስ አቃፊ ውስጥ ሊሆን ይችላል?
የአሁኑ የሐሳቡ ስሪት በንዑስ path ላይ፣ ለምሳሌ /docs/llms.txt፣ በዚያ path ስር ያሉትን ገጾች የሚሸፍን ፋይል ይፈቅዳል። አብዛኞቹ ድረ-ገጾች የሚያስፈልጋቸው በroot ላይ ያለ አንድ ፋይል ብቻ ነው።
ምንጮች
- llmstxt.org: የ/llms.txt ፋይል
- Google Search Central: የAI ባህሪያት እና ድረ-ገጽዎ
- OpenAI: የOpenAI ክሮውለሮች አጠቃላይ እይታ