llms.txt ni nini, na je, inafaa kuiongeza?

Imechapishwa

Jibu fupi

llms.txt ni faili la Markdown lililopendekezwa kwenye /llms.txt linalozipa zana za AI muhtasari mfupi wa tovuti yako na orodha ya viungo vya kurasa zake zenye manufaa zaidi. Ni pendekezo la jumuiya, si kiwango, na crawler kuu za utafutaji wa AI hazisemi kwamba zinaitumia. Ni rahisi kuiongeza, lakini haichukui nafasi ya HTML inayoweza kupitiwa na crawler.

llms.txt inapata umakini mwingi, mara nyingi ikielezwa kama robots.txt ya AI. Ni kitu tofauti: robots.txt inaeleza kile crawler zinaweza kupakua, huku llms.txt ikiwa mwongozo wa kusoma unaoelekeza zana za AI kwenye maudhui yanayofaa kusomwa. Haya ndiyo pendekezo linasema, kinachojulikana kuhusu matumizi yake, na jinsi ya kuiandika.

Kwenye ukurasa huu
  1. llms.txt inatoka wapi?
  2. Faili la llms.txt lina nini?
  3. Nani kweli anasoma llms.txt leo?
  4. Je, niiongeze hata hivyo?
  5. Ninaandikaje llms.txt nzuri?
  6. AISeeWhy huichukuliaje llms.txt?

llms.txt inatoka wapi?

Jeremy Howard alipendekeza faili la /llms.txt mnamo Septemba 2024, na pendekezo hilo linatunzwa kwenye llmstxt.org. Lengo lake ni kusanifisha faili moja linalosaidia miundo ya lugha na mawakala kutumia tovuti wakati wa inference, kwa mfano msaidizi wa uandishi wa msimbo anapohitaji nyaraka za maktaba, badala ya kwa mafunzo.

Wazo hili linajibu tatizo halisi. Kurasa za wavuti zina menyu, skripti, mabango na mpangilio. Faili fupi la Markdown lililochaguliwa kwa makini lenye viungo vya matoleo safi ya kurasa muhimu ni rahisi zaidi kwa muundo kufanya nalo kazi ndani ya dirisha dogo la muktadha.

Faili la llms.txt lina nini?

Faili ni Markdown yenye mpangilio maalum. Ni kipengele cha kwanza pekee kinachohitajika:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Pendekezo pia linashauri kutoa matoleo ya Markdown ya kurasa kwenye URL ileile ikiongezwa .md, kwa mfano page.html.md, ili zana ziweze kupakua maandishi safi.

Nani kweli anasoma llms.txt leo?

Hapa ndipo inapolipa kuwa makini. Tovuti ya llmstxt.org inasema faili hizi hutumika zaidi kwa nyaraka za programu, ambapo mawakala wa uandishi wa msimbo huzifuata. OpenAI, Anthropic, Google na Perplexity haziorodheshi llms.txt miongoni mwa ishara ambazo crawler zao za utafutaji hutumia katika nyaraka za crawler tulizopitia.

Google inaenda mbali zaidi kwa vipengele vyake vya Search. Mwongozo wake kuhusu AI Overviews na AI Mode unasema huhitaji kuunda faili mpya zinazosomeka na mashine, faili za maandishi za AI wala markup ili kuonekana humo. Kwa Google Search, llms.txt haina jukumu lililotajwa.

Kwa hivyo jibu la kweli ni: baadhi ya zana za AI, hasa wasaidizi wa uandishi wa msimbo na mawakala wanaoelekezwa kwenye tovuti, huenda wakaisoma. Crawler zinazoamua kama utafutaji wa AI unanukuu ukurasa wako hufanya kazi kutoka kwenye HTML yako.

Unaweza kujionea mwenyewe kama kuna kitu kinachosoma faili lako. Tafuta kwenye kumbukumbu za seva au CDN yako maombi ya /llms.txt na uangalie user agent. Kama hakuna maombi yanayoonekana kwa wiki chache, hilo linakueleza zaidi kuhusu thamani yake kwa tovuti yako kuliko dai lolote la jumla.

Je, niiongeze hata hivyo?

Kwa tovuti nyingi ni nyongeza ya gharama ndogo na uhakika mdogo. Inachukua dakika chache, haiwezi kuharibu kuonekana kwako katika utafutaji na inaweza kusaidia mawakala wanaoitafuta. Ina manufaa zaidi kwa nyaraka, zana za wasanidi programu na bidhaa zenye maudhui mengi ya marejeleo.

Kile isichoweza kufanya ni kurekebisha matatizo ya ufikiaji. Kama firewall inazuia crawler za AI, robots.txt yako inazizuia au maudhui yako yanaonekana tu baada ya JavaScript kuendeshwa, llms.txt haibadilishi chochote. Rekebisha hayo kwanza.

Ninaandikaje llms.txt nzuri?

AISeeWhy huichukuliaje llms.txt?

AISeeWhy hukagua kama tovuti yako ina llms.txt na kama ukurasa uliokaguliwa umeorodheshwa ndani yake. Kwa kuwa crawler za AI mara chache huisoma leo, faili linalokosekana ni dosari ya P3, kipaumbele cha chini zaidi, na ripoti inajumuisha rasimu iliyojengwa kutoka kwenye kichwa, maelezo na sitemap ya ukurasa wako ambayo unaweza kuihariri na kuichapisha.

Marekebisho ya tatizo hili

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Maswali yanayoulizwa mara kwa mara

Je, llms.txt ni kiwango rasmi?

Hapana. Ni pendekezo la jumuiya lililochapishwa kwenye llmstxt.org. Si kiwango cha IETF wala W3C, na hakuna mtoa huduma wa AI anayelazimika kuisoma.

Je, llms.txt inazuia mafunzo ya AI?

Hapana. Ni orodha ya viungo, si seti ya ruhusa. Ili kujiondoa kwenye mafunzo, tumia tokeni za mafunzo kwenye robots.txt, kama GPTBot, ClaudeBot au Google-Extended.

Je, ninahitaji llms.txt ili kuonekana katika Google AI Overviews?

Hapana. Google inasema huhitaji faili za maandishi za AI wala markup maalum ili kuonekana katika AI Overviews au AI Mode. Ukurasa lazima uwe umeorodheshwa na uwe na sifa ya kuonyesha snippet.

Je, llms.txt inaweza kuwa kwenye folda ndogo?

Toleo la sasa la pendekezo linaruhusu faili kwenye njia ndogo, kama /docs/llms.txt, linalohusu kurasa zilizo chini ya njia hiyo. Tovuti nyingi zinahitaji faili moja tu kwenye mzizi.

Vyanzo

Makala zaidi