Çfarë është llms.txt dhe a ia vlen ta shtoni?

Publikuar

Përgjigje e shkurtër

llms.txt është një skedar Markdown i propozuar në /llms.txt që u jep mjeteve AI një përmbledhje të shkurtër të sajtit tuaj dhe një listë lidhjesh te faqet e tij më të dobishme. Është propozim i komunitetit, jo standard, dhe zvarritësit kryesorë të kërkimit AI nuk thonë se e përdorin. Shtohet me kosto të ulët, por nuk e zëvendëson HTML-në që mund të zvarritet.

llms.txt merr shumë vëmendje dhe shpesh paraqitet si robots.txt-ja e AI-së. Është diçka tjetër: robots.txt deklaron çfarë mund të marrin zvarritësit, ndërsa llms.txt është një udhërrëfyes leximi që i drejton mjetet AI te përmbajtja që ia vlen të lexohet. Ja çfarë thotë propozimi, çfarë dihet për përdorimin e tij dhe si ta shkruani.

Në këtë faqe
  1. Nga vjen llms.txt?
  2. Çfarë përmban një skedar llms.txt?
  3. Kush e lexon realisht llms.txt sot?
  4. A duhet ta shtoj gjithsesi?
  5. Si të shkruaj një llms.txt të mirë?
  6. Si e trajton AISeeWhy llms.txt?

Nga vjen llms.txt?

Jeremy Howard e propozoi skedarin /llms.txt në shtator 2024, dhe propozimi mirëmbahet në llmstxt.org. Qëllimi i tij është të standardizojë një skedar që i ndihmon modelet gjuhësore dhe agjentët ta përdorin një sajt në kohën e inferencës, për shembull kur një asistent kodimi ka nevojë për dokumentacionin e një biblioteke, dhe jo për trajnim.

Ideja i përgjigjet një problemi real. Faqet e uebit mbartin navigim, skripte, banera dhe paraqitje. Një skedar Markdown i shkurtër dhe i përzgjedhur, me lidhje te versione të pastra të faqeve kryesore, është më i lehtë për një model brenda një dritareje konteksti të kufizuar.

Çfarë përmban një skedar llms.txt?

Skedari është Markdown me një renditje të fiksuar. Vetëm elementi i parë është i detyrueshëm:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Propozimi sugjeron gjithashtu të ofrohen versione Markdown të faqeve në të njëjtën URL me .md të shtuar, për shembull page.html.md, që mjetet të marrin tekst të pastër.

Kush e lexon realisht llms.txt sot?

Këtu ia vlen të jeni të kujdesshëm. Sajti llmstxt.org thotë se skedarët përdoren më shumë për dokumentacionin e softuerit, ku i ndjekin agjentët e kodimit. OpenAI, Anthropic, Google dhe Perplexity nuk e rendisin llms.txt ndër sinjalet që përdorin zvarritësit e tyre të kërkimit në dokumentacionin e zvarritësve që shqyrtuam.

Google shkon edhe më tej për funksionet e veta të Search. Udhëzimet e tij për AI Overviews dhe AI Mode thonë se nuk keni nevojë të krijoni skedarë të rinj të lexueshëm nga makina, skedarë teksti për AI ose markup për t'u shfaqur në to. Për Google Search, llms.txt nuk ka rol të deklaruar.

Pra, përgjigjja e ndershme është: disa mjete AI, kryesisht asistentë kodimi dhe agjentë që drejtohen te një sajt, mund ta lexojnë. Zvarritësit që vendosin nëse kërkimi me AI e citon faqen tuaj punojnë nga HTML-ja juaj.

Mund ta shihni vetë nëse diçka e lexon skedarin tuaj. Kërkoni në log-et e serverit ose të CDN-së kërkesa për /llms.txt dhe shikoni user agent-ët. Nëse nuk shfaqet asnjë kërkesë për disa javë, kjo ju tregon më shumë për vlerën e tij për sajtin tuaj se çdo pretendim i përgjithshëm.

A duhet ta shtoj gjithsesi?

Për shumicën e sajteve është një shtesë me kosto të ulët dhe siguri të ulët. Merr pak minuta, nuk mund ta dëmtojë dukshmërinë tuaj në kërkim dhe mund të ndihmojë agjentët që e kërkojnë. Është më i dobishëm për dokumentacionin, mjetet për zhvilluesit dhe produktet me shumë material referues.

Ajo që nuk mund të bëjë është të rregullojë problemet e qasjes. Nëse një firewall i bllokon zvarritësit AI, robots.txt juaj i ndalon ose përmbajtja juaj shfaqet vetëm pasi ekzekutohet JavaScript, llms.txt nuk ndryshon asgjë. Rregulloni së pari ato.

Si të shkruaj një llms.txt të mirë?

Si e trajton AISeeWhy llms.txt?

AISeeWhy kontrollon nëse sajti juaj ka një llms.txt dhe nëse faqja e audituar është e renditur në të. Meqë zvarritësit AI rrallë e lexojnë sot, një skedar që mungon është gjetje P3, prioriteti më i ulët, dhe raporti përfshin një draft të ndërtuar nga titulli, përshkrimi dhe sitemap-i i faqes suaj, që mund ta redaktoni dhe ta publikoni.

Rregullime për këtë problem

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

A është llms.txt standard zyrtar?

Jo. Është propozim i komunitetit i publikuar në llmstxt.org. Nuk është standard IETF apo W3C, dhe asnjë ofrues AI nuk është i detyruar ta lexojë.

A e bllokon llms.txt trajnimin e AI?

Jo. Është një listë lidhjesh, jo një grup lejesh. Për të refuzuar trajnimin, përdorni token-ët e trajnimit në robots.txt, si GPTBot, ClaudeBot ose Google-Extended.

A më duhet llms.txt për t'u shfaqur në Google AI Overviews?

Jo. Google thotë se nuk ju duhen skedarë teksti për AI ose markup i veçantë për t'u shfaqur në AI Overviews ose AI Mode. Faqja duhet të jetë e indeksuar dhe e përshtatshme për të shfaqur një snippet.

A mund të ndodhet llms.txt në një nëndosje?

Versioni aktual i propozimit lejon një skedar në një nënshteg, si /docs/llms.txt, që mbulon faqet nën atë shteg. Shumicës së sajteve u mjafton një skedar në rrënjë.

Burimet

Më shumë artikuj