Çfarë është llms.txt dhe a ia vlen ta shtoni?
llms.txt është një skedar Markdown i propozuar në /llms.txt që u jep mjeteve AI një përmbledhje të shkurtër të sajtit tuaj dhe një listë lidhjesh te faqet e tij më të dobishme. Është propozim i komunitetit, jo standard, dhe zvarritësit kryesorë të kërkimit AI nuk thonë se e përdorin. Shtohet me kosto të ulët, por nuk e zëvendëson HTML-në që mund të zvarritet.
llms.txt merr shumë vëmendje dhe shpesh paraqitet si robots.txt-ja e AI-së. Është diçka tjetër: robots.txt deklaron çfarë mund të marrin zvarritësit, ndërsa llms.txt është një udhërrëfyes leximi që i drejton mjetet AI te përmbajtja që ia vlen të lexohet. Ja çfarë thotë propozimi, çfarë dihet për përdorimin e tij dhe si ta shkruani.
Në këtë faqe
Nga vjen llms.txt?
Jeremy Howard e propozoi skedarin /llms.txt në shtator 2024, dhe propozimi mirëmbahet në llmstxt.org. Qëllimi i tij është të standardizojë një skedar që i ndihmon modelet gjuhësore dhe agjentët ta përdorin një sajt në kohën e inferencës, për shembull kur një asistent kodimi ka nevojë për dokumentacionin e një biblioteke, dhe jo për trajnim.
Ideja i përgjigjet një problemi real. Faqet e uebit mbartin navigim, skripte, banera dhe paraqitje. Një skedar Markdown i shkurtër dhe i përzgjedhur, me lidhje te versione të pastra të faqeve kryesore, është më i lehtë për një model brenda një dritareje konteksti të kufizuar.
Çfarë përmban një skedar llms.txt?
Skedari është Markdown me një renditje të fiksuar. Vetëm elementi i parë është i detyrueshëm:
- Një H1 me emrin e sajtit ose të projektit (i detyrueshëm).
- Një bllok citimi me një përmbledhje të shkurtër të asaj që është sajti.
- Paragrafë ose lista opsionale me më shumë detaje, pa tituj.
- Seksione H2, secili me një listë lidhjesh Markdown në formën
[name](url), sipas dëshirës të ndjekura nga dy pika dhe një shënim. - Një seksion opsional me emrin
Optionalpër lidhje dytësore që një mjet mund t'i kapërcejë kur i duhet më pak kontekst.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Propozimi sugjeron gjithashtu të ofrohen versione Markdown të faqeve në të njëjtën URL me .md të shtuar, për shembull page.html.md, që mjetet të marrin tekst të pastër.
Kush e lexon realisht llms.txt sot?
Këtu ia vlen të jeni të kujdesshëm. Sajti llmstxt.org thotë se skedarët përdoren më shumë për dokumentacionin e softuerit, ku i ndjekin agjentët e kodimit. OpenAI, Anthropic, Google dhe Perplexity nuk e rendisin llms.txt ndër sinjalet që përdorin zvarritësit e tyre të kërkimit në dokumentacionin e zvarritësve që shqyrtuam.
Google shkon edhe më tej për funksionet e veta të Search. Udhëzimet e tij për AI Overviews dhe AI Mode thonë se nuk keni nevojë të krijoni skedarë të rinj të lexueshëm nga makina, skedarë teksti për AI ose markup për t'u shfaqur në to. Për Google Search, llms.txt nuk ka rol të deklaruar.
Pra, përgjigjja e ndershme është: disa mjete AI, kryesisht asistentë kodimi dhe agjentë që drejtohen te një sajt, mund ta lexojnë. Zvarritësit që vendosin nëse kërkimi me AI e citon faqen tuaj punojnë nga HTML-ja juaj.
Mund ta shihni vetë nëse diçka e lexon skedarin tuaj. Kërkoni në log-et e serverit ose të CDN-së kërkesa për /llms.txt dhe shikoni user agent-ët. Nëse nuk shfaqet asnjë kërkesë për disa javë, kjo ju tregon më shumë për vlerën e tij për sajtin tuaj se çdo pretendim i përgjithshëm.
A duhet ta shtoj gjithsesi?
Për shumicën e sajteve është një shtesë me kosto të ulët dhe siguri të ulët. Merr pak minuta, nuk mund ta dëmtojë dukshmërinë tuaj në kërkim dhe mund të ndihmojë agjentët që e kërkojnë. Është më i dobishëm për dokumentacionin, mjetet për zhvilluesit dhe produktet me shumë material referues.
Ajo që nuk mund të bëjë është të rregullojë problemet e qasjes. Nëse një firewall i bllokon zvarritësit AI, robots.txt juaj i ndalon ose përmbajtja juaj shfaqet vetëm pasi ekzekutohet JavaScript, llms.txt nuk ndryshon asgjë. Rregulloni së pari ato.
Si të shkruaj një llms.txt të mirë?
- Vendoseni në
https://yourdomain.com/llms.txtdhe shërbejeni si tekst të thjeshtë me status 200, jo si faqe HTML. - Shkruajeni përmbledhjen ashtu si do t'ia shpjegonit sajtin një kolegu të ri me dy fjali: çfarë është dhe për kë është.
- Renditni faqet që u përgjigjen pyetjeve reale: produkti, çmimet, dokumentacioni, politikat. Kapërceni faqet e etiketave dhe arkivat.
- Përdorni URL absolute dhe mbajeni listën mjaft të shkurtër që të mbetet e dobishme; disa dhjetëra lidhje mjaftojnë për shumicën e sajteve.
- Mbajeni të përditësuar. Një skedar që lidhet me faqe të hequra është më keq se asnjë.
- Mos e përdorni për të deklaruar leje. Rregullat e qasjes i përkasin robots.txt.
Si e trajton AISeeWhy llms.txt?
AISeeWhy kontrollon nëse sajti juaj ka një llms.txt dhe nëse faqja e audituar është e renditur në të. Meqë zvarritësit AI rrallë e lexojnë sot, një skedar që mungon është gjetje P3, prioriteti më i ulët, dhe raporti përfshin një draft të ndërtuar nga titulli, përshkrimi dhe sitemap-i i faqes suaj, që mund ta redaktoni dhe ta publikoni.
Rregullime për këtë problem
- Një skedar zbulimi për agjentët nuk mund të lexohet
- Versioni Markdown për agjentët është i prishur
- Përgjigje Markdown pa Vary: Accept
- Nuk ka version Markdown për agjentët AI
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Kontrolluesi dhe validuesi i llms.txt
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Pyetje të shpeshta
A është llms.txt standard zyrtar?
Jo. Është propozim i komunitetit i publikuar në llmstxt.org. Nuk është standard IETF apo W3C, dhe asnjë ofrues AI nuk është i detyruar ta lexojë.
A e bllokon llms.txt trajnimin e AI?
Jo. Është një listë lidhjesh, jo një grup lejesh. Për të refuzuar trajnimin, përdorni token-ët e trajnimit në robots.txt, si GPTBot, ClaudeBot ose Google-Extended.
A më duhet llms.txt për t'u shfaqur në Google AI Overviews?
Jo. Google thotë se nuk ju duhen skedarë teksti për AI ose markup i veçantë për t'u shfaqur në AI Overviews ose AI Mode. Faqja duhet të jetë e indeksuar dhe e përshtatshme për të shfaqur një snippet.
A mund të ndodhet llms.txt në një nëndosje?
Versioni aktual i propozimit lejon një skedar në një nënshteg, si /docs/llms.txt, që mbulon faqet nën atë shteg. Shumicës së sajteve u mjafton një skedar në rrënjë.
Burimet
- llmstxt.org: Skedari /llms.txt
- Google Search Central: Funksionet AI dhe sajti juaj
- OpenAI: Përmbledhje e zvarritësve të OpenAI