Ano ang llms.txt, at sulit bang idagdag ito?
Ang llms.txt ay isang iminumungkahing Markdown file sa /llms.txt na nagbibigay sa mga AI tool ng maikling buod ng site mo at listahan ng mga link sa pinakakapaki-pakinabang na mga pahina nito. Panukala ito ng komunidad, hindi standard, at hindi sinasabi ng malalaking AI search crawler na ginagamit nila ito. Mura itong idagdag, pero hindi nito pinapalitan ang HTML na nako-crawl.
Maraming atensyon ang nakukuha ng llms.txt, at madalas itong ipinapakilala bilang robots.txt ng AI. Iba ito: isinasaad ng robots.txt kung ano ang puwedeng kunin ng mga crawler, habang gabay sa pagbabasa ang llms.txt na nagtuturo sa mga AI tool sa content na sulit basahin. Narito ang sinasabi ng panukala, ang alam tungkol sa paggamit nito, at kung paano gumawa nito.
Sa pahinang ito
Saan nanggaling ang llms.txt?
Iminungkahi ni Jeremy Howard ang file na /llms.txt noong Setyembre 2024, at pinapanatili ang panukala sa llmstxt.org. Layunin nitong gawing standard ang iisang file na tumutulong sa mga language model at agent na gamitin ang isang website sa oras ng inference, halimbawa kapag kailangan ng coding assistant ang dokumentasyon ng isang library, sa halip na para sa training.
Tumutugon ang ideya sa isang totoong problema. May navigation, script, banner at layout ang mga web page. Mas madaling gamitin ng isang model sa loob ng limitadong context window ang maikli at piniling Markdown file na may mga link sa malinis na bersyon ng mga pangunahing pahina.
Ano ang laman ng isang llms.txt file?
Markdown ang file na may nakatakdang pagkakasunod-sunod. Ang unang elemento lang ang kailangan:
- Isang H1 na may pangalan ng site o proyekto (kailangan).
- Isang blockquote na may maikling buod kung ano ang site.
- Mga opsyonal na talata o listahan na may mas maraming detalye, walang heading.
- Mga seksyong H2, bawat isa may listahan ng mga Markdown link sa anyong
[name](url), na opsyonal na sinusundan ng tutuldok at isang tala. - Isang opsyonal na seksyong may pangalang
Optionalpara sa mga pangalawang link na puwedeng laktawan ng isang tool kapag mas kaunting context ang kailangan nito.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Iminumungkahi rin ng panukala na mag-alok ng mga Markdown na bersyon ng mga pahina sa parehong URL na may idinagdag na .md, halimbawa page.html.md, para makakuha ang mga tool ng malinis na text.
Sino talaga ang nagbabasa ng llms.txt ngayon?
Dito sulit ang pag-iingat. Sinasabi ng site ng llmstxt.org na pinakamadalas gamitin ang mga file para sa dokumentasyon ng software, kung saan sinusundan sila ng mga coding agent. Hindi inililista ng OpenAI, Anthropic, Google at Perplexity ang llms.txt sa mga signal na ginagamit ng mga search crawler nila sa dokumentasyon ng crawler na sinuri namin.
Mas malayo pa ang Google para sa sarili nitong mga Search feature. Sinasabi ng gabay nito sa AI Overviews at AI Mode na hindi mo kailangang gumawa ng mga bagong machine-readable file, AI text file o markup para lumabas doon. Para sa Google Search, walang nakasaad na papel ang llms.txt.
Kaya ang tapat na sagot: maaaring basahin ito ng ilang AI tool, karamihan ay mga coding assistant at agent na itinuturo sa isang site. Ang mga crawler na nagpapasya kung sisipiin ng AI search ang pahina mo ay gumagana mula sa HTML mo.
Makikita mo mismo kung may nagbabasa ng file mo. Hanapin sa mga log ng server o CDN mo ang mga request sa /llms.txt at tingnan ang mga user agent. Kung walang request na lumalabas sa loob ng ilang linggo, mas marami itong sinasabi tungkol sa halaga nito para sa site mo kaysa sa anumang pangkalahatang pahayag.
Dapat ko pa rin bang magdagdag nito?
Para sa karamihan ng site, mura itong dagdag na hindi tiyak ang pakinabang. Ilang minuto lang ito, hindi nito masisira ang visibility mo sa search at maaari itong makatulong sa mga agent na naghahanap nito. Pinakakapaki-pakinabang ito para sa dokumentasyon, mga developer tool at mga produktong maraming reference material.
Ang hindi nito kaya ay ayusin ang mga problema sa access. Kung bina-block ng firewall ang mga AI crawler, dini-disallow sila ng robots.txt mo o lumalabas lang ang content mo pagkatapos tumakbo ang JavaScript, walang binabago ang llms.txt. Ayusin muna ang mga iyon.
Paano ako gagawa ng mahusay na llms.txt?
- Ilagay ito sa
https://yourdomain.com/llms.txtat ipadala bilang plain text na may status 200, hindi bilang HTML page. - Isulat ang buod gaya ng pagpapaliwanag mo sa site sa isang bagong kasamahan sa dalawang pangungusap: ano ito, para kanino ito.
- Ilista ang mga pahinang sumasagot sa totoong mga tanong: produkto, presyo, dokumentasyon, mga patakaran. Laktawan ang mga tag page at archive.
- Gumamit ng mga absolute URL at panatilihing sapat na maikli ang listahan para manatiling kapaki-pakinabang; sapat na ang ilang dosenang link para sa karamihan ng site.
- Panatilihin itong napapanahon. Mas masama pa ang file na nagli-link sa mga inalis na pahina kaysa sa walang file.
- Huwag itong gamitin para magsaad ng mga pahintulot. Sa robots.txt nabibilang ang mga rule sa access.
Paano tinatrato ng AISeeWhy ang llms.txt?
Sinusuri ng AISeeWhy kung may llms.txt ang site mo at kung nakalista roon ang na-audit na pahina. Dahil bihira itong basahin ng mga AI crawler ngayon, P3 na natuklasan ang kawalan ng file, ang pinakamababang priyoridad, at may kasamang draft ang ulat na binuo mula sa pamagat, description at sitemap ng pahina mo na puwede mong i-edit at ilathala.
Mga ayos para sa problemang ito
- Hindi mabasa ang isang discovery file para sa mga agent
- Sira ang Markdown na bersyon para sa mga agent
- Markdown na sagot na walang Vary: Accept
- Walang Markdown na bersyon para sa mga AI agent
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- llms.txt checker at validator
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Opisyal na standard ba ang llms.txt?
Hindi. Panukala ito ng komunidad na inilathala sa llmstxt.org. Hindi ito standard ng IETF o W3C, at walang AI vendor na obligadong basahin ito.
Bina-block ba ng llms.txt ang AI training?
Hindi. Listahan ito ng mga link, hindi hanay ng mga pahintulot. Para mag-opt out sa training, gamitin ang mga training token sa robots.txt, gaya ng GPTBot, ClaudeBot o Google-Extended.
Kailangan ko ba ng llms.txt para lumabas sa Google AI Overviews?
Hindi. Sinasabi ng Google na hindi mo kailangan ng AI text file o espesyal na markup para lumabas sa AI Overviews o AI Mode. Dapat naka-index ang pahina at kwalipikadong magpakita ng snippet.
Puwede bang nasa subfolder ang llms.txt?
Pinapayagan ng kasalukuyang bersyon ng panukala ang file sa isang subpath, gaya ng /docs/llms.txt, na sumasaklaw sa mga pahina sa ilalim ng path na iyon. Isang file lang sa root ang kailangan ng karamihan ng site.
Mga pinagmulan
- llmstxt.org: The /llms.txt file
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers