Ano ang llms.txt, at sulit bang idagdag ito?

Inilathala

Maikling sagot

Ang llms.txt ay isang iminumungkahing Markdown file sa /llms.txt na nagbibigay sa mga AI tool ng maikling buod ng site mo at listahan ng mga link sa pinakakapaki-pakinabang na mga pahina nito. Panukala ito ng komunidad, hindi standard, at hindi sinasabi ng malalaking AI search crawler na ginagamit nila ito. Mura itong idagdag, pero hindi nito pinapalitan ang HTML na nako-crawl.

Maraming atensyon ang nakukuha ng llms.txt, at madalas itong ipinapakilala bilang robots.txt ng AI. Iba ito: isinasaad ng robots.txt kung ano ang puwedeng kunin ng mga crawler, habang gabay sa pagbabasa ang llms.txt na nagtuturo sa mga AI tool sa content na sulit basahin. Narito ang sinasabi ng panukala, ang alam tungkol sa paggamit nito, at kung paano gumawa nito.

Sa pahinang ito
  1. Saan nanggaling ang llms.txt?
  2. Ano ang laman ng isang llms.txt file?
  3. Sino talaga ang nagbabasa ng llms.txt ngayon?
  4. Dapat ko pa rin bang magdagdag nito?
  5. Paano ako gagawa ng mahusay na llms.txt?
  6. Paano tinatrato ng AISeeWhy ang llms.txt?

Saan nanggaling ang llms.txt?

Iminungkahi ni Jeremy Howard ang file na /llms.txt noong Setyembre 2024, at pinapanatili ang panukala sa llmstxt.org. Layunin nitong gawing standard ang iisang file na tumutulong sa mga language model at agent na gamitin ang isang website sa oras ng inference, halimbawa kapag kailangan ng coding assistant ang dokumentasyon ng isang library, sa halip na para sa training.

Tumutugon ang ideya sa isang totoong problema. May navigation, script, banner at layout ang mga web page. Mas madaling gamitin ng isang model sa loob ng limitadong context window ang maikli at piniling Markdown file na may mga link sa malinis na bersyon ng mga pangunahing pahina.

Ano ang laman ng isang llms.txt file?

Markdown ang file na may nakatakdang pagkakasunod-sunod. Ang unang elemento lang ang kailangan:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Iminumungkahi rin ng panukala na mag-alok ng mga Markdown na bersyon ng mga pahina sa parehong URL na may idinagdag na .md, halimbawa page.html.md, para makakuha ang mga tool ng malinis na text.

Sino talaga ang nagbabasa ng llms.txt ngayon?

Dito sulit ang pag-iingat. Sinasabi ng site ng llmstxt.org na pinakamadalas gamitin ang mga file para sa dokumentasyon ng software, kung saan sinusundan sila ng mga coding agent. Hindi inililista ng OpenAI, Anthropic, Google at Perplexity ang llms.txt sa mga signal na ginagamit ng mga search crawler nila sa dokumentasyon ng crawler na sinuri namin.

Mas malayo pa ang Google para sa sarili nitong mga Search feature. Sinasabi ng gabay nito sa AI Overviews at AI Mode na hindi mo kailangang gumawa ng mga bagong machine-readable file, AI text file o markup para lumabas doon. Para sa Google Search, walang nakasaad na papel ang llms.txt.

Kaya ang tapat na sagot: maaaring basahin ito ng ilang AI tool, karamihan ay mga coding assistant at agent na itinuturo sa isang site. Ang mga crawler na nagpapasya kung sisipiin ng AI search ang pahina mo ay gumagana mula sa HTML mo.

Makikita mo mismo kung may nagbabasa ng file mo. Hanapin sa mga log ng server o CDN mo ang mga request sa /llms.txt at tingnan ang mga user agent. Kung walang request na lumalabas sa loob ng ilang linggo, mas marami itong sinasabi tungkol sa halaga nito para sa site mo kaysa sa anumang pangkalahatang pahayag.

Dapat ko pa rin bang magdagdag nito?

Para sa karamihan ng site, mura itong dagdag na hindi tiyak ang pakinabang. Ilang minuto lang ito, hindi nito masisira ang visibility mo sa search at maaari itong makatulong sa mga agent na naghahanap nito. Pinakakapaki-pakinabang ito para sa dokumentasyon, mga developer tool at mga produktong maraming reference material.

Ang hindi nito kaya ay ayusin ang mga problema sa access. Kung bina-block ng firewall ang mga AI crawler, dini-disallow sila ng robots.txt mo o lumalabas lang ang content mo pagkatapos tumakbo ang JavaScript, walang binabago ang llms.txt. Ayusin muna ang mga iyon.

Paano ako gagawa ng mahusay na llms.txt?

Paano tinatrato ng AISeeWhy ang llms.txt?

Sinusuri ng AISeeWhy kung may llms.txt ang site mo at kung nakalista roon ang na-audit na pahina. Dahil bihira itong basahin ng mga AI crawler ngayon, P3 na natuklasan ang kawalan ng file, ang pinakamababang priyoridad, at may kasamang draft ang ulat na binuo mula sa pamagat, description at sitemap ng pahina mo na puwede mong i-edit at ilathala.

Mga ayos para sa problemang ito

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga madalas itanong

Opisyal na standard ba ang llms.txt?

Hindi. Panukala ito ng komunidad na inilathala sa llmstxt.org. Hindi ito standard ng IETF o W3C, at walang AI vendor na obligadong basahin ito.

Bina-block ba ng llms.txt ang AI training?

Hindi. Listahan ito ng mga link, hindi hanay ng mga pahintulot. Para mag-opt out sa training, gamitin ang mga training token sa robots.txt, gaya ng GPTBot, ClaudeBot o Google-Extended.

Kailangan ko ba ng llms.txt para lumabas sa Google AI Overviews?

Hindi. Sinasabi ng Google na hindi mo kailangan ng AI text file o espesyal na markup para lumabas sa AI Overviews o AI Mode. Dapat naka-index ang pahina at kwalipikadong magpakita ng snippet.

Puwede bang nasa subfolder ang llms.txt?

Pinapayagan ng kasalukuyang bersyon ng panukala ang file sa isang subpath, gaya ng /docs/llms.txt, na sumasaklaw sa mga pahina sa ilalim ng path na iyon. Isang file lang sa root ang kailangan ng karamihan ng site.

Mga pinagmulan

Iba pang artikulo