Ce este llms.txt și merită să-l adaugi?

Publicat

Răspuns scurt

llms.txt este un fișier Markdown propus la /llms.txt, care oferă instrumentelor AI un rezumat scurt al site-ului tău și o listă de linkuri către cele mai utile pagini. Este o propunere a comunității, nu un standard, iar principalele crawlere de căutare AI nu spun că îl folosesc. Este ieftin de adăugat, dar nu înlocuiește un HTML ușor de parcurs.

llms.txt primește multă atenție, adesea prezentat ca robots.txt-ul AI. Este altceva: robots.txt spune ce au voie să preia crawlerele, în timp ce llms.txt este un ghid de lectură care indică instrumentelor AI conținutul care merită citit. Iată ce spune propunerea, ce se știe despre utilizarea lui și cum se scrie unul.

Pe această pagină
  1. De unde vine llms.txt?
  2. Ce intră într-un fișier llms.txt?
  3. Cine citește de fapt llms.txt astăzi?
  4. Ar trebui să adaug unul oricum?
  5. Cum scriu un llms.txt bun?
  6. Cum tratează AISeeWhy llms.txt?

De unde vine llms.txt?

Jeremy Howard a propus fișierul /llms.txt în septembrie 2024, iar propunerea este întreținută la llmstxt.org. Scopul ei este să standardizeze un fișier care îi ajută pe modelele de limbaj și pe agenți să folosească un site în momentul inferenței, de exemplu când un asistent de programare are nevoie de documentația unei biblioteci, nu pentru antrenare.

Ideea răspunde unei probleme reale. Paginile web conțin navigare, scripturi, bannere și machetă. Un fișier Markdown scurt, atent ales, cu linkuri către versiuni curate ale paginilor-cheie, este mai ușor de folosit de un model într-o fereastră de context limitată.

Ce intră într-un fișier llms.txt?

Fișierul este Markdown, cu o ordine fixă. Doar primul element este obligatoriu:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Propunerea sugerează și oferirea de versiuni Markdown ale paginilor la același URL, cu .md adăugat, de exemplu page.html.md, ca instrumentele să preia text curat.

Cine citește de fapt llms.txt astăzi?

Aici merită să fim atenți. Site-ul llmstxt.org spune că fișierele sunt folosite cel mai intens pentru documentația software, unde agenții de programare le urmează. OpenAI, Anthropic, Google și Perplexity nu listează llms.txt printre semnalele folosite de crawlerele lor de căutare, în documentația despre crawlere pe care am consultat-o.

Google merge mai departe pentru propriile funcții Search. Ghidul său despre AI Overviews și AI Mode spune că nu trebuie să creezi fișiere noi care pot fi citite de mașini, fișiere text pentru AI sau marcaje pentru a apărea în ele. Pentru Google Search, llms.txt nu are niciun rol declarat.

Deci răspunsul sincer este: unele instrumente AI, mai ales asistenți de programare și agenți îndreptați spre un site, îl pot citi. Crawlerele care decid dacă căutarea AI îți citează pagina lucrează pornind de la HTML-ul tău.

Poți verifica singur dacă ceva îți citește fișierul. Caută în logurile serverului sau ale CDN-ului cereri către /llms.txt și uită-te la user agent-uri. Dacă nu apare nicio cerere în câteva săptămâni, asta îți spune mai multe despre valoarea lui pentru site-ul tău decât orice afirmație generală.

Ar trebui să adaug unul oricum?

Pentru majoritatea site-urilor este o adăugire cu cost mic și certitudine mică. Durează câteva minute, nu îți poate afecta vizibilitatea în căutare și poate ajuta agenții care îl caută. Este cel mai util pentru documentație, instrumente pentru dezvoltatori și produse cu mult material de referință.

Ce nu poate face este să rezolve problemele de acces. Dacă un firewall blochează crawlerele AI, dacă robots.txt le interzice sau dacă conținutul apare doar după ce rulează JavaScript, llms.txt nu schimbă nimic. Rezolvă mai întâi acestea.

Cum scriu un llms.txt bun?

Cum tratează AISeeWhy llms.txt?

AISeeWhy verifică dacă site-ul tău are un llms.txt și dacă pagina auditată apare în el. Pentru că astăzi crawlerele AI îl citesc rar, lipsa fișierului este o constatare P3, cea cu prioritatea cea mai mică, iar raportul include o schiță construită din titlul, descrierea și sitemap-ul paginii tale, pe care o poți edita și publica.

Întrebări frecvente

Este llms.txt un standard oficial?

Nu. Este o propunere a comunității, publicată la llmstxt.org. Nu este un standard IETF sau W3C și niciun furnizor AI nu este obligat să îl citească.

Blochează llms.txt antrenarea AI?

Nu. Este o listă de linkuri, nu un set de permisiuni. Pentru a refuza antrenarea, folosește tokenurile de antrenare din robots.txt, precum GPTBot, ClaudeBot sau Google-Extended.

Am nevoie de llms.txt ca să apar în Google AI Overviews?

Nu. Google spune că nu ai nevoie de fișiere text pentru AI sau de marcaje speciale ca să apari în AI Overviews sau AI Mode. Pagina trebuie să fie indexată și eligibilă pentru a afișa un snippet.

Poate llms.txt să se afle într-un subfolder?

Versiunea actuală a propunerii permite un fișier la o subcale, precum /docs/llms.txt, care acoperă paginile de sub acea cale. Majoritatea site-urilor au nevoie de un singur fișier, la rădăcină.

Surse

Alte articole