Che cos'è llms.txt e vale la pena aggiungerlo?

Pubblicato

Risposta breve

llms.txt è un file Markdown proposto in /llms.txt che offre agli strumenti di IA un breve riassunto del tuo sito e un elenco di link alle pagine più utili. È una proposta della community, non uno standard, e i principali crawler di ricerca di IA non dichiarano di usarlo. Aggiungerlo costa poco, ma non sostituisce un HTML scansionabile.

llms.txt riceve molta attenzione ed è spesso presentato come il robots.txt dell'IA. È una cosa diversa: il robots.txt dichiara che cosa i crawler possono scaricare, mentre llms.txt è una guida alla lettura che indirizza gli strumenti di IA verso i contenuti che vale la pena leggere. Ecco che cosa dice la proposta, che cosa si sa del suo uso e come scriverne uno.

In questa pagina
  1. Da dove viene llms.txt?
  2. Che cosa contiene un file llms.txt?
  3. Chi legge davvero llms.txt oggi?
  4. Dovrei aggiungerne uno comunque?
  5. Come scrivo un buon llms.txt?
  6. Come tratta AISeeWhy llms.txt?

Da dove viene llms.txt?

Jeremy Howard ha proposto il file /llms.txt nel settembre 2024, e la proposta è mantenuta su llmstxt.org. Il suo scopo è standardizzare un file che aiuti i modelli linguistici e gli agenti a usare un sito web al momento dell'inferenza, per esempio quando un assistente di programmazione ha bisogno della documentazione di una libreria, e non per l'addestramento.

L'idea risponde a un problema reale. Le pagine web contengono navigazione, script, banner e layout. Un breve file Markdown curato, con link a versioni pulite delle pagine chiave, è più facile da gestire per un modello con una finestra di contesto limitata.

Che cosa contiene un file llms.txt?

Il file è in Markdown con un ordine fisso. Solo il primo elemento è obbligatorio:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

La proposta suggerisce anche di offrire versioni Markdown delle pagine allo stesso URL con .md aggiunto, per esempio page.html.md, così gli strumenti possono ottenere testo pulito.

Chi legge davvero llms.txt oggi?

Qui conviene essere prudenti. Il sito llmstxt.org dice che i file sono usati soprattutto per la documentazione del software, dove gli agenti di programmazione li seguono. OpenAI, Anthropic, Google e Perplexity non elencano llms.txt tra i segnali usati dai loro crawler di ricerca nella documentazione dei crawler che abbiamo esaminato.

Google va oltre per le proprie funzioni di Search. Le sue linee guida su AI Overviews e modalità IA dicono che non serve creare nuovi file leggibili dalle macchine, file di testo per l'IA o markup per comparirvi. Per Google Search, llms.txt non ha alcun ruolo dichiarato.

Quindi la risposta onesta è: alcuni strumenti di IA, soprattutto assistenti di programmazione e agenti a cui viene indicato un sito, possono leggerlo. I crawler che decidono se la ricerca con IA cita la tua pagina lavorano sul tuo HTML.

Puoi verificare di persona se qualcuno legge il tuo file. Cerca nei log del tuo server o della CDN le richieste a /llms.txt e guarda gli user agent. Se in alcune settimane non compare nessuna richiesta, questo ti dice sul suo valore per il tuo sito più di qualsiasi affermazione generica.

Dovrei aggiungerne uno comunque?

Per la maggior parte dei siti è un'aggiunta a basso costo e con poche certezze. Richiede pochi minuti, non può danneggiare la tua visibilità nella ricerca e può aiutare gli agenti che lo cercano. È più utile per documentazione, strumenti per sviluppatori e prodotti con molto materiale di riferimento.

Quello che non può fare è risolvere problemi di accesso. Se un firewall blocca i crawler di IA, il tuo robots.txt li vieta o i tuoi contenuti compaiono solo dopo l'esecuzione di JavaScript, llms.txt non cambia nulla. Risolvi prima quelli.

Come scrivo un buon llms.txt?

Come tratta AISeeWhy llms.txt?

AISeeWhy controlla se il tuo sito ha un llms.txt e se la pagina analizzata vi è elencata. Poiché oggi i crawler di IA lo leggono di rado, l'assenza del file è un problema di livello P3, la priorità più bassa, e il report include una bozza costruita con titolo, descrizione e sitemap della tua pagina, che puoi modificare e pubblicare.

Domande frequenti

llms.txt è uno standard ufficiale?

No. È una proposta della community pubblicata su llmstxt.org. Non è uno standard IETF o W3C, e nessun fornitore di IA è obbligato a leggerlo.

llms.txt blocca l'addestramento dell'IA?

No. È un elenco di link, non un insieme di permessi. Per escluderti dall'addestramento, usa i token di addestramento nel robots.txt, come GPTBot, ClaudeBot o Google-Extended.

Ho bisogno di llms.txt per comparire negli AI Overviews di Google?

No. Google dice che non servono file di testo per l'IA o markup speciale per comparire negli AI Overviews o nella modalità IA. La pagina deve essere indicizzata e idonea a mostrare uno snippet.

llms.txt può stare in una sottocartella?

La versione attuale della proposta consente un file in un sottopercorso, come /docs/llms.txt, che copre le pagine sotto quel percorso. La maggior parte dei siti ha bisogno di un solo file nella radice.

Fonti

Altri articoli