Што е llms.txt и дали вреди да се додаде?

Објавено

Краток одговор

llms.txt е предложена Markdown датотека на /llms.txt што им дава на AI алатките кратко резиме на вашиот сајт и листа врски до неговите најкорисни страници. Тоа е предлог на заедницата, а не стандард, и големите AI краулери за пребарување не наведуваат дека го користат. Евтино е да се додаде, но не го заменува HTML-от што може да се обиколи.

llms.txt добива многу внимание, често претставен како robots.txt за AI. Тој е нешто друго: robots.txt наведува што смеат да преземаат краулерите, додека llms.txt е водич за читање што ги упатува AI алатките кон содржината што вреди да се прочита. Еве што вели предлогот, што се знае за неговата употреба и како да напишете една ваква датотека.

На оваа страница
  1. Од каде доаѓа llms.txt?
  2. Што содржи датотеката llms.txt?
  3. Кој всушност го чита llms.txt денес?
  4. Дали сепак да додадам една?
  5. Како да напишам добар llms.txt?
  6. Како AISeeWhy постапува со llms.txt?

Од каде доаѓа llms.txt?

Jeremy Howard ја предложи датотеката /llms.txt во септември 2024, а предлогот се одржува на llmstxt.org. Неговата цел е да стандардизира една датотека што им помага на јазичните модели и агентите да користат веб-сајт во моментот на заклучување (inference), на пример кога асистент за програмирање има потреба од документацијата на некоја библиотека, а не за обука.

Идејата одговара на вистински проблем. Веб-страниците носат навигација, скрипти, банери и распоред. Кратка, одбрана Markdown датотека со врски до чисти верзии на клучните страници е полесна за работа за модел со ограничен контекстен прозорец.

Што содржи датотеката llms.txt?

Датотеката е Markdown со утврден редослед. Задолжителен е само првиот елемент:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Предлогот предлага и Markdown верзии на страниците на истиот URL со додадено .md, на пример page.html.md, за алатките да можат да преземат чист текст.

Кој всушност го чита llms.txt денес?

Тука вреди да се биде внимателен. Сајтот llmstxt.org наведува дека датотеките најмногу се користат за софтверска документација, каде што ги следат агентите за програмирање. OpenAI, Anthropic, Google и Perplexity не го наведуваат llms.txt меѓу сигналите што ги користат нивните краулери за пребарување во документацијата за краулерите што ја прегледавме.

Google оди уште подалеку за своите функции за пребарување. Неговите насоки за AI Overviews и AI Mode велат дека не треба да создавате нови машински читливи датотеки, AI текстуални датотеки или ознаки за да се појавите во нив. За Google Search, llms.txt нема наведена улога.

Значи, искрениот одговор е: некои AI алатки, главно асистенти за програмирање и агенти насочени кон некој сајт, можеби го читаат. Краулерите што одлучуваат дали AI пребарувањето ќе ја цитира вашата страница работат од вашиот HTML.

Можете сами да видите дали нешто ја чита вашата датотека. Пребарајте ги дневниците на вашиот сервер или CDN за барања до /llms.txt и погледнете ги user agent-ите. Ако за неколку недели не се појават барања, тоа ви кажува повеќе за нејзината вредност за вашиот сајт од кое било општо тврдење.

Дали сепак да додадам една?

За повеќето сајтови тоа е додаток со мала цена и мала извесност. Одзема неколку минути, не може да ѝ наштети на вашата видливост во пребарувањето и може да им помогне на агентите што го бараат. Најкорисен е за документација, алатки за програмери и производи со многу референтен материјал.

Она што не може да го направи е да ги поправи проблемите со пристапот. Ако заштитен ѕид ги блокира AI краулерите, вашиот robots.txt ги забранува или вашата содржина се појавува дури откако ќе се изврши JavaScript, llms.txt не менува ништо. Прво поправете ги тие.

Како да напишам добар llms.txt?

Како AISeeWhy постапува со llms.txt?

AISeeWhy проверува дали вашиот сајт има llms.txt и дали ревидираната страница е наведена во него. Бидејќи AI краулерите денес ретко го читаат, датотеката што недостасува е наод P3, најнизок приоритет, а извештајот вклучува нацрт изграден од насловот, описот и sitemap-от на вашата страница што можете да го уредите и објавите.

Поправки за овој проблем

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Дали llms.txt е официјален стандард?

Не. Тоа е предлог на заедницата објавен на llmstxt.org. Не е стандард на IETF или W3C, и ниту еден AI производител не е обврзан да го чита.

Дали llms.txt ја блокира AI обуката?

Не. Тоа е листа врски, а не збир дозволи. За да се откажете од обуката, користете ги ознаките за обука во robots.txt, како GPTBot, ClaudeBot или Google-Extended.

Дали ми треба llms.txt за да се појавам во Google AI Overviews?

Не. Google наведува дека не ви требаат AI текстуални датотеки ниту посебни ознаки за да се појавите во AI Overviews или AI Mode. Страницата мора да биде индексирана и подобна да прикаже извадок.

Може ли llms.txt да биде во подпапка?

Тековната верзија на предлогот дозволува датотека на подпатека, како /docs/llms.txt, што ги опфаќа страниците под таа патека. На повеќето сајтови им треба само една датотека во коренот.

Извори

Уште статии