Што е llms.txt и дали вреди да се додаде?
llms.txt е предложена Markdown датотека на /llms.txt што им дава на AI алатките кратко резиме на вашиот сајт и листа врски до неговите најкорисни страници. Тоа е предлог на заедницата, а не стандард, и големите AI краулери за пребарување не наведуваат дека го користат. Евтино е да се додаде, но не го заменува HTML-от што може да се обиколи.
llms.txt добива многу внимание, често претставен како robots.txt за AI. Тој е нешто друго: robots.txt наведува што смеат да преземаат краулерите, додека llms.txt е водич за читање што ги упатува AI алатките кон содржината што вреди да се прочита. Еве што вели предлогот, што се знае за неговата употреба и како да напишете една ваква датотека.
На оваа страница
Од каде доаѓа llms.txt?
Jeremy Howard ја предложи датотеката /llms.txt во септември 2024, а предлогот се одржува на llmstxt.org. Неговата цел е да стандардизира една датотека што им помага на јазичните модели и агентите да користат веб-сајт во моментот на заклучување (inference), на пример кога асистент за програмирање има потреба од документацијата на некоја библиотека, а не за обука.
Идејата одговара на вистински проблем. Веб-страниците носат навигација, скрипти, банери и распоред. Кратка, одбрана Markdown датотека со врски до чисти верзии на клучните страници е полесна за работа за модел со ограничен контекстен прозорец.
Што содржи датотеката llms.txt?
Датотеката е Markdown со утврден редослед. Задолжителен е само првиот елемент:
- H1 со името на сајтот или проектот (задолжително).
- Цитатен блок со кратко резиме за тоа што е сајтот.
- Изборни пасуси или листи со повеќе детали, без наслови.
- H2 делови, секој со листа Markdown врски во форма
[name](url), по избор проследени со две точки и белешка. - Изборен дел со име
Optionalза споредни врски што алатката може да ги прескокне кога ѝ треба помалку контекст.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Предлогот предлага и Markdown верзии на страниците на истиот URL со додадено .md, на пример page.html.md, за алатките да можат да преземат чист текст.
Кој всушност го чита llms.txt денес?
Тука вреди да се биде внимателен. Сајтот llmstxt.org наведува дека датотеките најмногу се користат за софтверска документација, каде што ги следат агентите за програмирање. OpenAI, Anthropic, Google и Perplexity не го наведуваат llms.txt меѓу сигналите што ги користат нивните краулери за пребарување во документацијата за краулерите што ја прегледавме.
Google оди уште подалеку за своите функции за пребарување. Неговите насоки за AI Overviews и AI Mode велат дека не треба да создавате нови машински читливи датотеки, AI текстуални датотеки или ознаки за да се појавите во нив. За Google Search, llms.txt нема наведена улога.
Значи, искрениот одговор е: некои AI алатки, главно асистенти за програмирање и агенти насочени кон некој сајт, можеби го читаат. Краулерите што одлучуваат дали AI пребарувањето ќе ја цитира вашата страница работат од вашиот HTML.
Можете сами да видите дали нешто ја чита вашата датотека. Пребарајте ги дневниците на вашиот сервер или CDN за барања до /llms.txt и погледнете ги user agent-ите. Ако за неколку недели не се појават барања, тоа ви кажува повеќе за нејзината вредност за вашиот сајт од кое било општо тврдење.
Дали сепак да додадам една?
За повеќето сајтови тоа е додаток со мала цена и мала извесност. Одзема неколку минути, не може да ѝ наштети на вашата видливост во пребарувањето и може да им помогне на агентите што го бараат. Најкорисен е за документација, алатки за програмери и производи со многу референтен материјал.
Она што не може да го направи е да ги поправи проблемите со пристапот. Ако заштитен ѕид ги блокира AI краулерите, вашиот robots.txt ги забранува или вашата содржина се појавува дури откако ќе се изврши JavaScript, llms.txt не менува ништо. Прво поправете ги тие.
Како да напишам добар llms.txt?
- Ставете го на
https://yourdomain.com/llms.txtи сервирајте го како обичен текст со статус 200, а не како HTML страница. - Напишете го резимето онака како што би му го објасниле сајтот на нов колега во две реченици: што е и за кого е.
- Наведете ги страниците што одговараат на вистински прашања: производ, цени, документација, правила. Прескокнете ги страниците со ознаки и архивите.
- Користете апсолутни URL-адреси и држете ја листата доволно кратка за да остане корисна; неколку десетици врски се повеќе од доволно за повеќето сајтови.
- Одржувајте го ажурен. Датотека што води до отстранети страници е полоша од никаква.
- Не користете го за наведување дозволи. Правилата за пристап припаѓаат во robots.txt.
Како AISeeWhy постапува со llms.txt?
AISeeWhy проверува дали вашиот сајт има llms.txt и дали ревидираната страница е наведена во него. Бидејќи AI краулерите денес ретко го читаат, датотеката што недостасува е наод P3, најнизок приоритет, а извештајот вклучува нацрт изграден од насловот, описот и sitemap-от на вашата страница што можете да го уредите и објавите.
Поправки за овој проблем
- Датотека за откривање агенти не може да се прочита
- Markdown верзијата за агенти не работи
- Markdown одговор без Vary: Accept
- Нема Markdown верзија за AI агенти
Следни чекори
- Тестер и проверка на robots.txt за AI краулери
- Проверка и валидатор за llms.txt
- Погледнете пример за целосен извештај
- Следење на AI краулери
- Планови и цени
Краулери во оваа статија
Често поставувани прашања
Дали llms.txt е официјален стандард?
Не. Тоа е предлог на заедницата објавен на llmstxt.org. Не е стандард на IETF или W3C, и ниту еден AI производител не е обврзан да го чита.
Дали llms.txt ја блокира AI обуката?
Не. Тоа е листа врски, а не збир дозволи. За да се откажете од обуката, користете ги ознаките за обука во robots.txt, како GPTBot, ClaudeBot или Google-Extended.
Дали ми треба llms.txt за да се појавам во Google AI Overviews?
Не. Google наведува дека не ви требаат AI текстуални датотеки ниту посебни ознаки за да се појавите во AI Overviews или AI Mode. Страницата мора да биде индексирана и подобна да прикаже извадок.
Може ли llms.txt да биде во подпапка?
Тековната верзија на предлогот дозволува датотека на подпатека, како /docs/llms.txt, што ги опфаќа страниците под таа патека. На повеќето сајтови им треба само една датотека во коренот.
Извори
- llmstxt.org: Датотеката /llms.txt
- Google Search Central: AI функциите и вашиот веб-сајт
- OpenAI: Преглед на краулерите на OpenAI