AISeeWhy
PL
Bezpłatny okres próbny

Czym jest llms.txt i czy warto go dodać

Opublikowano

Krótka odpowiedź

llms.txt to proponowany plik Markdown pod adresem /llms.txt, który daje narzędziom AI krótkie podsumowanie witryny i listę linków do jej najprzydatniejszych stron. To propozycja społeczności, a nie standard, i główne crawlery wyszukiwarek AI nie deklarują, że go używają. Dodanie go jest tanie, ale nie zastępuje HTML dostępnego dla crawlerów.

llms.txt zyskuje dużo uwagi i bywa przedstawiany jako robots.txt dla AI. To jednak coś innego: robots.txt określa, co crawlery mogą pobierać, a llms.txt to przewodnik, który wskazuje narzędziom AI, co warto czytać. Poniżej opisano, co mówi propozycja, co wiadomo o jej wykorzystaniu i jak napisać taki plik.

Na tej stronie
  1. Skąd wziął się llms.txt
  2. Co zawiera plik llms.txt
  3. Kto naprawdę czyta llms.txt dzisiaj
  4. Czy mimo to warto go dodać
  5. Jak napisać dobry llms.txt
  6. Jak AISeeWhy traktuje llms.txt

Skąd wziął się llms.txt

Plik /llms.txt zaproponował Jeremy Howard we wrześniu 2024 roku, a propozycja jest rozwijana na llmstxt.org. Jej celem jest ujednolicenie jednego pliku, który pomaga modelom językowym i agentom korzystać ze strony w momencie udzielania odpowiedzi, na przykład gdy asystent programisty potrzebuje dokumentacji biblioteki, a nie w celu trenowania.

Pomysł odpowiada na realny problem. Strony internetowe zawierają nawigację, skrypty, banery i układ. Krótki, wyselekcjonowany plik Markdown z linkami do czystych wersji kluczowych stron jest łatwiejszy dla modelu w ograniczonym oknie kontekstu.

Co zawiera plik llms.txt

Plik jest zapisany w Markdown w ustalonej kolejności. Wymagany jest tylko pierwszy element:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Propozycja sugeruje też udostępnianie wersji stron w Markdown pod tym samym adresem URL z dodanym .md, na przykład page.html.md, by narzędzia mogły pobierać czysty tekst.

Kto naprawdę czyta llms.txt dzisiaj

Tu warto zachować ostrożność. Witryna llmstxt.org pisze, że pliki są najczęściej używane w dokumentacji oprogramowania, gdzie podążają za nimi agenci programistyczni. OpenAI, Anthropic, Google i Perplexity nie wymieniają llms.txt wśród sygnałów używanych przez ich crawlery wyszukiwarek w przejrzanej przez nas dokumentacji crawlerów.

Google idzie dalej w odniesieniu do własnych funkcji Wyszukiwarki. Jego wskazówki dotyczące AI Overviews i AI Mode mówią, że aby się w nich pojawić, nie trzeba tworzyć nowych plików czytelnych dla maszyn, plików tekstowych dla AI ani znaczników. Dla Wyszukiwarki Google llms.txt nie ma zadeklarowanej roli.

Uczciwa odpowiedź brzmi więc: niektóre narzędzia AI, głównie asystenci programistyczni i agenci skierowani na witrynę, mogą go czytać. Crawlery, które decydują, czy wyszukiwarka AI zacytuje Twoją stronę, pracują na Twoim HTML.

Możesz sam sprawdzić, czy ktokolwiek czyta Twój plik. Przeszukaj logi serwera lub CDN pod kątem żądań do /llms.txt i zobacz user agenty. Jeśli przez kilka tygodni nie ma żadnych żądań, to mówi o wartości pliku dla Twojej witryny więcej niż jakiekolwiek ogólne twierdzenie.

Czy mimo to warto go dodać

Dla większości witryn to tani dodatek o niskiej pewności efektu. Zajmuje kilka minut, nie zaszkodzi widoczności w wyszukiwarce i może pomóc agentom, którzy go szukają. Najbardziej przydaje się przy dokumentacji, narzędziach dla programistów i produktach z dużą ilością materiałów referencyjnych.

Nie naprawi za to problemów z dostępem. Jeśli firewall blokuje crawlery AI, Twój robots.txt je wyklucza albo treść pojawia się dopiero po uruchomieniu JavaScript, llms.txt niczego nie zmieni. Najpierw napraw to.

Jak napisać dobry llms.txt

Jak AISeeWhy traktuje llms.txt

AISeeWhy sprawdza, czy witryna ma llms.txt i czy badana strona jest w nim wymieniona. Ponieważ crawlery AI rzadko go dziś czytają, brak pliku to zalecenie P3, o najniższym priorytecie, a raport zawiera szkic zbudowany z tytułu strony, opisu i mapy witryny, który możesz edytować i opublikować.

Najczęstsze pytania

Czy llms.txt jest oficjalnym standardem?

Nie. To propozycja społeczności opublikowana na llmstxt.org. Nie jest standardem IETF ani W3C i żaden dostawca AI nie ma obowiązku go czytać.

Czy llms.txt blokuje trenowanie AI?

Nie. To lista linków, a nie zbiór uprawnień. Aby zrezygnować z trenowania, użyj tokenów treningowych w robots.txt, takich jak GPTBot, ClaudeBot czy Google-Extended.

Czy potrzebuję llms.txt, by pojawić się w Google AI Overviews?

Nie. Google podaje, że aby pojawić się w AI Overviews lub AI Mode, nie potrzeba plików tekstowych dla AI ani specjalnych znaczników. Strona musi być zaindeksowana i kwalifikować się do wyświetlania fragmentu.

Czy llms.txt może znajdować się w podfolderze?

Obecna wersja propozycji dopuszcza plik pod podścieżką, na przykład /docs/llms.txt, obejmujący strony pod tą ścieżką. Większości witryn wystarczy jeden plik w katalogu głównym.

Źródła

Więcej artykułów