AISeeWhy
UK
Почати пробний період

Що таке llms.txt і чи варто його додавати

Опубліковано

Коротка відповідь

llms.txt — запропонований Markdown-файл за адресою /llms.txt, який дає AI-інструментам стислий опис сайту та перелік посилань на найкорисніші сторінки. Це ініціатива спільноти, а не стандарт, і великі AI-пошукові краулери не заявляють, що його використовують. Додати його недорого, але він не замінює доступний для краулерів HTML.

llms.txt привертає багато уваги, його часто подають як robots.txt для AI. Але це інше: robots.txt каже, що краулерам можна завантажувати, а llms.txt — путівник, який указує AI-інструментам, що варто читати. Тут розібрано, що каже пропозиція, що відомо про її використання і як скласти такий файл.

На цій сторінці
  1. Звідки взявся llms.txt
  2. Що входить до файлу llms.txt
  3. Хто насправді читає llms.txt сьогодні
  4. Чи варто додавати його все одно
  5. Як написати хороший llms.txt
  6. Як AISeeWhy ставиться до llms.txt

Звідки взявся llms.txt

Файл /llms.txt запропонував Джеремі Говард (Jeremy Howard) у вересні 2024 року, і пропозицію підтримують на llmstxt.org. Її мета — стандартизувати один файл, який допомагає мовним моделям й агентам працювати з сайтом у момент відповіді, наприклад коли асистенту для коду потрібна документація бібліотеки, а не для навчання.

Ідея відповідає на реальну проблему. На вебсторінках є навігація, скрипти, банери та верстка. Короткий добраний файл Markdown із посиланнями на чисті версії ключових сторінок моделі простіше використовувати в обмеженому контекстному вікні.

Що входить до файлу llms.txt

Файл написано на Markdown у строгому порядку. Обов’язковий лише перший елемент:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Пропозиція також радить віддавати Markdown-версії сторінок за тим самим URL з додаванням .md, наприклад page.html.md, щоб інструменти могли отримувати чистий текст.

Хто насправді читає llms.txt сьогодні

Тут потрібно бути обережним. Сайт llmstxt.org пише, що файли найчастіше використовують для документації до програмного забезпечення, де їх дотримуються агенти для коду. OpenAI, Anthropic, Google і Perplexity не називають llms.txt серед сигналів, які використовують їхні пошукові краулери, в опрацьованій нами документації щодо краулерів.

Google йде далі, говорячи про власні функції Пошуку. У його рекомендаціях щодо AI Overviews і AI Mode сказано, що для появи в них не потрібно створювати нові машинозчитувані файли, текстові файли для AI чи розмітку. Для Google Пошуку в llms.txt немає заявленої ролі.

Тож чесна відповідь така: деякі AI-інструменти, здебільшого асистенти для коду й агенти, яких спрямували на сайт, можуть його читати. Краулери, які вирішують, чи процитує AI-пошук вашу сторінку, працюють із вашим HTML.

Перевірити, чи читає ваш файл хтось узагалі, можна самому. Пошукайте в логах сервера чи CDN запити до /llms.txt і подивіться на user agent. Якщо за кілька тижнів запитів немає, це скаже про користь файлу для вашого сайту більше, ніж будь-які загальні твердження.

Чи варто додавати його все одно

Для більшості сайтів це недороге доповнення з невисокою віддачею. Займає кілька хвилин, не зашкодить видимості в пошуку і може стати в пригоді агентам, які його шукають. Найбільше користі він дає для документації, інструментів для розробників і продуктів з великим обсягом довідкових матеріалів.

Чого він не може, так це виправити проблеми з доступом. Якщо файрвол блокує AI-краулерів, ваш robots.txt їх забороняє або контент з’являється лише після виконання JavaScript, llms.txt нічого не змінить. Спершу виправте це.

Як написати хороший llms.txt

Як AISeeWhy ставиться до llms.txt

AISeeWhy перевіряє, чи є на сайті llms.txt і чи вказано в ньому сторінку, що перевіряється. Оскільки AI-краулери поки що рідко його читають, відсутність файлу — знахідка рівня P3, найнижчого пріоритету, а до звіту входить чернетка, зібрана із заголовка, опису сторінки та мапи сайту, яку можна відредагувати й опублікувати.

Поширені запитання

Чи є llms.txt офіційним стандартом?

Ні. Це ініціатива спільноти, опублікована на llmstxt.org. Це не стандарт IETF чи W3C, і жоден AI-вендор не зобов’язаний його читати.

Чи блокує llms.txt навчання AI?

Ні. Це список посилань, а не набір дозволів. Щоб відмовитися від навчання, використовуйте токени навчання в robots.txt, такі як GPTBot, ClaudeBot або Google-Extended.

Чи потрібен llms.txt, щоб потрапити в Google AI Overviews?

Ні. Google повідомляє, що для появи в AI Overviews чи AI Mode не потрібні текстові файли для AI або спеціальна розмітка. Сторінка має бути проіндексована й мати право на показ сніпета.

Чи може llms.txt лежати в підпапці?

Нинішня версія пропозиції допускає файл за вкладеним шляхом, наприклад /docs/llms.txt, який охоплює сторінки під цим шляхом. Більшості сайтів достатньо одного файлу в корені.

Джерела

Інші статті