Τι είναι το llms.txt και αξίζει να το προσθέσετε;

Δημοσιεύθηκε

Σύντομη απάντηση

Το llms.txt είναι ένα προτεινόμενο αρχείο Markdown στο /llms.txt που δίνει στα εργαλεία AI μια σύντομη περίληψη του ιστότοπού σας και μια λίστα συνδέσμων προς τις πιο χρήσιμες σελίδες του. Είναι πρόταση της κοινότητας, όχι πρότυπο, και οι μεγάλοι AI crawlers αναζήτησης δεν αναφέρουν ότι το χρησιμοποιούν. Προσθέτεται φθηνά, αλλά δεν αντικαθιστά το HTML που μπορεί να σαρωθεί.

Το llms.txt τραβά μεγάλη προσοχή και συχνά παρουσιάζεται ως το robots.txt της AI. Είναι κάτι διαφορετικό: το robots.txt δηλώνει τι επιτρέπεται να ανακτούν οι crawlers, ενώ το llms.txt είναι οδηγός ανάγνωσης που κατευθύνει τα εργαλεία AI προς το περιεχόμενο που αξίζει να διαβαστεί. Εδώ θα δείτε τι λέει η πρόταση, τι είναι γνωστό για τη χρήση της και πώς να γράψετε ένα.

Σε αυτή τη σελίδα
  1. Από πού προέρχεται το llms.txt;
  2. Τι περιέχει ένα αρχείο llms.txt;
  3. Ποιος διαβάζει πραγματικά το llms.txt σήμερα;
  4. Να προσθέσω ένα ούτως ή άλλως;
  5. Πώς γράφω ένα καλό llms.txt;
  6. Πώς αντιμετωπίζει το AISeeWhy το llms.txt;

Από πού προέρχεται το llms.txt;

Ο Jeremy Howard πρότεινε το αρχείο /llms.txt τον Σεπτέμβριο του 2024 και η πρόταση συντηρείται στο llmstxt.org. Στόχος της είναι να τυποποιηθεί ένα αρχείο που βοηθά γλωσσικά μοντέλα και agents να χρησιμοποιούν έναν ιστότοπο κατά τη στιγμή της απάντησης, για παράδειγμα όταν ένας βοηθός προγραμματισμού χρειάζεται την τεκμηρίωση μιας βιβλιοθήκης, και όχι για εκπαίδευση.

Η ιδέα απαντά σε ένα πραγματικό πρόβλημα. Οι ιστοσελίδες περιέχουν πλοήγηση, scripts, banners και διάταξη. Ένα σύντομο, επιμελημένο αρχείο Markdown με συνδέσμους προς καθαρές εκδόσεις των βασικών σελίδων είναι ευκολότερο για ένα μοντέλο μέσα σε ένα περιορισμένο παράθυρο πλαισίου.

Τι περιέχει ένα αρχείο llms.txt;

Το αρχείο είναι Markdown με σταθερή σειρά. Μόνο το πρώτο στοιχείο είναι υποχρεωτικό:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Η πρόταση προτείνει επίσης να προσφέρονται εκδόσεις Markdown των σελίδων στο ίδιο URL με προσθήκη .md, για παράδειγμα page.html.md, ώστε τα εργαλεία να ανακτούν καθαρό κείμενο.

Ποιος διαβάζει πραγματικά το llms.txt σήμερα;

Εδώ αξίζει να είμαστε προσεκτικοί. Το llmstxt.org αναφέρει ότι τα αρχεία χρησιμοποιούνται περισσότερο για τεκμηρίωση λογισμικού, όπου τα ακολουθούν agents προγραμματισμού. Η OpenAI, η Anthropic, η Google και η Perplexity δεν περιλαμβάνουν το llms.txt ανάμεσα στα σήματα που χρησιμοποιούν οι crawlers αναζήτησής τους, στην τεκμηρίωση crawlers που εξετάσαμε.

Η Google προχωρά παραπέρα για τις δικές της λειτουργίες Αναζήτησης. Ο οδηγός της για τα AI Overviews και το AI Mode λέει ότι δεν χρειάζεται να δημιουργήσετε νέα αρχεία αναγνώσιμα από μηχανές, αρχεία κειμένου για AI ή markup για να εμφανιστείτε σε αυτά. Για την Αναζήτηση Google, το llms.txt δεν έχει δηλωμένο ρόλο.

Η ειλικρινής απάντηση λοιπόν είναι: ορισμένα εργαλεία AI, κυρίως βοηθοί προγραμματισμού και agents που κατευθύνονται σε έναν ιστότοπο, μπορεί να το διαβάζουν. Οι crawlers που αποφασίζουν αν η AI αναζήτηση θα παραθέσει τη σελίδα σας δουλεύουν με το HTML σας.

Μπορείτε να δείτε μόνοι σας αν κάτι διαβάζει το αρχείο σας. Αναζητήστε στα logs του server ή του CDN αιτήματα προς το /llms.txt και δείτε τα user agents. Αν δεν εμφανιστούν αιτήματα μέσα σε μερικές εβδομάδες, αυτό λέει περισσότερα για την αξία του στον ιστότοπό σας από οποιονδήποτε γενικό ισχυρισμό.

Να προσθέσω ένα ούτως ή άλλως;

Για τους περισσότερους ιστότοπους είναι μια προσθήκη χαμηλού κόστους και χαμηλής βεβαιότητας. Παίρνει λίγα λεπτά, δεν μπορεί να βλάψει την ορατότητά σας στην αναζήτηση και μπορεί να βοηθήσει agents που το αναζητούν. Είναι πιο χρήσιμο για τεκμηρίωση, εργαλεία για developers και προϊόντα με πολύ υλικό αναφοράς.

Αυτό που δεν μπορεί να κάνει είναι να λύσει προβλήματα πρόσβασης. Αν ένα firewall αποκλείει τους AI crawlers, το robots.txt σας τους απαγορεύει ή το περιεχόμενό σας εμφανίζεται μόνο αφού τρέξει η JavaScript, το llms.txt δεν αλλάζει τίποτα. Διορθώστε πρώτα αυτά.

Πώς γράφω ένα καλό llms.txt;

Πώς αντιμετωπίζει το AISeeWhy το llms.txt;

Το AISeeWhy ελέγχει αν ο ιστότοπός σας έχει llms.txt και αν η σελίδα που ελέγχεται αναφέρεται σε αυτό. Επειδή οι AI crawlers σπάνια το διαβάζουν σήμερα, η απουσία του αρχείου είναι εύρημα P3, η χαμηλότερη προτεραιότητα, και η αναφορά περιλαμβάνει ένα προσχέδιο φτιαγμένο από τον τίτλο, την περιγραφή και το sitemap της σελίδας σας, το οποίο μπορείτε να επεξεργαστείτε και να δημοσιεύσετε.

Συχνές ερωτήσεις

Είναι το llms.txt επίσημο πρότυπο;

Όχι. Είναι πρόταση της κοινότητας που δημοσιεύεται στο llmstxt.org. Δεν είναι πρότυπο του IETF ή του W3C και κανένας πάροχος AI δεν δεσμεύεται να το διαβάζει.

Αποκλείει το llms.txt την εκπαίδευση AI;

Όχι. Είναι μια λίστα συνδέσμων, όχι ένα σύνολο δικαιωμάτων. Για να εξαιρεθείτε από την εκπαίδευση, χρησιμοποιήστε τα tokens εκπαίδευσης στο robots.txt, όπως GPTBot, ClaudeBot ή Google-Extended.

Χρειάζομαι llms.txt για να εμφανιστώ στα Google AI Overviews;

Όχι. Η Google λέει ότι δεν χρειάζονται αρχεία κειμένου για AI ούτε ειδικό markup για να εμφανιστείτε στα AI Overviews ή στο AI Mode. Η σελίδα πρέπει να είναι ευρετηριασμένη και επιλέξιμη για εμφάνιση αποσπάσματος.

Μπορεί το llms.txt να βρίσκεται σε υποφάκελο;

Η τρέχουσα έκδοση της πρότασης επιτρέπει αρχείο σε υποδιαδρομή, όπως /docs/llms.txt, που καλύπτει τις σελίδες κάτω από αυτή τη διαδρομή. Οι περισσότεροι ιστότοποι χρειάζονται μόνο ένα αρχείο στη ρίζα.

Πηγές

Περισσότερα άρθρα