Πόσα sites δημοσιεύουν llms.txt; Ελέγξαμε 10.000 domains

Δημοσιεύθηκε

Σύντομη απάντηση

Από τα 10.000 δημοφιλέστερα domains, το 12,4% δημοσιεύει llms.txt (1.240) και το 16,7% όσων η αρχική τους σελίδα απαντά με HTML. Τα μεγαλύτερα sites δημοσιεύουν συχνότερα. Τα sites που δημοσιεύουν ένα μπλοκάρουν AI search crawlers στο 1,4% των περιπτώσεων, έναντι 15,0% για όσα δεν δημοσιεύουν. Αυτό μετράει μόνο τη δημοσίευση: δεν δείχνει αν κάποιος AI βοηθός διαβάζει το αρχείο.

Το llms.txt είναι ένα από τα πιο πολυσυζητημένα αρχεία στην AI αναζήτηση και ένα από τα λιγότερο μετρημένα. Έχουμε ήδη διαβάσει το robots.txt των 10.000 κορυφαίων domains και στο ίδιο πέρασμα ζητήσαμε από το καθένα το /llms.txt. Αυτό επέστρεψε.

Σε αυτή τη σελίδα
  1. Πώς ελέγξαμε;
  2. Τι βρήκαμε;
  3. Δημοσιεύουν περισσότερο τα μεγαλύτερα sites;
  4. Ποιοι το δημοσιεύουν;
  5. Τι δεν δείχνει αυτό;
  6. Πρέπει να δημοσιεύσετε ένα;

Πώς ελέγξαμε;

Πήραμε τα 10.000 κορυφαία domains της λίστας Tranco (ID λίστας JZWZY) και ζητήσαμε το /llms.txt μία φορά από το καθένα στις 21 Νοεμβρίου 2026, με τον δικό μας user agent του AISeeWhy, αφού διαβάσαμε την αρχική σελίδα και ακολουθήσαμε την ανακατεύθυνσή της προς τον κύριο host.

Ένα domain θεωρείται ότι δημοσιεύει llms.txt όταν το ίδιο το /llms.txt απαντά με 200, με μη κενό σώμα κειμένου που δεν είναι σελίδα HTML, και χωρίς ανακατεύθυνση σε κάποια άλλη σελίδα, όπως σύνδεσης ή την αρχική. Σε αυτή την εκτέλεση δεν ελέγξαμε τη μορφή του αρχείου.

Τι βρήκαμε;

Δημοσιεύουν περισσότερο τα μεγαλύτερα sites;

Ναι, με σαφή διαφορά. Χωρίσαμε τους ιστότοπους (domains των οποίων η αρχική σελίδα απάντησε με HTML) ανά κατάταξη Tranco:

Ποιοι το δημοσιεύουν;

Ανάμεσα στα 6.192 domains που εξυπηρετούν robots.txt, όσα δημοσιεύουν llms.txt διαφέρουν από τα υπόλοιπα:

Με άλλα λόγια, τα sites που φροντίζουν να δημοσιεύσουν llms.txt είναι ως επί το πλείστον αυτά που ήδη αφήνουν τους AI crawlers να μπουν.

Τι δεν δείχνει αυτό;

Δείχνει συσχέτιση, όχι αιτία. Ένα site που παίρνει στα σοβαρά την ορατότητα στην AI μπορεί να δημοσιεύει llms.txt και να κρατά ανοιχτό το robots.txt του· αυτό δεν σημαίνει ότι το αρχείο έκανε τη διαφορά. Η μέτρηση αφορά επίσης μόνο τη δημοσίευση. Δεν δείχνει αν κάποιος AI βοηθός διαβάζει το αρχείο, και οι μεγάλοι AI search crawlers δεν δηλώνουν ότι το χρησιμοποιούν.

Οι αριθμοί περιγράφουν τους κανόνες της αρχικής σελίδας και το αρχείο σε μία διεύθυνση, μία ημέρα, για τα δημοφιλέστερα domains. Τα μικρότερα sites μπορεί να φαίνονται διαφορετικά.

Πρέπει να δημοσιεύσετε ένα;

Είναι φθηνό και αβλαβές: μια σύντομη περίληψη σε Markdown του site σας και μια λίστα με τις πιο χρήσιμες σελίδες σας. Κρατήστε το ακριβές και τους συνδέσμους του λειτουργικούς. Μην το θεωρείτε υποκατάστατο του να αφήνετε τους crawlers να μπουν: ένα llms.txt σε site του οποίου το firewall αποκλείει τον crawler, ή του οποίου το robots.txt τον απαγορεύει, δεν βοηθά κανέναν.

Δωρεάν εργαλεία

Επόμενα βήματα

Συχνές ερωτήσεις

Τι ποσοστό των ιστότοπων έχει llms.txt;

Ανάμεσα στα 10.000 δημοφιλέστερα domains που ελέγξαμε, το 12,4% δημοσιεύει ένα. Ανάμεσα στα domains των οποίων η αρχική σελίδα απαντά με HTML το ποσοστό είναι 16,7% και είναι υψηλότερο για τα μεγαλύτερα sites: 22,6% στα κορυφαία 1.000.

Τα sites με llms.txt επιτρέπουν συχνότερα τους AI crawlers;

Στα δεδομένα μας, ναι: μπλοκάρουν AI search και user crawlers στο 1,4% των περιπτώσεων, έναντι 15,0% για όσα sites δεν έχουν. Πρόκειται για συσχέτιση. Δεν δείχνει ότι το αρχείο αλλάζει τον τρόπο που οι crawlers αντιμετωπίζουν ένα site.

Βοηθά το llms.txt να με αναφέρουν οι AI βοηθοί;

Τα δεδομένα μας δεν μπορούν να το πουν. Μετρούν ποια sites δημοσιεύουν το αρχείο, όχι αν ένας βοηθός το χρησιμοποιεί, και οι μεγάλοι AI search crawlers δεν δηλώνουν ότι το διαβάζουν. Οι σελίδες που μπορούν να σαρωθούν και η ανοιχτή πρόσβαση μετράνε περισσότερο.

Πώς καταλαβαίνετε αν ένα site έχει πραγματικό llms.txt;

Ζητήστε το /llms.txt και ελέγξτε ότι απαντά με 200 σε αυτή τη διεύθυνση, με σώμα κειμένου που δεν είναι σελίδα HTML. Μια ανακατεύθυνση στην αρχική ή σε σελίδα σύνδεσης δεν είναι llms.txt.

Πηγές

Περισσότερα άρθρα