Πόσα sites δημοσιεύουν llms.txt; Ελέγξαμε 10.000 domains
Από τα 10.000 δημοφιλέστερα domains, το 12,4% δημοσιεύει llms.txt (1.240) και το 16,7% όσων η αρχική τους σελίδα απαντά με HTML. Τα μεγαλύτερα sites δημοσιεύουν συχνότερα. Τα sites που δημοσιεύουν ένα μπλοκάρουν AI search crawlers στο 1,4% των περιπτώσεων, έναντι 15,0% για όσα δεν δημοσιεύουν. Αυτό μετράει μόνο τη δημοσίευση: δεν δείχνει αν κάποιος AI βοηθός διαβάζει το αρχείο.
Το llms.txt είναι ένα από τα πιο πολυσυζητημένα αρχεία στην AI αναζήτηση και ένα από τα λιγότερο μετρημένα. Έχουμε ήδη διαβάσει το robots.txt των 10.000 κορυφαίων domains και στο ίδιο πέρασμα ζητήσαμε από το καθένα το /llms.txt. Αυτό επέστρεψε.
Σε αυτή τη σελίδα
Πώς ελέγξαμε;
Πήραμε τα 10.000 κορυφαία domains της λίστας Tranco (ID λίστας JZWZY) και ζητήσαμε το /llms.txt μία φορά από το καθένα στις 21 Νοεμβρίου 2026, με τον δικό μας user agent του AISeeWhy, αφού διαβάσαμε την αρχική σελίδα και ακολουθήσαμε την ανακατεύθυνσή της προς τον κύριο host.
Ένα domain θεωρείται ότι δημοσιεύει llms.txt όταν το ίδιο το /llms.txt απαντά με 200, με μη κενό σώμα κειμένου που δεν είναι σελίδα HTML, και χωρίς ανακατεύθυνση σε κάποια άλλη σελίδα, όπως σύνδεσης ή την αρχική. Σε αυτή την εκτέλεση δεν ελέγξαμε τη μορφή του αρχείου.
Τι βρήκαμε;
- 1.240 από τα 10.000 domains (12,4%) δημοσιεύουν
llms.txt. - Η λίστα περιλαμβάνει CDN και API hosts που δεν εξυπηρετούν ιστότοπο. Από τα 7.367 domains των οποίων η αρχική σελίδα απάντησε με HTML, τα 1.233 (16,7%) δημοσιεύουν ένα.
- Σχεδόν όλα εξυπηρετούν επίσης robots.txt: 1.229 από τα 1.240.
Δημοσιεύουν περισσότερο τα μεγαλύτερα sites;
Ναι, με σαφή διαφορά. Χωρίσαμε τους ιστότοπους (domains των οποίων η αρχική σελίδα απάντησε με HTML) ανά κατάταξη Tranco:
- Θέσεις 1 έως 1.000: 22,6% δημοσιεύουν llms.txt (149 από 658 ιστότοπους).
- Θέσεις 1.001 έως 3.000: 18,2% (264 από 1.449).
- Θέσεις 3.001 έως 10.000: 15,6% (820 από 5.260).
Ποιοι το δημοσιεύουν;
Ανάμεσα στα 6.192 domains που εξυπηρετούν robots.txt, όσα δημοσιεύουν llms.txt διαφέρουν από τα υπόλοιπα:
- Μπλοκάρουν τουλάχιστον έναν AI crawler εκπαίδευσης στο 11,8% των περιπτώσεων, έναντι 26,0% για domains χωρίς llms.txt.
- Μπλοκάρουν τουλάχιστον έναν AI search ή user crawler στο 1,4% των περιπτώσεων, έναντι 15,0%.
- Χρησιμοποιούν γραμμή
Content-Signalστο 12,9% των περιπτώσεων, έναντι 4,9%.
Με άλλα λόγια, τα sites που φροντίζουν να δημοσιεύσουν llms.txt είναι ως επί το πλείστον αυτά που ήδη αφήνουν τους AI crawlers να μπουν.
Τι δεν δείχνει αυτό;
Δείχνει συσχέτιση, όχι αιτία. Ένα site που παίρνει στα σοβαρά την ορατότητα στην AI μπορεί να δημοσιεύει llms.txt και να κρατά ανοιχτό το robots.txt του· αυτό δεν σημαίνει ότι το αρχείο έκανε τη διαφορά. Η μέτρηση αφορά επίσης μόνο τη δημοσίευση. Δεν δείχνει αν κάποιος AI βοηθός διαβάζει το αρχείο, και οι μεγάλοι AI search crawlers δεν δηλώνουν ότι το χρησιμοποιούν.
Οι αριθμοί περιγράφουν τους κανόνες της αρχικής σελίδας και το αρχείο σε μία διεύθυνση, μία ημέρα, για τα δημοφιλέστερα domains. Τα μικρότερα sites μπορεί να φαίνονται διαφορετικά.
Πρέπει να δημοσιεύσετε ένα;
Είναι φθηνό και αβλαβές: μια σύντομη περίληψη σε Markdown του site σας και μια λίστα με τις πιο χρήσιμες σελίδες σας. Κρατήστε το ακριβές και τους συνδέσμους του λειτουργικούς. Μην το θεωρείτε υποκατάστατο του να αφήνετε τους crawlers να μπουν: ένα llms.txt σε site του οποίου το firewall αποκλείει τον crawler, ή του οποίου το robots.txt τον απαγορεύει, δεν βοηθά κανέναν.
Επόμενα βήματα
- robots.txt tester και έλεγχος για crawlers AI
- Έλεγχος και επικυρωτής llms.txt
- Δείτε ένα παράδειγμα πλήρους αναφοράς
- Παρακολούθηση crawlers AI
- Πλάνα και τιμές
Συχνές ερωτήσεις
Τι ποσοστό των ιστότοπων έχει llms.txt;
Ανάμεσα στα 10.000 δημοφιλέστερα domains που ελέγξαμε, το 12,4% δημοσιεύει ένα. Ανάμεσα στα domains των οποίων η αρχική σελίδα απαντά με HTML το ποσοστό είναι 16,7% και είναι υψηλότερο για τα μεγαλύτερα sites: 22,6% στα κορυφαία 1.000.
Τα sites με llms.txt επιτρέπουν συχνότερα τους AI crawlers;
Στα δεδομένα μας, ναι: μπλοκάρουν AI search και user crawlers στο 1,4% των περιπτώσεων, έναντι 15,0% για όσα sites δεν έχουν. Πρόκειται για συσχέτιση. Δεν δείχνει ότι το αρχείο αλλάζει τον τρόπο που οι crawlers αντιμετωπίζουν ένα site.
Βοηθά το llms.txt να με αναφέρουν οι AI βοηθοί;
Τα δεδομένα μας δεν μπορούν να το πουν. Μετρούν ποια sites δημοσιεύουν το αρχείο, όχι αν ένας βοηθός το χρησιμοποιεί, και οι μεγάλοι AI search crawlers δεν δηλώνουν ότι το διαβάζουν. Οι σελίδες που μπορούν να σαρωθούν και η ανοιχτή πρόσβαση μετράνε περισσότερο.
Πώς καταλαβαίνετε αν ένα site έχει πραγματικό llms.txt;
Ζητήστε το /llms.txt και ελέγξτε ότι απαντά με 200 σε αυτή τη διεύθυνση, με σώμα κειμένου που δεν είναι σελίδα HTML. Μια ανακατεύθυνση στην αρχική ή σε σελίδα σύνδεσης δεν είναι llms.txt.
Πηγές
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers