რამდენი საიტი აქვეყნებს llms.txt-ს? შევამოწმეთ 10 000 დომენი
10 000 ყველაზე პოპულარული დომენიდან 12,4% აქვეყნებს llms.txt-ს (1 240), ხოლო იმათგან, რომელთა მთავარი გვერდი HTML-ით პასუხობს, 16,7%. უფრო დიდი საიტები უფრო ხშირად აქვეყნებენ. საიტები, რომლებიც აქვეყნებენ, AI საძიებო კრაულერებს შემთხვევათა 1,4%-ში ბლოკავენ, ხოლო ისინი, ვინც არ აქვეყნებს, 15,0%-ში. ეს მხოლოდ გამოქვეყნებას ითვლის: არ ჩანს, კითხულობს თუ არა რომელიმე AI ასისტენტი ამ ფაილს.
llms.txt AI ძიების ერთ-ერთი ყველაზე განხილული და ერთ-ერთი ყველაზე ნაკლებად გაზომილი ფაილია. ტოპ 10 000 დომენის robots.txt უკვე წავიკითხეთ და იმავე გავლისას თითოეულს /llms.txt-ც მოვთხოვეთ. აი, რა მივიღეთ.
ამ გვერდზე
როგორ შევამოწმეთ?
ავიღეთ Tranco სიის ტოპ 10 000 დომენი (სიის ID JZWZY) და თითოეულს ერთხელ მოვთხოვეთ /llms.txt 2026 წლის 21 ნოემბერს, AISeeWhy-ის საკუთარი user agent-ით, მას შემდეგ, რაც მთავარი გვერდი წავიკითხეთ და მისი გადამისამართება ძირითად ჰოსტზე გავყევით.
დომენი ითვლება llms.txt-ის გამომქვეყნებლად, როცა თავად /llms.txt პასუხობს 200-ით, არაცარიელი ტექსტური შიგთავსით, რომელიც HTML გვერდი არ არის, და არ არის გადამისამართება სხვა გვერდზე, მაგალითად ავტორიზაციის ან მთავარ გვერდზე. ამ გაშვებაში ფაილის ფორმატი არ შეგვიმოწმებია.
რა აღმოვაჩინეთ?
- 10 000 დომენიდან 1 240 (12,4%) აქვეყნებს
llms.txt-ს. - სიაში არიან CDN-ები და API ჰოსტები, რომლებზეც ვებსაიტი არ არის. 7 367 დომენიდან, რომელთა მთავარი გვერდი HTML-ით უპასუხა, 1 233 (16,7%) აქვეყნებს.
- თითქმის ყველა მათგანი robots.txt-საც გასცემს: 1 240-დან 1 229.
დიდი საიტები უფრო ხშირად აქვეყნებენ?
დიახ, თვალსაჩინო სხვაობით. ვებსაიტები (დომენები, რომელთა მთავარმა გვერდმა HTML-ით უპასუხა) Tranco რანგის მიხედვით დავყავით:
- რანგები 1-დან 1 000-მდე: 22,6% აქვეყნებს llms.txt-ს (658 ვებსაიტიდან 149).
- რანგები 1 001-დან 3 000-მდე: 18,2% (1 449-დან 264).
- რანგები 3 001-დან 10 000-მდე: 15,6% (5 260-დან 820).
ვინ აქვეყნებს?
6 192 დომენიდან, რომლებიც robots.txt-ს გასცემენ, llms.txt-ის გამომქვეყნებლები დანარჩენებისგან განსხვავდებიან:
- ისინი მინიმუმ ერთ AI სასწავლო კრაულერს შემთხვევათა 11,8%-ში ბლოკავენ, llms.txt-ის არმქონე დომენები კი 26,0%-ში.
- მინიმუმ ერთ AI საძიებო ან მომხმარებლის კრაულერს ბლოკავენ შემთხვევათა 1,4%-ში, ხოლო დანარჩენები 15,0%-ში.
- ისინი
Content-Signalხაზს იყენებენ შემთხვევათა 12,9%-ში, დანარჩენები 4,9%-ში.
სხვა სიტყვებით, საიტები, რომლებიც llms.txt-ის გამოქვეყნებას ინებებენ, უმეტესად ისინი არიან, ვინც AI კრაულერებს ისედაც უშვებს.
რას არ აჩვენებს ეს?
ის კავშირს აჩვენებს და არა მიზეზს. საიტი, რომელიც AI ხილვადობას სერიოზულად აღიქვამს, შეიძლება აქვეყნებდეს llms.txt-ს და robots.txt-საც ღიად ინახავდეს; ეს არ ნიშნავს, რომ ფაილმა შექმნა სხვაობა. გამოთვლა ასევე მხოლოდ გამოქვეყნებას ზომავს. არ ჩანს, კითხულობს თუ არა რომელიმე AI ასისტენტი ფაილს, და მთავარი AI საძიებო კრაულერები არ აცხადებენ, რომ მას იყენებენ.
რიცხვები აღწერს მთავარი გვერდის წესებს და ფაილს ერთ მისამართზე, ერთ დღეს, ყველაზე პოპულარული დომენებისთვის. უფრო პატარა საიტები შეიძლება სხვანაირად გამოიყურებოდნენ.
ღირს თუ არა გამოქვეყნება?
ეს იაფია და უვნებელი: თქვენი საიტის მოკლე Markdown აღწერა და ყველაზე სასარგებლო გვერდების სია. შეინახეთ ზუსტი და ბმულები სამუშაო. ნუ მიიჩნევთ კრაულერების შემოშვების შემცვლელად: llms.txt საიტზე, რომლის ფაირვოლიც კრაულერს უარს ეუბნება ან რომლის robots.txt მას კრძალავს, არავის ეხმარება.
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- llms.txt-ის შემმოწმებელი და ვალიდატორი
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ხშირად დასმული კითხვები
ვებსაიტების რა წილს აქვს llms.txt?
შემოწმებული 10 000 ყველაზე პოპულარული დომენიდან 12,4% აქვეყნებს მას. დომენებს შორის, რომელთა მთავარი გვერდი HTML-ით პასუხობს, წილი 16,7%-ია, ხოლო უდიდეს საიტებზე უფრო მაღალია: ტოპ 1 000-ში 22,6%.
llms.txt-ის მქონე საიტები AI კრაულერებს უფრო ხშირად უშვებენ?
ჩვენს მონაცემებში დიახ: ისინი AI საძიებო და მომხმარებლის კრაულერებს შემთხვევათა 1,4%-ში ბლოკავენ, ფაილის არმქონე საიტები კი 15,0%-ში. ეს კორელაციაა. არ ჩანს, რომ ფაილი კრაულერების დამოკიდებულებას საიტის მიმართ ცვლის.
ეხმარება თუ არა llms.txt AI ასისტენტებში ციტირებას?
ჩვენი მონაცემები ამას ვერ გვეტყვის. ისინი ითვლის, რომელი საიტები აქვეყნებენ ფაილს და არა იმას, იყენებს თუ არა მას ასისტენტი, და მთავარი AI საძიებო კრაულერები არ აცხადებენ, რომ მას კითხულობენ. უფრო მნიშვნელოვანია კრაულერისთვის ხელმისაწვდომი გვერდები და ღია წვდომა.
როგორ გავარკვიო, აქვს თუ არა საიტს ნამდვილი llms.txt?
მოითხოვეთ /llms.txt და შეამოწმეთ, რომ ამ მისამართზე პასუხობს 200-ით, ტექსტური შიგთავსით, რომელიც HTML გვერდი არ არის. გადამისამართება მთავარ ან ავტორიზაციის გვერდზე llms.txt არ არის.
წყაროები
- llmstxt.org: ფაილი /llms.txt
- AISeeWhy: AI კრაულერების წვდომის ანგარიში, 2026-11
- Tranco: საიტების რეიტინგი კვლევითი მიზნებისთვის
- Google Search Central: AI ფუნქციები და თქვენი ვებსაიტი
- OpenAI: OpenAI-ის კრაულერების მიმოხილვა