llms.txt nedir ve eklemeye değer mi?
llms.txt, /llms.txt adresinde duran, AI araçlarına sitenizin kısa bir özetini ve en yararlı sayfalarına giden bağlantıların listesini veren, önerilen bir Markdown dosyasıdır. Bir standart değil, topluluk önerisidir ve büyük AI arama crawler'ları onu kullandıklarını söylemiyor. Eklemesi ucuzdur ama taranabilir HTML'in yerini tutmaz.
llms.txt çok ilgi görüyor ve sık sık yapay zekânın robots.txt'si diye sunuluyor. Aslında farklı bir şey: robots.txt crawler'ların neleri çekebileceğini belirtir, llms.txt ise AI araçlarını okunmaya değer içeriğe yönlendiren bir okuma rehberidir. Burada önerinin ne dediğini, kullanımı hakkında nelerin bilindiğini ve nasıl yazılacağını bulacaksınız.
Bu sayfada
llms.txt nereden çıktı?
Jeremy Howard /llms.txt dosyasını Eylül 2024'te önerdi ve öneri llmstxt.org'da sürdürülüyor. Amacı, dil modellerinin ve ajanların bir web sitesini yanıt anında kullanmasına, örneğin bir kodlama asistanının bir kütüphanenin belgelerine ihtiyaç duyduğu anda, eğitim için değil, yardımcı olan tek bir dosyayı standartlaştırmak.
Fikir gerçek bir soruna cevap veriyor. Web sayfaları gezinti, betik, afiş ve yerleşim taşır. Temel sayfaların temiz sürümlerine bağlantılar içeren kısa, özenle hazırlanmış bir Markdown dosyası, sınırlı bir bağlam penceresi içinde bir model için çalışması daha kolaydır.
Bir llms.txt dosyasında neler bulunur?
Dosya, sabit bir sıralamaya sahip Markdown'dır. Yalnızca ilk öğe zorunludur:
- Sitenin veya projenin adını taşıyan bir H1 (zorunlu).
- Sitenin ne olduğunu anlatan kısa bir özet içeren bir alıntı bloğu.
- Başlık içermeyen, daha fazla ayrıntı veren isteğe bağlı paragraflar veya listeler.
- Her biri
[name](url)biçiminde Markdown bağlantıları listesi içeren, istenirse ardından iki nokta ve bir not gelen H2 bölümleri. - Bir aracın daha az bağlama ihtiyaç duyduğunda atlayabileceği ikincil bağlantılar için
Optionaladlı isteğe bağlı bir bölüm.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)
Öneri ayrıca sayfaların Markdown sürümlerinin aynı URL'ye .md eklenerek, örneğin page.html.md biçiminde sunulmasını da öneriyor; böylece araçlar temiz metin çekebilir.
llms.txt'yi bugün gerçekte kim okuyor?
Burada dikkatli olmak gerekir. llmstxt.org sitesi, dosyaların en çok yazılım belgelerinde kullanıldığını ve kodlama ajanlarının bunları izlediğini söylüyor. OpenAI, Anthropic, Google ve Perplexity, incelediğimiz crawler belgelerinde llms.txt'yi arama crawler'larının kullandığı sinyaller arasında saymıyor.
Google kendi Arama özellikleri için daha da ileri gidiyor. AI Overviews ve AI Mode rehberi, bunlarda görünmek için yeni makine tarafından okunabilir dosyalar, AI metin dosyaları veya işaretleme oluşturmanız gerekmediğini söylüyor. Google Arama için llms.txt'nin belirtilmiş bir rolü yok.
Dürüst cevap şu: bazı AI araçları, çoğunlukla bir siteye yönlendirilen kodlama asistanları ve ajanlar, onu okuyor olabilir. AI aramasının sayfanızı alıntılayıp alıntılamayacağına karar veren crawler'lar ise HTML'inizle çalışır.
Dosyanızı bir şeyin okuyup okumadığını kendiniz görebilirsiniz. Sunucu veya CDN günlüklerinizde /llms.txt isteklerini arayın ve user agent'lara bakın. Birkaç hafta boyunca hiç istek görünmüyorsa, bu size herhangi bir genel iddiadan daha fazlasını söyler.
Yine de eklemeli miyim?
Çoğu site için düşük maliyetli, düşük kesinlikli bir ektir. Birkaç dakika sürer, arama görünürlüğünüze zarar veremez ve onu arayan ajanlara yardımcı olabilir. En çok belgeler, geliştirici araçları ve çok sayıda başvuru materyali olan ürünler için yararlıdır.
Yapamayacağı şey erişim sorunlarını çözmektir. Bir güvenlik duvarı AI crawler'larını engelliyorsa, robots.txt onları yasaklıyorsa ya da içeriğiniz yalnızca JavaScript çalıştıktan sonra görünüyorsa, llms.txt hiçbir şeyi değiştirmez. Önce bunları düzeltin.
İyi bir llms.txt nasıl yazılır?
https://yourdomain.com/llms.txtadresine koyun ve HTML sayfası olarak değil, 200 durum koduyla düz metin olarak sunun.- Özeti, siteyi yeni bir iş arkadaşına iki cümleyle anlatır gibi yazın: ne olduğu, kimin için olduğu.
- Gerçek sorulara cevap veren sayfaları listeleyin: ürün, fiyatlandırma, belgeler, politikalar. Etiket sayfalarını ve arşivleri atlayın.
- Mutlak URL'ler kullanın ve listeyi yararlı kalacak kadar kısa tutun; çoğu site için birkaç düzine bağlantı fazlasıyla yeterlidir.
- Güncel tutun. Kaldırılmış sayfalara bağlantı veren bir dosya, hiç dosya olmamasından kötüdür.
- İzinleri belirtmek için kullanmayın. Erişim kuralları robots.txt'ye aittir.
AISeeWhy llms.txt'yi nasıl ele alır?
AISeeWhy sitenizde llms.txt olup olmadığını ve denetlenen sayfanın içinde listelenip listelenmediğini kontrol eder. AI crawler'ları onu bugün nadiren okuduğu için eksik dosya, en düşük öncelik olan P3 bulgusudur ve rapor, sayfa başlığınızdan, açıklamanızdan ve sitemap'inizden üretilmiş, düzenleyip yayımlayabileceğiniz bir taslak içerir.
Sık sorulan sorular
llms.txt resmî bir standart mı?
Hayır. llmstxt.org'da yayımlanan bir topluluk önerisidir. Bir IETF ya da W3C standardı değildir ve hiçbir AI sağlayıcısı onu okumakla yükümlü değildir.
llms.txt AI eğitimini engeller mi?
Hayır. Bir izinler kümesi değil, bağlantı listesidir. Eğitimden çıkmak için robots.txt'deki GPTBot, ClaudeBot veya Google-Extended gibi eğitim token'larını kullanın.
Google AI Overviews'ta görünmek için llms.txt gerekli mi?
Hayır. Google, AI Overviews veya AI Mode'da görünmek için AI metin dosyalarına ya da özel işaretlemeye gerek olmadığını söylüyor. Sayfanın dizinlenmiş olması ve bir alıntı gösterilmeye uygun olması gerekir.
llms.txt bir alt klasörde olabilir mi?
Önerinin güncel sürümü, /docs/llms.txt gibi bir alt yolda, o yolun altındaki sayfaları kapsayan bir dosyaya izin veriyor. Çoğu site için kökte tek bir dosya yeterlidir.
Kaynaklar
- llmstxt.org: The /llms.txt file
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers