llms.txt nedir ve eklemeye değer mi?

Yayınlanma

Kısa cevap

llms.txt, /llms.txt adresinde duran, AI araçlarına sitenizin kısa bir özetini ve en yararlı sayfalarına giden bağlantıların listesini veren, önerilen bir Markdown dosyasıdır. Bir standart değil, topluluk önerisidir ve büyük AI arama crawler'ları onu kullandıklarını söylemiyor. Eklemesi ucuzdur ama taranabilir HTML'in yerini tutmaz.

llms.txt çok ilgi görüyor ve sık sık yapay zekânın robots.txt'si diye sunuluyor. Aslında farklı bir şey: robots.txt crawler'ların neleri çekebileceğini belirtir, llms.txt ise AI araçlarını okunmaya değer içeriğe yönlendiren bir okuma rehberidir. Burada önerinin ne dediğini, kullanımı hakkında nelerin bilindiğini ve nasıl yazılacağını bulacaksınız.

Bu sayfada
  1. llms.txt nereden çıktı?
  2. Bir llms.txt dosyasında neler bulunur?
  3. llms.txt'yi bugün gerçekte kim okuyor?
  4. Yine de eklemeli miyim?
  5. İyi bir llms.txt nasıl yazılır?
  6. AISeeWhy llms.txt'yi nasıl ele alır?

llms.txt nereden çıktı?

Jeremy Howard /llms.txt dosyasını Eylül 2024'te önerdi ve öneri llmstxt.org'da sürdürülüyor. Amacı, dil modellerinin ve ajanların bir web sitesini yanıt anında kullanmasına, örneğin bir kodlama asistanının bir kütüphanenin belgelerine ihtiyaç duyduğu anda, eğitim için değil, yardımcı olan tek bir dosyayı standartlaştırmak.

Fikir gerçek bir soruna cevap veriyor. Web sayfaları gezinti, betik, afiş ve yerleşim taşır. Temel sayfaların temiz sürümlerine bağlantılar içeren kısa, özenle hazırlanmış bir Markdown dosyası, sınırlı bir bağlam penceresi içinde bir model için çalışması daha kolaydır.

Bir llms.txt dosyasında neler bulunur?

Dosya, sabit bir sıralamaya sahip Markdown'dır. Yalnızca ilk öğe zorunludur:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Öneri ayrıca sayfaların Markdown sürümlerinin aynı URL'ye .md eklenerek, örneğin page.html.md biçiminde sunulmasını da öneriyor; böylece araçlar temiz metin çekebilir.

llms.txt'yi bugün gerçekte kim okuyor?

Burada dikkatli olmak gerekir. llmstxt.org sitesi, dosyaların en çok yazılım belgelerinde kullanıldığını ve kodlama ajanlarının bunları izlediğini söylüyor. OpenAI, Anthropic, Google ve Perplexity, incelediğimiz crawler belgelerinde llms.txt'yi arama crawler'larının kullandığı sinyaller arasında saymıyor.

Google kendi Arama özellikleri için daha da ileri gidiyor. AI Overviews ve AI Mode rehberi, bunlarda görünmek için yeni makine tarafından okunabilir dosyalar, AI metin dosyaları veya işaretleme oluşturmanız gerekmediğini söylüyor. Google Arama için llms.txt'nin belirtilmiş bir rolü yok.

Dürüst cevap şu: bazı AI araçları, çoğunlukla bir siteye yönlendirilen kodlama asistanları ve ajanlar, onu okuyor olabilir. AI aramasının sayfanızı alıntılayıp alıntılamayacağına karar veren crawler'lar ise HTML'inizle çalışır.

Dosyanızı bir şeyin okuyup okumadığını kendiniz görebilirsiniz. Sunucu veya CDN günlüklerinizde /llms.txt isteklerini arayın ve user agent'lara bakın. Birkaç hafta boyunca hiç istek görünmüyorsa, bu size herhangi bir genel iddiadan daha fazlasını söyler.

Yine de eklemeli miyim?

Çoğu site için düşük maliyetli, düşük kesinlikli bir ektir. Birkaç dakika sürer, arama görünürlüğünüze zarar veremez ve onu arayan ajanlara yardımcı olabilir. En çok belgeler, geliştirici araçları ve çok sayıda başvuru materyali olan ürünler için yararlıdır.

Yapamayacağı şey erişim sorunlarını çözmektir. Bir güvenlik duvarı AI crawler'larını engelliyorsa, robots.txt onları yasaklıyorsa ya da içeriğiniz yalnızca JavaScript çalıştıktan sonra görünüyorsa, llms.txt hiçbir şeyi değiştirmez. Önce bunları düzeltin.

İyi bir llms.txt nasıl yazılır?

AISeeWhy llms.txt'yi nasıl ele alır?

AISeeWhy sitenizde llms.txt olup olmadığını ve denetlenen sayfanın içinde listelenip listelenmediğini kontrol eder. AI crawler'ları onu bugün nadiren okuduğu için eksik dosya, en düşük öncelik olan P3 bulgusudur ve rapor, sayfa başlığınızdan, açıklamanızdan ve sitemap'inizden üretilmiş, düzenleyip yayımlayabileceğiniz bir taslak içerir.

Sık sorulan sorular

llms.txt resmî bir standart mı?

Hayır. llmstxt.org'da yayımlanan bir topluluk önerisidir. Bir IETF ya da W3C standardı değildir ve hiçbir AI sağlayıcısı onu okumakla yükümlü değildir.

llms.txt AI eğitimini engeller mi?

Hayır. Bir izinler kümesi değil, bağlantı listesidir. Eğitimden çıkmak için robots.txt'deki GPTBot, ClaudeBot veya Google-Extended gibi eğitim token'larını kullanın.

Google AI Overviews'ta görünmek için llms.txt gerekli mi?

Hayır. Google, AI Overviews veya AI Mode'da görünmek için AI metin dosyalarına ya da özel işaretlemeye gerek olmadığını söylüyor. Sayfanın dizinlenmiş olması ve bir alıntı gösterilmeye uygun olması gerekir.

llms.txt bir alt klasörde olabilir mi?

Önerinin güncel sürümü, /docs/llms.txt gibi bir alt yolda, o yolun altındaki sayfaları kapsayan bir dosyaya izin veriyor. Çoğu site için kökte tek bir dosya yeterlidir.

Kaynaklar

Diğer makaleler