Apa itu llms-full.txt, dan perlukah Anda memublikasikannya di samping llms.txt?
llms-full.txt adalah satu file teks yang berisi teks lengkap dokumentasi sebuah situs, biasanya dalam Markdown, yang dipublikasikan di samping indeks singkat /llms.txt. File ini bukan bagian dari proposal llms.txt di llmstxt.org, melainkan konvensi yang diadopsi situs-situs dokumentasi. Publikasikan jika Anda mengelola dokumentasi developer yang dimuat agen sekaligus dalam jumlah besar; untuk kebanyakan situs bisnis, llms.txt yang baik dan halaman yang rapi sudah cukup.
Artikel kami tentang apa itu llms.txt membahas file indeksnya sendiri: formatnya, asal-usulnya, dan siapa yang membacanya. Artikel ini membahas saudaranya yang lebih besar. Jika Anda pernah melihat llms-full.txt di sebuah situs dokumentasi, atau ada pemeriksa yang menanyakan apakah Anda punya, berikut penjelasan apa file itu, apa yang dinyatakan dan tidak dinyatakan proposalnya, dan apakah file itu sepadan dengan usahanya.
Di halaman ini
- Apakah llms-full.txt bagian dari spesifikasi llms.txt?
- Apa bedanya llms-full.txt dengan llms.txt dan halaman .md?
- Siapa yang memublikasikan llms-full.txt?
- Apakah crawler AI membaca llms.txt atau llms-full.txt?
- Seberapa besar ukuran llms-full.txt?
- Bagaimana cara membuat dan memeriksa llms-full.txt?
- Haruskah llms-full.txt menjadi prioritas?
Apakah llms-full.txt bagian dari spesifikasi llms.txt?
Bukan. Proposal di llmstxt.org, kini versi 2 (diubah 10 Agustus 2026), hanya mendefinisikan file bernama llms.txt, di root situs atau di path mana pun, dengan satu file mencakup halaman-halaman di bawah path-nya. Proposal itu juga mengusulkan versi Markdown dari setiap halaman, di URL halaman dengan tambahan .md (page.html.md) atau dengan ekstensi yang diganti (page.md), serta index.html.md atau index.md untuk URL tanpa nama file.
Satu file berisi seluruh konten tidak muncul di mana pun dalam spesifikasi. Versi 1 menjelaskan sebuah alat, llms_txt2ctx, yang mengembangkan llms.txt menjadi satu file konteks. Versi 2 menghapus alat itu dari proposal dan sebagai gantinya menyatakan penggunaan yang diharapkan: agen membaca atau menelusuri llms.txt, lalu mengikuti tautan yang mereka butuhkan. Dokumentasi FastHTML, contoh milik proposal itu sendiri, masih menyajikan file hasil pengembangan bernama llms-ctx-full.txt.
Jadi llms-full.txt adalah konvensi penamaan. Tidak ada format yang disepakati selain "semua halaman, satu demi satu".
Apa bedanya llms-full.txt dengan llms.txt dan halaman .md?
Versi 2 proposal menambahkan cara bagi agen untuk menemukan versi Markdown sebuah halaman dan llms.txt yang mencakupnya, memakai relasi tautan standar di header HTTP atau di HTML halaman:
llms.txtadalah indeks: judul, ringkasan, dan daftar tautan. Proposalnya menyatakan file ini sebaiknya tetap cukup kecil agar muat di konteks model.- Halaman
.mdadalah salinan bersih dari halaman tunggal. Halaman ini bagian dari proposal, dan agen hanya mengambil yang dibutuhkannya. llms-full.txtadalah semua halaman yang digabung dalam satu file. Satu permintaan memberi agen segalanya, dengan konsekuensi ukurannya besar.
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> Tidak ada relasi tautan setara untuk llms-full.txt. Situs yang memublikasikannya biasanya menautkannya dari llms.txt mereka.
Siapa yang memublikasikan llms-full.txt?
Sebagian besar situs dokumentasi developer. Saat kami memeriksa pada 17 November 2026, file-file berikut aktif:
- Cloudflare:
developers.cloudflare.com/llms-full.txt, sekitar 71 MB. llms.txt di root-nya berukuran 17 KB dan menautkan ke llms.txt terpisah untuk setiap produk. - Anthropic:
platform.claude.com/llms-full.txt, sekitar 53 MB. llms.txt berukuran 102 KB menautkannya di bagian akhir. - OpenAI:
developers.openai.com/llms-full.txt, sekitar 9,7 MB, yang di dalam file disebut sebagai ekspor Markdown satu file. llms.txt-nya berukuran 6 KB. - Perplexity:
docs.perplexity.ai/llms-full.txt, sekitar 4 MB, dengan barisSource:yang memberi URL setiap halaman. llms.txt-nya berukuran 46 KB.
Keempatnya adalah dokumentasi API dan produk, dibaca oleh developer dan agen coding. Kami tidak menghitung llms-full.txt dalam studi November 2026 kami terhadap 1.000 domain terpopuler; 132 di antaranya memublikasikan llms.txt, dan 117 dari jumlah itu mengikuti format llmstxt.org.
Apakah crawler AI membaca llms.txt atau llms-full.txt?
Tidak menurut dokumentasi mana pun yang bisa kami temukan. Halaman crawler OpenAI, Anthropic, dan Perplexity menjelaskan bot dan token robots.txt mereka, dan tidak satu pun menyatakan crawler itu membaca llms.txt atau llms-full.txt di situs lain. Google menyatakan Anda tidak perlu membuat file baru yang bisa dibaca mesin, file teks AI, atau markup untuk muncul di AI Overviews atau AI Mode.
Memublikasikan file ini untuk dokumentasi mereka sendiri tidak sama dengan membaca milik Anda. llmstxt.org menyatakan file-file ini paling banyak dipakai untuk dokumentasi software, tempat agen coding mengikutinya. Lighthouse di Chrome menyertakan audit llms.txt, tetapi audit itu hanya menandai error server saat mengambil /llms.txt; file yang tidak ada dianggap tidak berlaku, dan audit itu tidak menyebut llms-full.txt.
Jika Anda ingin bukti untuk situs Anda sendiri, cari permintaan ke /llms-full.txt di log server Anda dan lihat user agent-nya.
Seberapa besar ukuran llms-full.txt?
Tidak ada batas yang terdokumentasi, karena tidak ada spesifikasi yang mendefinisikan file ini. Batas praktisnya adalah pembacanya. llmstxt.org mencatat bahwa jendela konteks, meski lebih besar dari sebelumnya, masih terlalu kecil untuk memuat sebagian besar situs secara utuh. File berukuran beberapa megabyte tidak bisa dibaca sekali jalan, jadi agen harus menelusurinya atau membacanya per bagian, yang memang sudah dimungkinkan oleh indeks llms.txt dan halaman .md.
Jika Anda tetap ingin memublikasikannya:
- Pecah dokumentasi besar per produk atau per bagian, seperti yang dilakukan Cloudflare dengan file llms.txt per produk, jangan kirim satu file raksasa.
- Taruh URL sumber di atas setiap halaman, agar jawaban yang disusun dari file itu tetap bisa menunjuk ke halaman yang benar.
- Sertakan hanya konten publik. File ini mudah disalin utuh, dan aturan robots.txt berlaku untuknya seperti URL lain, termasuk blokir crawler pelatihan.
- Buat ulang setiap kali deploy. Salinan lengkap yang usang lebih buruk daripada tidak ada, karena mengulang fakta yang sudah kedaluwarsa di satu tempat yang praktis.
Bagaimana cara membuat dan memeriksa llms-full.txt?
Mulai dari llms.txt yang valid dan versi Markdown dari halaman-halaman Anda; llms-full.txt lalu menjadi satu langkah build. Skrip ini membaca llms.txt Anda, mengambil setiap halaman .md yang ditautkan, dan menggabungkannya dengan baris sumber untuk masing-masing:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") Lalu periksa hasilnya. File harus mengembalikan status 200 sebagai text/plain atau text/markdown, bukan halaman HTML, dan jumlah halamannya harus sesuai dengan tautan di llms.txt Anda. Generator llms.txt gratis dari AISeeWhy membantu Anda menulis indeksnya, dan validator llms.txt gratis memeriksanya terhadap format llmstxt.org: judul, ringkasan, bagian, dan tautan, dengan nomor baris untuk setiap masalah. llms-full.txt tidak punya format untuk divalidasi, jadi pemeriksaan di atas yang berguna.
Haruskah llms-full.txt menjadi prioritas?
Untuk kebanyakan situs, tidak. Kedua file hanya membantu setelah pembaca bisa menjangkau halaman Anda. Pemeriksaan gratis AISeeWhy mengambil halaman sebagai 16 crawler AI dan crawler pencarian, berdampingan dengan browser, dan menunjukkan apakah robots.txt, firewall, atau JavaScript menghentikan mereka, yang lebih menentukan visibilitas di AI daripada kedua file teks itu.
Perbaikan untuk masalah ini
- Tidak ada llms.txt
- llms.txt tidak diawali judul
- Halaman tidak tercantum di llms.txt
- llms.txt terlalu besar: 1200 KB
Langkah berikutnya
- robots.txt tester dan pemeriksa untuk crawler AI
- Pemeriksa dan validator llms.txt
- Lihat contoh laporan lengkap
- Pemantauan crawler AI
- Paket dan harga
Pertanyaan yang sering diajukan
Apakah llms-full.txt diwajibkan oleh proposal llms.txt?
Tidak. Proposal itu mendefinisikan llms.txt dan versi Markdown dari halaman. llms-full.txt adalah konvensi yang diikuti sebagian situs dokumentasi.
Apa bedanya llm.txt dan llms.txt?
Nama file dalam proposal adalah llms.txt, dengan huruf s. File di /llm.txt tidak mengikuti proposal, dan alat yang mencari llms.txt tidak akan menemukannya.
Di mana llms-full.txt sebaiknya diletakkan?
Tidak ada spesifikasi yang mengaturnya. Contoh-contoh di atas menaruhnya di samping llms.txt di root situs dokumentasi, dan menautkannya dari llms.txt agar pembaca bisa menemukannya.
Apakah llms-full.txt membantu untuk Google AI Overviews?
Google menyatakan Anda tidak memerlukan file baru yang bisa dibaca mesin atau file teks AI untuk muncul di AI Overviews atau AI Mode. Halaman harus terindeks dan memenuhi syarat untuk menampilkan cuplikan.
Bisakah saya memeriksa llms-full.txt dengan pemeriksa llms.txt?
Hanya sebagian. Pemeriksa llms.txt memvalidasi format indeks, yang tidak diikuti oleh file berisi konten lengkap. Untuk llms-full.txt, periksa kode status, content type, ukuran, dan apakah isinya sesuai dengan halaman Anda saat ini.
Sumber
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: Laporan Akses Crawler AI, 2026-11