કેટલી સાઇટ llms.txt પ્રકાશિત કરે છે? અમે 10,000 ડોમેન તપાસ્યા
સૌથી લોકપ્રિય 10,000 ડોમેનમાંથી 12.4% (1,240) llms.txt પ્રકાશિત કરે છે, અને જેમનું હોમ પેજ HTML સાથે જવાબ આપે છે તેમાંથી 16.7%. મોટી સાઇટ વધુ વાર પ્રકાશિત કરે છે. જે સાઇટ તે પ્રકાશિત કરે છે તેમાંથી 1.4% AI સર્ચ ક્રોલર બ્લૉક કરે છે, જ્યારે ન કરનારી સાઇટમાં આ આંકડો 15.0% છે. આ માત્ર પ્રકાશનની ગણતરી છે: તે બતાવતી નથી કે કોઈ AI આસિસ્ટન્ટ આ ફાઇલ વાંચે છે કે નહીં.
llms.txt AI સર્ચમાં સૌથી વધુ ચર્ચાતી ફાઇલોમાંની એક છે, અને સૌથી ઓછી માપાયેલી પણ. અમે ટોચના 10,000 ડોમેનના robots.txt પહેલેથી વાંચ્યા છે, અને એ જ પ્રક્રિયામાં દરેક પાસે /llms.txt પણ માગ્યું. આ તેનું પરિણામ છે.
આ પેજ પર
અમે તે કેવી રીતે તપાસ્યું?
અમે Tranco યાદી (લિસ્ટ ID JZWZY) ના ટોચના 10,000 ડોમેન લીધા, હોમ પેજ વાંચ્યા પછી અને તેના મુખ્ય હોસ્ટ પરના રીડાયરેક્ટને અનુસર્યા પછી, 21 નવેમ્બર 2026 ના રોજ AISeeWhy ના પોતાના યુઝર એજન્ટ તરીકે દરેક પાસે /llms.txt એક વાર માગ્યું.
જ્યારે /llms.txt પોતે 200 સાથે જવાબ આપે, તેનો બોડી ખાલી ન હોય એવું ટેક્સ્ટ હોય જે HTML પેજ ન હોય, અને લૉગિન કે હોમ પેજ જેવા બીજા કોઈ પેજ પર રીડાયરેક્ટ ન થતું હોય, ત્યારે ડોમેન llms.txt પ્રકાશિત કરે છે એમ ગણાય છે. આ વખતે અમે ફાઇલનું ફોર્મેટ તપાસ્યું નથી.
અમને શું મળ્યું?
- 10,000 માંથી 1,240 ડોમેન (12.4%)
llms.txtપ્રકાશિત કરે છે. - યાદીમાં CDN અને API હોસ્ટ પણ છે જે કોઈ વેબસાઇટ આપતા નથી. જેમનું હોમ પેજ HTML સાથે જવાબ આપે છે તેવા 7,367 ડોમેનમાંથી 1,233 (16.7%) તે પ્રકાશિત કરે છે.
- લગભગ બધા robots.txt પણ આપે છે: 1,240 માંથી 1,229.
શું મોટી સાઇટ વધુ પ્રકાશિત કરે છે?
હા, સ્પષ્ટ તફાવત સાથે. અમે વેબસાઇટ (જેમનું હોમ પેજ HTML સાથે જવાબ આપે છે તેવા ડોમેન) ને Tranco રેન્ક પ્રમાણે વહેંચી:
- રેન્ક 1 થી 1,000: 22.6% llms.txt પ્રકાશિત કરે છે (658 વેબસાઇટમાંથી 149).
- રેન્ક 1,001 થી 3,000: 18.2% (1,449 માંથી 264).
- રેન્ક 3,001 થી 10,000: 15.6% (5,260 માંથી 820).
કોણ તે પ્રકાશિત કરે છે?
robots.txt આપતા 6,192 ડોમેનમાં, જેઓ llms.txt પ્રકાશિત કરે છે તેઓ બાકીના કરતાં અલગ દેખાય છે:
- તેઓ 11.8% વાર ઓછામાં ઓછું એક AI ટ્રેનિંગ ક્રોલર બ્લૉક કરે છે, જ્યારે llms.txt વિનાના ડોમેનમાં 26.0%.
- તેઓ 1.4% વાર ઓછામાં ઓછું એક AI સર્ચ કે યુઝર ક્રોલર બ્લૉક કરે છે, સામે 15.0%.
- તેઓ 12.9% વાર
Content-Signalલાઇનનો ઉપયોગ કરે છે, સામે 4.9%.
બીજા શબ્દોમાં, જે સાઇટ llms.txt પ્રકાશિત કરવાની તસ્દી લે છે તે મોટે ભાગે એવી સાઇટ છે જે પહેલેથી AI ક્રોલરને અંદર આવવા દે છે.
આ શું નથી બતાવતું?
તે સંબંધ બતાવે છે, કારણ નહીં. જે સાઇટ AI દૃશ્યતાને ગંભીરતાથી લે છે તે llms.txt પ્રકાશિત કરે અને robots.txt પણ ખુલ્લું રાખે; તેનો અર્થ એ નથી કે ફાઇલે ફરક પાડ્યો. આ ગણતરી માત્ર પ્રકાશનને માપે છે. તે બતાવતી નથી કે કોઈ AI આસિસ્ટન્ટ ફાઇલ વાંચે છે કે નહીં, અને મુખ્ય AI સર્ચ ક્રોલર કહેતા નથી કે તેઓ તેનો ઉપયોગ કરે છે.
આ આંકડા સૌથી લોકપ્રિય ડોમેન માટે એક દિવસે, એક સરનામે રહેલી ફાઇલ અને હોમ પેજના નિયમોનું વર્ણન કરે છે. નાની સાઇટ અલગ દેખાઈ શકે છે.
શું તમારે તે પ્રકાશિત કરવું જોઈએ?
તે સસ્તું અને હાનિરહિત છે: તમારી સાઇટનો ટૂંકો Markdown સારાંશ અને સૌથી ઉપયોગી પેજની યાદી. તેને સચોટ રાખો અને તેની લિંક ચાલુ રાખો. તેને ક્રોલરને અંદર આવવા દેવાના વિકલ્પ તરીકે ન ગણો: જે સાઇટની ફાયરવોલ ક્રોલરને નકારે છે અથવા જેનું robots.txt તેને મનાઈ કરે છે ત્યાં llms.txt કોઈને મદદ કરતું નથી.
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- llms.txt ચેકર અને વેલિડેટર
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
વારંવાર પૂછાતા પ્રશ્નો
કેટલી વેબસાઇટ પાસે llms.txt છે?
અમે તપાસેલા સૌથી લોકપ્રિય 10,000 ડોમેનમાંથી 12.4% તે પ્રકાશિત કરે છે. જેમનું હોમ પેજ HTML સાથે જવાબ આપે છે તેમાં આ હિસ્સો 16.7% છે, અને સૌથી મોટી સાઇટ માટે તે વધુ છે: ટોચના 1,000 માં 22.6%.
શું llms.txt ધરાવતી સાઇટ AI ક્રોલરને વધુ વાર મંજૂરી આપે છે?
અમારા ડેટામાં, હા: તેઓ 1.4% કિસ્સામાં AI સર્ચ અને યુઝર ક્રોલર બ્લૉક કરે છે, જ્યારે તે વિનાની સાઇટ 15.0% કિસ્સામાં. આ સહસંબંધ છે. તે બતાવતું નથી કે ફાઇલ ક્રોલર સાઇટ સાથે કેવો વ્યવહાર કરે છે તે બદલે છે.
શું llms.txt મને AI આસિસ્ટન્ટમાં ઉલ્લેખ પામવામાં મદદ કરે છે?
અમારો ડેટા તે કહી શકતો નથી. તે ગણે છે કે કઈ સાઇટ ફાઇલ પ્રકાશિત કરે છે, આસિસ્ટન્ટ તેનો ઉપયોગ કરે છે કે નહીં તે નહીં, અને મુખ્ય AI સર્ચ ક્રોલર જણાવતા નથી કે તેઓ તે વાંચે છે. ક્રોલ થઈ શકે તેવા પેજ અને ખુલ્લી એક્સેસ વધુ મહત્વના છે.
સાઇટ પાસે સાચું llms.txt છે કે નહીં તે તમે કેવી રીતે નક્કી કરો છો?
/llms.txt માગો અને તપાસો કે તે એ જ સરનામે 200 સાથે જવાબ આપે છે, અને તેનો બોડી HTML પેજ ન હોય એવું ટેક્સ્ટ છે. હોમ પેજ કે લૉગિન પેજ પર રીડાયરેક્ટ એ llms.txt નથી.
સ્રોતો
- llmstxt.org: /llms.txt ફાઇલ
- AISeeWhy: AI ક્રોલર એક્સેસ રિપોર્ટ, 2026-11
- Tranco: સંશોધન-કેન્દ્રિત ટોચની સાઇટ્સનું રેન્કિંગ
- Google Search Central: AI સુવિધાઓ અને તમારી વેબસાઇટ
- OpenAI: OpenAI ક્રોલરનો પરિચય