કેટલી સાઇટ llms.txt પ્રકાશિત કરે છે? અમે 10,000 ડોમેન તપાસ્યા

પ્રકાશિત

ટૂંકો જવાબ

સૌથી લોકપ્રિય 10,000 ડોમેનમાંથી 12.4% (1,240) llms.txt પ્રકાશિત કરે છે, અને જેમનું હોમ પેજ HTML સાથે જવાબ આપે છે તેમાંથી 16.7%. મોટી સાઇટ વધુ વાર પ્રકાશિત કરે છે. જે સાઇટ તે પ્રકાશિત કરે છે તેમાંથી 1.4% AI સર્ચ ક્રોલર બ્લૉક કરે છે, જ્યારે ન કરનારી સાઇટમાં આ આંકડો 15.0% છે. આ માત્ર પ્રકાશનની ગણતરી છે: તે બતાવતી નથી કે કોઈ AI આસિસ્ટન્ટ આ ફાઇલ વાંચે છે કે નહીં.

llms.txt AI સર્ચમાં સૌથી વધુ ચર્ચાતી ફાઇલોમાંની એક છે, અને સૌથી ઓછી માપાયેલી પણ. અમે ટોચના 10,000 ડોમેનના robots.txt પહેલેથી વાંચ્યા છે, અને એ જ પ્રક્રિયામાં દરેક પાસે /llms.txt પણ માગ્યું. આ તેનું પરિણામ છે.

આ પેજ પર
  1. અમે તે કેવી રીતે તપાસ્યું?
  2. અમને શું મળ્યું?
  3. શું મોટી સાઇટ વધુ પ્રકાશિત કરે છે?
  4. કોણ તે પ્રકાશિત કરે છે?
  5. આ શું નથી બતાવતું?
  6. શું તમારે તે પ્રકાશિત કરવું જોઈએ?

અમે તે કેવી રીતે તપાસ્યું?

અમે Tranco યાદી (લિસ્ટ ID JZWZY) ના ટોચના 10,000 ડોમેન લીધા, હોમ પેજ વાંચ્યા પછી અને તેના મુખ્ય હોસ્ટ પરના રીડાયરેક્ટને અનુસર્યા પછી, 21 નવેમ્બર 2026 ના રોજ AISeeWhy ના પોતાના યુઝર એજન્ટ તરીકે દરેક પાસે /llms.txt એક વાર માગ્યું.

જ્યારે /llms.txt પોતે 200 સાથે જવાબ આપે, તેનો બોડી ખાલી ન હોય એવું ટેક્સ્ટ હોય જે HTML પેજ ન હોય, અને લૉગિન કે હોમ પેજ જેવા બીજા કોઈ પેજ પર રીડાયરેક્ટ ન થતું હોય, ત્યારે ડોમેન llms.txt પ્રકાશિત કરે છે એમ ગણાય છે. આ વખતે અમે ફાઇલનું ફોર્મેટ તપાસ્યું નથી.

અમને શું મળ્યું?

શું મોટી સાઇટ વધુ પ્રકાશિત કરે છે?

હા, સ્પષ્ટ તફાવત સાથે. અમે વેબસાઇટ (જેમનું હોમ પેજ HTML સાથે જવાબ આપે છે તેવા ડોમેન) ને Tranco રેન્ક પ્રમાણે વહેંચી:

કોણ તે પ્રકાશિત કરે છે?

robots.txt આપતા 6,192 ડોમેનમાં, જેઓ llms.txt પ્રકાશિત કરે છે તેઓ બાકીના કરતાં અલગ દેખાય છે:

બીજા શબ્દોમાં, જે સાઇટ llms.txt પ્રકાશિત કરવાની તસ્દી લે છે તે મોટે ભાગે એવી સાઇટ છે જે પહેલેથી AI ક્રોલરને અંદર આવવા દે છે.

આ શું નથી બતાવતું?

તે સંબંધ બતાવે છે, કારણ નહીં. જે સાઇટ AI દૃશ્યતાને ગંભીરતાથી લે છે તે llms.txt પ્રકાશિત કરે અને robots.txt પણ ખુલ્લું રાખે; તેનો અર્થ એ નથી કે ફાઇલે ફરક પાડ્યો. આ ગણતરી માત્ર પ્રકાશનને માપે છે. તે બતાવતી નથી કે કોઈ AI આસિસ્ટન્ટ ફાઇલ વાંચે છે કે નહીં, અને મુખ્ય AI સર્ચ ક્રોલર કહેતા નથી કે તેઓ તેનો ઉપયોગ કરે છે.

આ આંકડા સૌથી લોકપ્રિય ડોમેન માટે એક દિવસે, એક સરનામે રહેલી ફાઇલ અને હોમ પેજના નિયમોનું વર્ણન કરે છે. નાની સાઇટ અલગ દેખાઈ શકે છે.

શું તમારે તે પ્રકાશિત કરવું જોઈએ?

તે સસ્તું અને હાનિરહિત છે: તમારી સાઇટનો ટૂંકો Markdown સારાંશ અને સૌથી ઉપયોગી પેજની યાદી. તેને સચોટ રાખો અને તેની લિંક ચાલુ રાખો. તેને ક્રોલરને અંદર આવવા દેવાના વિકલ્પ તરીકે ન ગણો: જે સાઇટની ફાયરવોલ ક્રોલરને નકારે છે અથવા જેનું robots.txt તેને મનાઈ કરે છે ત્યાં llms.txt કોઈને મદદ કરતું નથી.

મફત ટૂલ

આગળનાં પગલાં

વારંવાર પૂછાતા પ્રશ્નો

કેટલી વેબસાઇટ પાસે llms.txt છે?

અમે તપાસેલા સૌથી લોકપ્રિય 10,000 ડોમેનમાંથી 12.4% તે પ્રકાશિત કરે છે. જેમનું હોમ પેજ HTML સાથે જવાબ આપે છે તેમાં આ હિસ્સો 16.7% છે, અને સૌથી મોટી સાઇટ માટે તે વધુ છે: ટોચના 1,000 માં 22.6%.

શું llms.txt ધરાવતી સાઇટ AI ક્રોલરને વધુ વાર મંજૂરી આપે છે?

અમારા ડેટામાં, હા: તેઓ 1.4% કિસ્સામાં AI સર્ચ અને યુઝર ક્રોલર બ્લૉક કરે છે, જ્યારે તે વિનાની સાઇટ 15.0% કિસ્સામાં. આ સહસંબંધ છે. તે બતાવતું નથી કે ફાઇલ ક્રોલર સાઇટ સાથે કેવો વ્યવહાર કરે છે તે બદલે છે.

શું llms.txt મને AI આસિસ્ટન્ટમાં ઉલ્લેખ પામવામાં મદદ કરે છે?

અમારો ડેટા તે કહી શકતો નથી. તે ગણે છે કે કઈ સાઇટ ફાઇલ પ્રકાશિત કરે છે, આસિસ્ટન્ટ તેનો ઉપયોગ કરે છે કે નહીં તે નહીં, અને મુખ્ય AI સર્ચ ક્રોલર જણાવતા નથી કે તેઓ તે વાંચે છે. ક્રોલ થઈ શકે તેવા પેજ અને ખુલ્લી એક્સેસ વધુ મહત્વના છે.

સાઇટ પાસે સાચું llms.txt છે કે નહીં તે તમે કેવી રીતે નક્કી કરો છો?

/llms.txt માગો અને તપાસો કે તે એ જ સરનામે 200 સાથે જવાબ આપે છે, અને તેનો બોડી HTML પેજ ન હોય એવું ટેક્સ્ટ છે. હોમ પેજ કે લૉગિન પેજ પર રીડાયરેક્ટ એ llms.txt નથી.

સ્રોતો

વધુ લેખો