llms.txt શું છે, અને શું તે ઉમેરવા જેવી છે?
llms.txt એ /llms.txt પર મૂકવાની પ્રસ્તાવિત Markdown ફાઇલ છે જે AI ટૂલને તમારી સાઇટનો ટૂંકો સારાંશ અને તેનાં સૌથી ઉપયોગી પેજની લિંકની યાદી આપે છે. તે સમુદાયનો પ્રસ્તાવ છે, ધોરણ નથી, અને મુખ્ય AI સર્ચ ક્રૉલર તેનો ઉપયોગ કરતા હોવાનું કહેતા નથી. તે ઉમેરવી સસ્તી છે, પણ તે ક્રૉલ કરી શકાય એવા HTMLની જગ્યા લેતી નથી.
llms.txtને ઘણું ધ્યાન મળે છે, ઘણી વાર AIની robots.txt તરીકે રજૂ કરાય છે. તે કંઈક અલગ છે: robots.txt જણાવે છે કે ક્રૉલર શું મેળવી શકે, જ્યારે llms.txt વાંચવાની માર્ગદર્શિકા છે જે AI ટૂલને વાંચવા જેવા કન્ટેન્ટ તરફ દોરે છે. અહીં પ્રસ્તાવ શું કહે છે, તેના ઉપયોગ વિશે શું જાણીતું છે, અને તે કેવી રીતે લખવી તે છે.
આ પેજ પર
llms.txt ક્યાંથી આવી?
Jeremy Howardએ સપ્ટેમ્બર 2024માં /llms.txt ફાઇલનો પ્રસ્તાવ મૂક્યો, અને પ્રસ્તાવ llmstxt.org પર જાળવાય છે. તેનો હેતુ એક ફાઇલને પ્રમાણભૂત બનાવવાનો છે જે ભાષા મૉડલ અને એજન્ટને ટ્રેનિંગ માટે નહીં, પણ inference સમયે વેબસાઇટ વાપરવામાં મદદ કરે, ઉદાહરણ તરીકે જ્યારે કોડિંગ આસિસ્ટન્ટને કોઈ લાઇબ્રેરીના દસ્તાવેજ જોઈએ.
આ વિચાર એક સાચી સમસ્યાનો જવાબ છે. વેબ પેજમાં નેવિગેશન, સ્ક્રિપ્ટ, બૅનર અને લેઆઉટ હોય છે. મુખ્ય પેજનાં સ્વચ્છ વર્ઝનની લિંક સાથેની ટૂંકી, પસંદ કરેલી Markdown ફાઇલ મર્યાદિત context window અંદર મૉડલ માટે વાપરવી સરળ છે.
llms.txt ફાઇલમાં શું હોય છે?
ફાઇલ નિશ્ચિત ક્રમ સાથેનું Markdown છે. ફક્ત પહેલું ઘટક ફરજિયાત છે:
- સાઇટ કે પ્રોજેક્ટના નામ સાથેનું H1 (ફરજિયાત).
- સાઇટ શું છે તેના ટૂંકા સારાંશ સાથેનો blockquote.
- હેડિંગ વગર, વધુ વિગત સાથેના વૈકલ્પિક ફકરા કે યાદીઓ.
- H2 વિભાગો, દરેકમાં
[name](url)સ્વરૂપમાં Markdown લિંકની યાદી, વૈકલ્પિક રીતે કોલન અને નોંધ સાથે. - ગૌણ લિંક માટે
Optionalનામનો વૈકલ્પિક વિભાગ, જેને ઓછા contextની જરૂર હોય ત્યારે ટૂલ છોડી શકે.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) પ્રસ્તાવ એ પણ સૂચવે છે કે પેજનાં Markdown વર્ઝન એ જ URL પર .md ઉમેરીને આપવાં, ઉદાહરણ તરીકે page.html.md, જેથી ટૂલ સ્વચ્છ લખાણ મેળવી શકે.
આજે llms.txt ખરેખર કોણ વાંચે છે?
અહીં સાવચેત રહેવું ફાયદાકારક છે. llmstxt.org સાઇટ કહે છે કે આ ફાઇલો સૌથી વધુ સૉફ્ટવેર દસ્તાવેજ માટે વપરાય છે, જ્યાં કોડિંગ એજન્ટ તેમને અનુસરે છે. અમે તપાસેલા ક્રૉલર દસ્તાવેજમાં OpenAI, Anthropic, Google અને Perplexity તેમના સર્ચ ક્રૉલર વાપરે છે તે સિગ્નલમાં llms.txtનો ઉલ્લેખ કરતા નથી.
Google પોતાની Search સુવિધાઓ માટે એનાથી પણ આગળ જાય છે. AI Overviews અને AI Mode વિશેની તેની માર્ગદર્શિકા કહે છે કે તેમાં દેખાવા માટે તમારે નવી મશીન-વાંચી શકાય એવી ફાઇલો, AI લખાણ ફાઇલો કે માર્કઅપ બનાવવાની જરૂર નથી. Google Search માટે llms.txtની કોઈ જણાવેલી ભૂમિકા નથી.
તેથી પ્રામાણિક જવાબ આ છે: કેટલાંક AI ટૂલ, મોટે ભાગે કોડિંગ આસિસ્ટન્ટ અને કોઈ સાઇટ તરફ દોરાયેલા એજન્ટ, તેને વાંચી શકે છે. AI સર્ચ તમારા પેજને ટાંકે કે નહીં તે નક્કી કરતા ક્રૉલર તમારા HTML પરથી કામ કરે છે.
તમારી ફાઇલ કોઈ વાંચે છે કે નહીં તે તમે જાતે જોઈ શકો છો. તમારા સર્વર કે CDNના લૉગમાં /llms.txtની વિનંતીઓ શોધો અને યુઝર એજન્ટ જુઓ. જો થોડાં અઠવાડિયાંમાં કોઈ વિનંતી ન દેખાય, તો તે તમારી સાઇટ માટે તેના મૂલ્ય વિશે કોઈ પણ સામાન્ય દાવા કરતાં વધુ કહે છે.
શું છતાં મારે એક ઉમેરવી જોઈએ?
મોટા ભાગની સાઇટ માટે તે ઓછા ખર્ચનો, ઓછી નિશ્ચિતતાનો ઉમેરો છે. તેમાં થોડી મિનિટ લાગે છે, તે સર્ચમાં તમારી દૃશ્યતાને નુકસાન કરી શકતી નથી અને તેને શોધતા એજન્ટને મદદ કરી શકે છે. તે દસ્તાવેજ, ડેવલપર ટૂલ અને ઘણી સંદર્ભ સામગ્રીવાળાં પ્રોડક્ટ માટે સૌથી ઉપયોગી છે.
તે ઍક્સેસની સમસ્યાઓ સુધારી શકતી નથી. જો ફાયરવૉલ AI ક્રૉલરને બ્લૉક કરે, તમારી robots.txt તેમને મનાઈ કરે કે તમારું કન્ટેન્ટ ફક્ત JavaScript ચાલ્યા પછી દેખાય, તો llms.txt કંઈ બદલતી નથી. પહેલાં એ સુધારો.
સારી llms.txt કેવી રીતે લખવી?
- તેને
https://yourdomain.com/llms.txtપર મૂકો અને HTML પેજ તરીકે નહીં, પણ સ્ટેટસ 200 સાથે સાદા લખાણ તરીકે આપો. - સારાંશ એવી રીતે લખો જેમ તમે નવા સાથીદારને બે વાક્યમાં સાઇટ સમજાવો: તે શું છે, કોના માટે છે.
- સાચા પ્રશ્નોના જવાબ આપતાં પેજની યાદી આપો: પ્રોડક્ટ, કિંમતો, દસ્તાવેજ, નીતિઓ. ટૅગ પેજ અને આર્કાઇવ છોડી દો.
- absolute URL વાપરો અને યાદી ઉપયોગી રહે એટલી ટૂંકી રાખો; મોટા ભાગની સાઇટ માટે થોડા ડઝન લિંક પૂરતી છે.
- તેને અપડેટ રાખો. દૂર કરેલાં પેજની લિંક આપતી ફાઇલ ન હોવા કરતાં ખરાબ છે.
- પરવાનગીઓ જણાવવા તેનો ઉપયોગ ન કરો. ઍક્સેસના નિયમો robots.txtમાં હોવા જોઈએ.
AISeeWhy llms.txtને કેવી રીતે ગણે છે?
AISeeWhy તપાસે છે કે તમારી સાઇટ પર llms.txt છે કે નહીં અને ઑડિટ થયેલું પેજ તેમાં છે કે નહીં. AI ક્રૉલર આજે તેને ભાગ્યે જ વાંચે છે, તેથી ખૂટતી ફાઇલ P3 તારણ છે, સૌથી ઓછી પ્રાથમિકતા, અને રિપોર્ટમાં તમારા પેજના શીર્ષક, description અને સાઇટમેપ પરથી બનાવેલો ડ્રાફ્ટ હોય છે જેને તમે એડિટ કરીને પ્રકાશિત કરી શકો.
આ સમસ્યાના સુધારા
- એજન્ટની એક ડિસ્કવરી ફાઇલ વાંચી શકાતી નથી
- એજન્ટ માટેની Markdown આવૃત્તિ તૂટેલી છે
- Vary: Accept વગરનો Markdown જવાબ
- AI એજન્ટ માટે Markdown આવૃત્તિ નથી
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- llms.txt ચેકર અને વેલિડેટર
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
વારંવાર પૂછાતા પ્રશ્નો
શું llms.txt સત્તાવાર ધોરણ છે?
ના. તે llmstxt.org પર પ્રકાશિત સમુદાયનો પ્રસ્તાવ છે. તે IETF કે W3C ધોરણ નથી, અને કોઈ AI પ્રોવાઇડર તેને વાંચવા બંધાયેલો નથી.
શું llms.txt AI ટ્રેનિંગ બ્લૉક કરે છે?
ના. તે લિંકની યાદી છે, પરવાનગીઓનો સમૂહ નથી. ટ્રેનિંગમાંથી બહાર નીકળવા robots.txtમાં GPTBot, ClaudeBot કે Google-Extended જેવા ટ્રેનિંગ ટોકન વાપરો.
શું Google AI Overviewsમાં દેખાવા મારે llms.txt જોઈએ?
ના. Google કહે છે કે AI Overviews કે AI Modeમાં દેખાવા તમારે AI લખાણ ફાઇલો કે ખાસ માર્કઅપની જરૂર નથી. પેજ ઇન્ડેક્સ થયેલું અને snippet બતાવવા લાયક હોવું જોઈએ.
શું llms.txt સબફોલ્ડરમાં રહી શકે?
પ્રસ્તાવનું હાલનું વર્ઝન /docs/llms.txt જેવા સબપાથ પર ફાઇલની છૂટ આપે છે, જે એ પાથ હેઠળનાં પેજને આવરે છે. મોટા ભાગની સાઇટને રૂટમાં ફક્ત એક ફાઇલ જોઈએ છે.
સ્રોતો
- llmstxt.org: /llms.txt ફાઇલ
- Google Search Central: AI સુવિધાઓ અને તમારી વેબસાઇટ
- OpenAI: OpenAI ક્રૉલરની ઝાંખી