AI एजेंट के लिए Markdown संस्करण नहीं है
Accept: text/markdown के साथ पेज माँगने पर सर्वर ने HTML भेजा, और पेज किसी Markdown कॉपी से लिंक नहीं करता। तब AI एजेंट पूरा HTML पढ़ते हैं, मेन्यू, फ़ुटर और स्क्रिप्ट समेत। Markdown संस्करण देना वैकल्पिक है: यह एक नई परिपाटी है, इसलिए यह P3 है।
इसका मतलब
Accept: text/markdown के साथ माँगने पर पेज ने HTML लौटाया, और वह किसी Markdown कॉपी से लिंक नहीं करता (<link rel="alternate" type="text/markdown">)। तब एजेंट पूरा HTML पढ़ते हैं, मेन्यू और स्क्रिप्ट समेत। वैकल्पिक: एजेंट के लिए Markdown एक नई परिपाटी है, कोई मानक नहीं।
AI सर्च के लिए यह क्यों मायने रखता है
जो एजेंट किसी उपयोगकर्ता के लिए ब्राउज़ करते हैं (और जो टूल पेजों को मॉडल के कॉन्टेक्स्ट में लोड करते हैं), वे लेआउट से नहीं, टेक्स्ट से काम करते हैं। किसी पेज का साफ़ Markdown संस्करण उसके HTML से कई गुना छोटा होता है और ज़रूरी शीर्षक, सूचियाँ और लिंक बनाए रखता है। कुछ CDN और फ़्रेमवर्क पहले से Accept: text/markdown का जवाब ऐसे संस्करण से देते हैं, और llmstxt.org हर पेज के साथ एक .md कॉपी रखने का सुझाव देता है।
इसके बिना कुछ नहीं टूटता: क्रॉलर फिर भी HTML पढ़ते हैं। पहुँच, robots.txt और कंटेंट के निष्कर्ष ठीक हो जाने के बाद यह एक सस्ता सुधार है।
इसे कैसे ठीक करें
- Markdown देने का एक तरीका चुनें: पेज के अपने URL पर
Accept: text/markdownका जवाब दें, या/guide/index.mdजैसी कॉपी प्रकाशित करें। - CDN पर, अगर उसमें एजेंट के लिए Markdown रूपांतरण है, तो उसे चालू करें। फ़्रेमवर्क में ऐसा middleware जोड़ें जो
Acceptहेडर केtext/markdownमाँगने पर Markdown संस्करण लौटाए। Content-Type: text/markdown; charset=utf-8भेजें और, जब URL वही हो जो HTML पेज का है,Vary: Acceptभी।- HTML के head से कॉपी को
<link rel="alternate" type="text/markdown">से लिंक करें, ताकि जो एजेंट नेगोशिएट नहीं करते, वे भी उसे पा सकें। - नतीजा पक्का करने के लिए पेज रिपोर्ट में "दोबारा जाँचें" चलाएँ।
उदाहरण
<!-- in <head>: where agents find the Markdown version -->
<link rel="alternate" type="text/markdown" href="/guide/index.md">
# the Markdown answer
Content-Type: text/markdown; charset=utf-8
Vary: Accept सुधार की पुष्टि कैसे करें
बदलाव के बाद रिपोर्ट पर "दोबारा जाँचें" दबाएँ: यह बताती है कि क्या ठीक हुआ और स्कोर कैसे बदला।