ಎಷ್ಟು ಸೈಟ್ಗಳು llms.txt ಪ್ರಕಟಿಸುತ್ತವೆ? 10,000 ಡೊಮೇನ್ಗಳನ್ನು ಪರಿಶೀಲಿಸಿದೆವು
ಅತ್ಯಂತ ಜನಪ್ರಿಯ 10,000 ಡೊಮೇನ್ಗಳಲ್ಲಿ 12.4% llms.txt ಪ್ರಕಟಿಸುತ್ತವೆ (1,240), ಮತ್ತು ಮುಖಪುಟ HTML ನೊಂದಿಗೆ ಉತ್ತರಿಸುವ ಡೊಮೇನ್ಗಳಲ್ಲಿ 16.7%. ದೊಡ್ಡ ಸೈಟ್ಗಳು ಹೆಚ್ಚಾಗಿ ಪ್ರಕಟಿಸುತ್ತವೆ. ಪ್ರಕಟಿಸುವ ಸೈಟ್ಗಳು 1.4% ಪ್ರಕರಣಗಳಲ್ಲಿ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯುತ್ತವೆ; ಪ್ರಕಟಿಸದ ಸೈಟ್ಗಳಲ್ಲಿ ಇದು 15.0%. ಇದು ಪ್ರಕಟಣೆಯನ್ನು ಮಾತ್ರ ಎಣಿಸುತ್ತದೆ: ಯಾವುದೇ AI ಅಸಿಸ್ಟೆಂಟ್ ಈ ಫೈಲ್ ಅನ್ನು ಓದುತ್ತದೆಯೇ ಎಂದು ಇದು ತೋರಿಸುವುದಿಲ್ಲ.
llms.txt AI ಹುಡುಕಾಟದಲ್ಲಿ ಹೆಚ್ಚು ಚರ್ಚಿತವಾದ ಫೈಲ್ಗಳಲ್ಲಿ ಒಂದು, ಮತ್ತು ಅತಿ ಕಡಿಮೆ ಅಳೆಯಲ್ಪಟ್ಟವುಗಳಲ್ಲಿ ಒಂದು. ನಾವು ಈಗಾಗಲೇ ಅಗ್ರ 10,000 ಡೊಮೇನ್ಗಳ robots.txt ಓದಿದ್ದೇವೆ, ಅದೇ ಹಂತದಲ್ಲಿ ಪ್ರತಿಯೊಂದರಿಂದ /llms.txt ಅನ್ನೂ ಕೇಳಿದೆವು. ಸಿಕ್ಕ ಫಲಿತಾಂಶ ಇಲ್ಲಿದೆ.
ಈ ಪುಟದಲ್ಲಿ
ನಾವು ಹೇಗೆ ಪರಿಶೀಲಿಸಿದೆವು?
ನಾವು Tranco ಪಟ್ಟಿಯ ಅಗ್ರ 10,000 ಡೊಮೇನ್ಗಳನ್ನು (ಪಟ್ಟಿ ID JZWZY) ತೆಗೆದುಕೊಂಡೆವು. ಮುಖಪುಟ ಓದಿ ಮುಖ್ಯ ಹೋಸ್ಟ್ಗೆ ಅದರ ರಿಡೈರೆಕ್ಟ್ ಅನುಸರಿಸಿದ ನಂತರ, 2026ರ ನವೆಂಬರ್ 21 ರಂದು AISeeWhy ಯ ಸ್ವಂತ ಯೂಸರ್ ಏಜೆಂಟ್ ಆಗಿ ಪ್ರತಿಯೊಂದರಿಂದ /llms.txt ಅನ್ನು ಒಮ್ಮೆ ವಿನಂತಿಸಿದೆವು.
/llms.txt ಸ್ವತಃ 200 ನೊಂದಿಗೆ ಉತ್ತರಿಸಿ, HTML ಪುಟವಲ್ಲದ ಖಾಲಿಯಲ್ಲದ ಪಠ್ಯ ವಿಷಯ ನೀಡಿ, ಲಾಗಿನ್ ಅಥವಾ ಮುಖಪುಟದಂತಹ ಬೇರೆ ಪುಟಕ್ಕೆ ರಿಡೈರೆಕ್ಟ್ ಮಾಡದಿದ್ದರೆ ಮಾತ್ರ ಡೊಮೇನ್ llms.txt ಪ್ರಕಟಿಸುತ್ತಿದೆ ಎಂದು ಎಣಿಸುತ್ತೇವೆ. ಈ ಬಾರಿ ಫೈಲ್ನ ಸ್ವರೂಪವನ್ನು ಪರಿಶೀಲಿಸಿಲ್ಲ.
ನಾವು ಏನನ್ನು ಕಂಡುಕೊಂಡೆವು?
- 10,000 ಡೊಮೇನ್ಗಳಲ್ಲಿ 1,240 (12.4%)
llms.txtಪ್ರಕಟಿಸುತ್ತವೆ. - ಪಟ್ಟಿಯಲ್ಲಿ ವೆಬ್ಸೈಟ್ ನೀಡದ CDN ಮತ್ತು API ಹೋಸ್ಟ್ಗಳೂ ಇವೆ. ಮುಖಪುಟ HTML ನೊಂದಿಗೆ ಉತ್ತರಿಸಿದ 7,367 ಡೊಮೇನ್ಗಳಲ್ಲಿ 1,233 (16.7%) ಒಂದನ್ನು ಪ್ರಕಟಿಸುತ್ತವೆ.
- ಬಹುತೇಕ ಎಲ್ಲವೂ robots.txt ಅನ್ನೂ ನೀಡುತ್ತವೆ: 1,240 ರಲ್ಲಿ 1,229.
ದೊಡ್ಡ ಸೈಟ್ಗಳು ಹೆಚ್ಚು ಪ್ರಕಟಿಸುತ್ತವೆಯೇ?
ಹೌದು, ಸ್ಪಷ್ಟ ಅಂತರದಿಂದ. ವೆಬ್ಸೈಟ್ಗಳನ್ನು (ಮುಖಪುಟ HTML ನೊಂದಿಗೆ ಉತ್ತರಿಸಿದ ಡೊಮೇನ್ಗಳು) Tranco ರ್ಯಾಂಕ್ ಪ್ರಕಾರ ವಿಭಜಿಸಿದ್ದೇವೆ:
- ರ್ಯಾಂಕ್ 1 ರಿಂದ 1,000: 22.6% llms.txt ಪ್ರಕಟಿಸುತ್ತವೆ (658 ವೆಬ್ಸೈಟ್ಗಳಲ್ಲಿ 149).
- ರ್ಯಾಂಕ್ 1,001 ರಿಂದ 3,000: 18.2% (1,449 ರಲ್ಲಿ 264).
- ರ್ಯಾಂಕ್ 3,001 ರಿಂದ 10,000: 15.6% (5,260 ರಲ್ಲಿ 820).
ಯಾರು ಪ್ರಕಟಿಸುತ್ತಾರೆ?
robots.txt ನೀಡುವ 6,192 ಡೊಮೇನ್ಗಳಲ್ಲಿ, llms.txt ಪ್ರಕಟಿಸುವವು ಉಳಿದವುಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ ಕಾಣುತ್ತವೆ:
- ಅವು ಕನಿಷ್ಠ ಒಂದು AI ತರಬೇತಿ ಕ್ರಾಲರ್ ಅನ್ನು 11.8% ಬಾರಿ ತಡೆಯುತ್ತವೆ; llms.txt ಇಲ್ಲದ ಡೊಮೇನ್ಗಳಲ್ಲಿ ಇದು 26.0%.
- ಅವು ಕನಿಷ್ಠ ಒಂದು AI ಹುಡುಕಾಟ ಅಥವಾ ಬಳಕೆದಾರ ಕ್ರಾಲರ್ ಅನ್ನು 1.4% ಬಾರಿ ತಡೆಯುತ್ತವೆ; ಇತರರಲ್ಲಿ 15.0%.
- ಅವು
Content-Signalಸಾಲನ್ನು 12.9% ಬಾರಿ ಬಳಸುತ್ತವೆ; ಇತರರಲ್ಲಿ 4.9%.
ಅಂದರೆ, llms.txt ಪ್ರಕಟಿಸಲು ಕಷ್ಟಪಡುವ ಸೈಟ್ಗಳು ಹೆಚ್ಚಾಗಿ ಈಗಾಗಲೇ AI ಕ್ರಾಲರ್ಗಳಿಗೆ ಪ್ರವೇಶ ನೀಡುವ ಸೈಟ್ಗಳೇ.
ಇದು ಏನನ್ನು ತೋರಿಸುವುದಿಲ್ಲ?
ಇದು ಸಂಬಂಧವನ್ನು ತೋರಿಸುತ್ತದೆ, ಕಾರಣವನ್ನಲ್ಲ. AI ಗೋಚರತೆಯನ್ನು ಗಂಭೀರವಾಗಿ ಪರಿಗಣಿಸುವ ಸೈಟ್ llms.txt ಪ್ರಕಟಿಸಿ robots.txt ಅನ್ನೂ ತೆರೆದಿಡಬಹುದು; ಫೈಲ್ ಅದರಿಂದ ವ್ಯತ್ಯಾಸ ಮಾಡಿತು ಎಂದು ಇದರ ಅರ್ಥವಲ್ಲ. ಈ ಎಣಿಕೆ ಪ್ರಕಟಣೆಯನ್ನು ಮಾತ್ರ ಅಳೆಯುತ್ತದೆ. ಯಾವುದೇ AI ಅಸಿಸ್ಟೆಂಟ್ ಈ ಫೈಲ್ ಅನ್ನು ಓದುತ್ತದೆಯೇ ಎಂದು ಅದು ತೋರಿಸುವುದಿಲ್ಲ, ಮತ್ತು ಪ್ರಮುಖ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳು ಅದನ್ನು ಬಳಸುತ್ತವೆ ಎಂದು ಹೇಳುವುದಿಲ್ಲ.
ಈ ಸಂಖ್ಯೆಗಳು ಅತ್ಯಂತ ಜನಪ್ರಿಯ ಡೊಮೇನ್ಗಳಿಗೆ, ಒಂದು ದಿನ, ಮುಖಪುಟದ ನಿಯಮಗಳನ್ನು ಮತ್ತು ಒಂದು ವಿಳಾಸದ ಫೈಲ್ ಅನ್ನು ವಿವರಿಸುತ್ತವೆ. ಚಿಕ್ಕ ಸೈಟ್ಗಳು ಬೇರೆಯಾಗಿ ಕಾಣಬಹುದು.
ನೀವು ಒಂದನ್ನು ಪ್ರಕಟಿಸಬೇಕೇ?
ಇದು ಅಗ್ಗ ಮತ್ತು ಹಾನಿರಹಿತ: ನಿಮ್ಮ ಸೈಟ್ನ ಸಣ್ಣ Markdown ಸಾರಾಂಶ ಮತ್ತು ಅತ್ಯಂತ ಉಪಯುಕ್ತ ಪುಟಗಳ ಪಟ್ಟಿ. ಅದನ್ನು ನಿಖರವಾಗಿಡಿ ಮತ್ತು ಲಿಂಕ್ಗಳು ಕೆಲಸ ಮಾಡುವಂತೆ ನೋಡಿಕೊಳ್ಳಿ. ಕ್ರಾಲರ್ಗಳಿಗೆ ಪ್ರವೇಶ ನೀಡುವುದಕ್ಕೆ ಇದನ್ನು ಬದಲಿಯಾಗಿ ಪರಿಗಣಿಸಬೇಡಿ: ಫೈರ್ವಾಲ್ ಕ್ರಾಲರ್ ಅನ್ನು ನಿರಾಕರಿಸುವ ಅಥವಾ robots.txt ಅದನ್ನು ನಿರಾಕರಿಸುವ ಸೈಟ್ನಲ್ಲಿ llms.txt ಯಾರಿಗೂ ಸಹಾಯ ಮಾಡುವುದಿಲ್ಲ.
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- llms.txt ಪರಿಶೀಲಕ ಮತ್ತು ವ್ಯಾಲಿಡೇಟರ್
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
ಎಷ್ಟು ಪ್ರತಿಶತ ವೆಬ್ಸೈಟ್ಗಳಲ್ಲಿ llms.txt ಇದೆ?
ನಾವು ಪರಿಶೀಲಿಸಿದ ಅತ್ಯಂತ ಜನಪ್ರಿಯ 10,000 ಡೊಮೇನ್ಗಳಲ್ಲಿ 12.4% ಒಂದನ್ನು ಪ್ರಕಟಿಸುತ್ತವೆ. ಮುಖಪುಟ HTML ನೊಂದಿಗೆ ಉತ್ತರಿಸುವ ಡೊಮೇನ್ಗಳಲ್ಲಿ ಈ ಪಾಲು 16.7%, ಮತ್ತು ಅತಿ ದೊಡ್ಡ ಸೈಟ್ಗಳಲ್ಲಿ ಹೆಚ್ಚು: ಅಗ್ರ 1,000 ರಲ್ಲಿ 22.6%.
llms.txt ಇರುವ ಸೈಟ್ಗಳು AI ಕ್ರಾಲರ್ಗಳಿಗೆ ಹೆಚ್ಚಾಗಿ ಪ್ರವೇಶ ನೀಡುತ್ತವೆಯೇ?
ನಮ್ಮ ಡೇಟಾದಲ್ಲಿ ಹೌದು: ಅವು 1.4% ಪ್ರಕರಣಗಳಲ್ಲಿ AI ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯುತ್ತವೆ; ಅದಿಲ್ಲದ ಸೈಟ್ಗಳಲ್ಲಿ 15.0%. ಇದು ಸಂಬಂಧ ಮಾತ್ರ. ಫೈಲ್ ಕ್ರಾಲರ್ಗಳು ಸೈಟ್ ಅನ್ನು ನಡೆಸಿಕೊಳ್ಳುವ ರೀತಿಯನ್ನು ಬದಲಿಸುತ್ತದೆ ಎಂದು ಇದು ತೋರಿಸುವುದಿಲ್ಲ.
llms.txt ಇದ್ದರೆ AI ಅಸಿಸ್ಟೆಂಟ್ಗಳು ನನ್ನನ್ನು ಉಲ್ಲೇಖಿಸಲು ಸಹಾಯವಾಗುತ್ತದೆಯೇ?
ನಮ್ಮ ಡೇಟಾ ಇದನ್ನು ಹೇಳಲಾರದು. ಯಾವ ಸೈಟ್ಗಳು ಫೈಲ್ ಪ್ರಕಟಿಸುತ್ತವೆ ಎಂದು ಅದು ಎಣಿಸುತ್ತದೆ, ಅಸಿಸ್ಟೆಂಟ್ ಅದನ್ನು ಬಳಸುತ್ತದೆಯೇ ಎಂದಲ್ಲ, ಮತ್ತು ಪ್ರಮುಖ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳು ಅದನ್ನು ಓದುತ್ತವೆ ಎಂದು ಹೇಳುವುದಿಲ್ಲ. ಕ್ರಾಲ್ ಮಾಡಬಹುದಾದ ಪುಟಗಳು ಮತ್ತು ಮುಕ್ತ ಪ್ರವೇಶ ಹೆಚ್ಚು ಮುಖ್ಯ.
ಸೈಟ್ನಲ್ಲಿ ನಿಜವಾದ llms.txt ಇದೆಯೇ ಎಂದು ಹೇಗೆ ತಿಳಿಯುವುದು?
/llms.txt ಅನ್ನು ವಿನಂತಿಸಿ, ಆ ವಿಳಾಸದಲ್ಲೇ 200 ನೊಂದಿಗೆ, HTML ಪುಟವಲ್ಲದ ಪಠ್ಯ ವಿಷಯದೊಂದಿಗೆ ಉತ್ತರ ಬರುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ. ಮುಖಪುಟ ಅಥವಾ ಲಾಗಿನ್ ಪುಟಕ್ಕೆ ರಿಡೈರೆಕ್ಟ್ llms.txt ಅಲ್ಲ.
ಮೂಲಗಳು
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers