robots.txt ಒಂದು HTML ಪುಟ
/robots.txt ವಿಳಾಸವು HTML ದಾಖಲೆಯನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ, ಸಾಮಾನ್ಯವಾಗಿ 200 ಸ್ಥಿತಿಯೊಂದಿಗೆ ನೀಡಲಾದ 404 ಪುಟ ಅಥವಾ ಮುಖಪುಟ. ಕ್ರಾಲರ್ಗಳು HTML ನಿಂದ ಯಾವುದೇ ನಿಯಮಗಳನ್ನು ಓದಲಾರವು. ಆ ಪಾತ್ನಲ್ಲಿ ಸರಳ ಪಠ್ಯದ robots.txt ನೀಡಿ, ಅಥವಾ ನಿಮಗೆ ನಿಯಮಗಳಿಲ್ಲದಿದ್ದರೆ ನಿಜವಾದ 404 ಸ್ಥಿತಿ ಹಿಂತಿರುಗಿಸಿ.
ಇದರ ಅರ್ಥ
robots.txt ವಿಳಾಸವು HTML ಹಿಂತಿರುಗಿಸುತ್ತದೆ (ಸಾಮಾನ್ಯವಾಗಿ 200 ಸ್ಥಿತಿಯೊಂದಿಗೆ ನೀಡಲಾದ 404 ಪುಟ), ಆದ್ದರಿಂದ ಕ್ರಾಲರ್ಗಳು ಯಾವ ನಿಯಮವನ್ನೂ ಓದಲಾರವು.
AI ಹುಡುಕಾಟಕ್ಕೆ ಇದು ಏಕೆ ಮುಖ್ಯ
ಕ್ರಾಲರ್ಗಳು robots.txt ಅನ್ನು ಸಾಲು ಸಾಲಾಗಿ ಓದುತ್ತವೆ ಮತ್ತು ಅರ್ಥವಾಗದ್ದನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತವೆ, ಆದ್ದರಿಂದ HTML ಪುಟ ಅವುಗಳಿಗೆ ಯಾವುದೇ ನಿಯಮಗಳನ್ನೂ Sitemap ಸಾಲುಗಳನ್ನೂ ನೀಡುವುದಿಲ್ಲ. ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯುವುದು ಅಥವಾ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳನ್ನು ಅನುಮತಿಸುವುದು ಮುಂತಾದ ನಿಮ್ಮ ಉದ್ದೇಶಿತ ನೀತಿ ಅನ್ವಯವಾಗುವುದಿಲ್ಲ, ಮತ್ತು ಅಲ್ಲಿ ಘೋಷಿಸಿದ ಸೈಟ್ಮ್ಯಾಪ್ಗಳು ಸಿಗುವುದಿಲ್ಲ.
ಪ್ರತಿ ಅಪರಿಚಿತ ಪಾತ್ಗೆ ಆ್ಯಪ್ ಶೆಲ್ ಮತ್ತು 200 ಸ್ಥಿತಿಯೊಂದಿಗೆ ಉತ್ತರಿಸುವ single-page ಆ್ಯಪ್ಗಳು ಮತ್ತು catch-all ಮಾರ್ಗಗಳಲ್ಲಿ ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಆಗುತ್ತದೆ. AISeeWhy Content-Type ಹೆಡರ್ನಿಂದಲ್ಲ, ದೇಹದಿಂದ (body) ನಿರ್ಣಯಿಸುತ್ತದೆ, ಏಕೆಂದರೆ ಕ್ರಾಲರ್ಗಳೂ ಹಾಗೆಯೇ ಮಾಡುತ್ತವೆ: text/html ಆಗಿ ನೀಡಲಾದ ಪಠ್ಯ ಫೈಲ್ ಅನ್ನು ಓದಲಾಗುತ್ತದೆ, HTML ಪುಟವನ್ನು ಓದಲಾಗುವುದಿಲ್ಲ.
ಇದನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸುವುದು
/robots.txtತೆರೆದು ಮೂಲವನ್ನು (source) ನೋಡಿ: ಅದು<!doctypeಅಥವಾ<htmlನಿಂದ ಆರಂಭವಾದರೆ, ಫೈಲ್ ಇಲ್ಲ ಮತ್ತು fallback ಮಾರ್ಗ ಉತ್ತರಿಸುತ್ತಿದೆ.- ನಿಜವಾದ ಫೈಲ್ ಸೇರಿಸಿ: Next.js, Vite ಅಥವಾ Create React App ನಲ್ಲಿ
public/robots.txt, nginx ಅಥವಾ Apache ನಲ್ಲಿ ವೆಬ್ ರೂಟ್, ಅಥವಾ Shopify ನಲ್ಲಿrobots.txt.liquidಟೆಂಪ್ಲೇಟ್. - nginx ನಲ್ಲಿ, ಸ್ಥಿರ ಫೈಲ್ ಪರಿಶೀಲಿಸುವ ಮೊದಲೇ
try_files ... /index.htmlfallback/robots.txtಅನ್ನು ಹಿಡಿಯದಂತೆ ನೋಡಿಕೊಳ್ಳಿ; ಅಗತ್ಯವಿದ್ದರೆlocation = /robots.txtಸೇರಿಸಿ. - ಅಪರಿಚಿತ ಪಾತ್ಗಳಿಗೆ 404 ಸ್ಥಿತಿ ಕಳುಹಿಸುವಂತೆ ನಿಮ್ಮ catch-all ಮಾರ್ಗವನ್ನು ಸರಿಪಡಿಸಿ. AISeeWhy ವರದಿಯು ಪುರಾವೆ ಮತ್ತು ಅಂಟಿಸಲು ಸಿದ್ಧ ಪರಿಹಾರವನ್ನು ತೋರಿಸುತ್ತದೆ; ಬಳಿಕ ಫಲಿತಾಂಶವನ್ನು ಖಚಿತಪಡಿಸಲು “ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ” ಒತ್ತಿ.
ಉದಾಹರಣೆ
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml ಪರಿಹಾರವನ್ನು ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು
ಬದಲಾವಣೆಯ ನಂತರ, ವರದಿಯಲ್ಲಿ "ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ" ಒತ್ತಿ: ಏನು ಸರಿಯಾಯಿತು ಮತ್ತು ಸ್ಕೋರ್ ಹೇಗೆ ಬದಲಾಯಿತು ಎಂದು ಅದು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ.