robots.txt ఒక HTML పేజీ
/robots.txt చిరునామా HTML డాక్యుమెంట్ను ఇస్తోంది, సాధారణంగా స్టేటస్ 200తో అందించే 404 పేజీ లేదా హోమ్ పేజీ. క్రాలర్లు HTML నుంచి ఏ నియమాలనూ చదవలేవు. ఆ పాత్లో సాదా టెక్స్ట్ robots.txt అందించండి, లేదా మీకు నియమాలు లేకపోతే నిజమైన 404 స్టేటస్ ఇవ్వండి.
దీని అర్థం ఏమిటి
robots.txt చిరునామా HTMLను ఇస్తోంది (తరచుగా స్టేటస్ 200తో అందించే 404 పేజీ), కాబట్టి క్రాలర్లు ఏ రూల్స్నూ చదవలేవు.
AI సెర్చ్కు ఇది ఎందుకు ముఖ్యం
క్రాలర్లు robots.txtను లైన్ వారీగా పార్స్ చేస్తాయి, అర్థం కానిదాన్ని పట్టించుకోవు, కాబట్టి HTML పేజీ వాటికి ఏ నియమాలనూ, ఏ Sitemap లైన్లనూ ఇవ్వదు. ట్రైనింగ్ క్రాలర్లను బ్లాక్ చేయడం లేదా సెర్చ్ క్రాలర్లను అనుమతించడం వంటి మీరు ఉద్దేశించిన విధానం అమలు కాదు, అక్కడ ప్రకటించిన sitemapలు కనబడవు.
ప్రతి తెలియని పాత్కు యాప్ షెల్తో, స్టేటస్ 200తో జవాబిచ్చే single-page యాప్లు, catch-all రూట్లతో ఇది సాధారణంగా జరుగుతుంది. AISeeWhy Content-Type హెడర్ను కాకుండా బాడీని బట్టి నిర్ణయిస్తుంది, ఎందుకంటే క్రాలర్లూ అలాగే చేస్తాయి: text/htmlగా అందించిన టెక్స్ట్ ఫైల్ అయినా చదవబడుతుంది, HTML పేజీ చదవబడదు.
దీన్ని ఎలా సరిచేయాలి
/robots.txtతెరిచి సోర్స్ చూడండి: అది<!doctypeలేదా<htmlతో మొదలైతే, ఫైల్ లేదు, ఒక fallback రూట్ జవాబిస్తోంది.- నిజమైన ఫైల్ జోడించండి: Next.js, Vite లేదా Create React Appలో
public/robots.txt, nginx లేదా Apacheలో వెబ్ రూట్, Shopifyలోrobots.txt.liquidటెంప్లేట్. - nginxలో, స్టాటిక్ ఫైల్ తనిఖీ కాకముందే
try_files ... /index.htmlfallback/robots.txtను పట్టుకోకుండా చూడండి; అవసరమైతేlocation = /robots.txtజోడించండి. - తెలియని పాత్లకు స్టేటస్ 404 పంపేలా మీ catch-all రూట్ను సరిచేయండి. AISeeWhy రిపోర్ట్ ఆధారాలను, అతికించడానికి సిద్ధమైన పరిష్కారాన్ని చూపిస్తుంది; ఆ తర్వాత ఫలితాన్ని నిర్ధారించడానికి "మళ్లీ తనిఖీ చేయండి" నడపండి.
ఉదాహరణ
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml పరిష్కారాన్ని ఎలా నిర్ధారించాలి
మార్పు తర్వాత రిపోర్ట్లో "మళ్లీ తనిఖీ చేయండి" నొక్కండి: ఏమి సరిచేయబడిందో, స్కోర్ ఎలా మారిందో అది చూపిస్తుంది.