robots.txt ఒక HTML పేజీ

చిన్న జవాబు

/robots.txt చిరునామా HTML డాక్యుమెంట్‌ను ఇస్తోంది, సాధారణంగా స్టేటస్ 200తో అందించే 404 పేజీ లేదా హోమ్ పేజీ. క్రాలర్‌లు HTML నుంచి ఏ నియమాలనూ చదవలేవు. ఆ పాత్‌లో సాదా టెక్స్ట్ robots.txt అందించండి, లేదా మీకు నియమాలు లేకపోతే నిజమైన 404 స్టేటస్ ఇవ్వండి.

robots.invalid · ప్రాధాన్యత: P2

దీని అర్థం ఏమిటి

robots.txt చిరునామా HTMLను ఇస్తోంది (తరచుగా స్టేటస్ 200తో అందించే 404 పేజీ), కాబట్టి క్రాలర్‌లు ఏ రూల్స్‌నూ చదవలేవు.

AI సెర్చ్‌కు ఇది ఎందుకు ముఖ్యం

క్రాలర్‌లు robots.txtను లైన్ వారీగా పార్స్ చేస్తాయి, అర్థం కానిదాన్ని పట్టించుకోవు, కాబట్టి HTML పేజీ వాటికి ఏ నియమాలనూ, ఏ Sitemap లైన్‌లనూ ఇవ్వదు. ట్రైనింగ్ క్రాలర్‌లను బ్లాక్ చేయడం లేదా సెర్చ్ క్రాలర్‌లను అనుమతించడం వంటి మీరు ఉద్దేశించిన విధానం అమలు కాదు, అక్కడ ప్రకటించిన sitemapలు కనబడవు.

ప్రతి తెలియని పాత్‌కు యాప్ షెల్‌తో, స్టేటస్ 200తో జవాబిచ్చే single-page యాప్‌లు, catch-all రూట్‌లతో ఇది సాధారణంగా జరుగుతుంది. AISeeWhy Content-Type హెడర్‌ను కాకుండా బాడీని బట్టి నిర్ణయిస్తుంది, ఎందుకంటే క్రాలర్‌లూ అలాగే చేస్తాయి: text/htmlగా అందించిన టెక్స్ట్ ఫైల్ అయినా చదవబడుతుంది, HTML పేజీ చదవబడదు.

దీన్ని ఎలా సరిచేయాలి

  1. /robots.txt తెరిచి సోర్స్ చూడండి: అది <!doctype లేదా <htmlతో మొదలైతే, ఫైల్ లేదు, ఒక fallback రూట్ జవాబిస్తోంది.
  2. నిజమైన ఫైల్ జోడించండి: Next.js, Vite లేదా Create React Appలో public/robots.txt, nginx లేదా Apacheలో వెబ్ రూట్, Shopifyలో robots.txt.liquid టెంప్లేట్.
  3. nginxలో, స్టాటిక్ ఫైల్ తనిఖీ కాకముందే try_files ... /index.html fallback /robots.txtను పట్టుకోకుండా చూడండి; అవసరమైతే location = /robots.txt జోడించండి.
  4. తెలియని పాత్‌లకు స్టేటస్ 404 పంపేలా మీ catch-all రూట్‌ను సరిచేయండి. AISeeWhy రిపోర్ట్ ఆధారాలను, అతికించడానికి సిద్ధమైన పరిష్కారాన్ని చూపిస్తుంది; ఆ తర్వాత ఫలితాన్ని నిర్ధారించడానికి "మళ్లీ తనిఖీ చేయండి" నడపండి.

ఉదాహరణ

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

పరిష్కారాన్ని ఎలా నిర్ధారించాలి

మార్పు తర్వాత రిపోర్ట్‌లో "మళ్లీ తనిఖీ చేయండి" నొక్కండి: ఏమి సరిచేయబడిందో, స్కోర్ ఎలా మారిందో అది చూపిస్తుంది.

నా పేజీని తనిఖీ చేయండి →

సంబంధిత గైడ్‌లు

అన్ని అంశాలు, స్కోర్ ఎలా పనిచేస్తుంది