robots.txtను తెచ్చుకోలేకపోయాం
/robots.txtను తెచ్చుకోవడం విఫలమైంది: సర్వర్ 5xx స్టేటస్ లేదా 429తో జవాబిచ్చింది, లేదా అసలు జవాబివ్వలేదు. RFC 9309 ప్రకారం అప్పుడు క్రాలర్లు మొత్తం సైట్ను నిషేధించబడినదిగా భావిస్తాయి. /robots.txt సాదా టెక్స్ట్తో స్టేటస్ 200 ఇచ్చేలా చేయండి, లేదా మీకు నియమాలు లేకపోతే 404 ఇచ్చేలా చేయండి.
దీని అర్థం ఏమిటి
robots.txt స్టేటస్ 403తో జవాబిచ్చింది లేదా అసలు జవాబివ్వలేదు. RFC 9309 ప్రకారం అలాంటప్పుడు క్రాలర్లు మొత్తం సైట్ను నిషేధించినట్టుగా పరిగణిస్తాయి.
AI సెర్చ్కు ఇది ఎందుకు ముఖ్యం
సర్వర్ ఎర్రర్ వల్ల robots.txtను చేరుకోలేని క్రాలర్ పూర్తి నిషేధం ఉన్నట్లు భావించాలని RFC 9309 చెబుతుంది. ప్రమాణాన్ని పాటించే Googlebot, Bingbot, AI క్రాలర్లు robots.txt మళ్లీ జవాబిచ్చే వరకు పేజీలను తెచ్చుకోవడం ఆపేస్తాయి, కాబట్టి ఒక్క పాడైన ఫైల్ మొత్తం సైట్ను దాచేయగలదు.
ఫైల్ లేకపోవడం వేరే విషయం: 404 లేదా మరో 4xx స్టేటస్ అంటే నియమాలు లేవు, కాబట్టి అన్నీ అనుమతించబడతాయి, AISeeWhy ఏమీ నివేదించదు. సమస్య సర్వర్ ఎర్రర్లు, rate limits (429), ఏ స్టేటస్ రాకముందే టైమ్ అవుట్ అయ్యే లేదా తిరస్కరించబడే అభ్యర్థనలు మాత్రమే.
దీన్ని ఎలా సరిచేయాలి
- మీ నెట్వర్క్ బయటి నుంచి
https://your-domain/robots.txtతెరిచి స్టేటస్ను గమనించండి. ఆడిట్ దాన్ని బ్రౌజర్ యూజర్ ఏజెంట్తో తెచ్చుకుంటుంది. - అది 5xx అయితే origin రూట్ను తనిఖీ చేయండి: Next.js వంటి ఫ్రేమ్వర్క్లు దాన్ని
public/robots.txtలేదాapp/robots.tsనుంచి అందిస్తాయి, WordPress దాన్ని డైనమిక్గా తయారు చేస్తుంది, కాబట్టి PHP ఎర్రర్ దాన్ని పాడుచేస్తుంది. - అది 429 లేదా టైమ్ అవుట్ అయితే, మీ CDN లేదా WAFలో
/robots.txtకు rate limiting, బాట్ ఛాలెంజ్ల నుంచి మినహాయింపు ఇవ్వండి. - origin నెమ్మదిగా ఉన్నప్పుడు కూడా జవాబిచ్చేలా robots.txtను CDNలో కాష్ చేయండి. AISeeWhy రిపోర్ట్ ఆధారాలను, అతికించడానికి సిద్ధమైన పరిష్కారాన్ని చూపిస్తుంది; ఆ తర్వాత ఫలితాన్ని నిర్ధారించడానికి "మళ్లీ తనిఖీ చేయండి" నడపండి.
పరిష్కారాన్ని ఎలా నిర్ధారించాలి
మార్పు తర్వాత రిపోర్ట్లో "మళ్లీ తనిఖీ చేయండి" నొక్కండి: ఏమి సరిచేయబడిందో, స్కోర్ ఎలా మారిందో అది చూపిస్తుంది.