2 పేజీలు క్రాల్ను తిరస్కరించాయి
ఆడిట్ వీటిని బ్రౌజర్గా తెచ్చుకున్నప్పుడు ఈ పేజీలు 401, 403, 429 లేదా 503తో జవాబిచ్చాయి, లేదా టైమ్ అవుట్ అయ్యాయి. అది తరచుగా పాడైన పేజీ కాదు, ఫైర్వాల్, బాట్ ప్రొటెక్షన్ లేదా rate limit. సెర్చ్, AI క్రాలర్లకు కూడా అదే జవాబు వస్తోందో తనిఖీ చేయండి.
దీని అర్థం ఏమిటి
ఈ పేజీలు 401, 403, 429 లేదా 503తో జవాబిచ్చాయి, లేదా టైమ్అవుట్ అయ్యాయి. ఫైర్వాల్ లేదా రేట్ లిమిట్ క్రాలర్లను కూడా ఆపుతుండవచ్చు; సెర్చ్, AI క్రాలర్లకు అదే జవాబు వస్తోందో సరిచూడండి.
AI సెర్చ్కు ఇది ఎందుకు ముఖ్యం
ఆడిట్ ఒకే సర్వర్ నుంచి తక్కువ సమయంలో చాలా పేజీలను తెచ్చుకుంటుంది, కాబట్టి మనుషులకు పేజీ అందుతున్నా rate limit 429 లేదా 503తో జవాబివ్వవచ్చు. అదే నియమం సెర్చ్, AI క్రాలర్లకు వర్తిస్తే, ఈ పేజీలు వాటి ఇండెక్స్ల కోసం తెచ్చుకోబడవు, AI జవాబుల్లో ఉటంకించబడవు.
401 అంటే పేజీకి లాగిన్ అవసరం, ఖాతా విభాగాలకు ఇది ఊహించిందే కానీ పబ్లిక్ కంటెంట్కు కాదు. ప్రతి పేజీపై 503 అంటే మెయింటెనెన్స్ మోడ్ ఆన్లోనే వదిలేశారని అర్థం కావచ్చు. ఎవరు తిరస్కరించబడుతున్నారో దాన్ని బట్టి సవరణ ఉంటుంది కాబట్టి ఈ పేజీలను పనిచేయని లింక్ల నుంచి వేరుగా ఉంచుతాం.
దీన్ని ఎలా సరిచేయాలి
- జాబితాలోని కొన్ని URLలను ప్రైవేట్ బ్రౌజర్ విండోలో తెరవండి. అవి లోడ్ అయితే, బ్లాక్ ఆటోమేటెడ్ అభ్యర్థనలను లక్ష్యంగా చేసుకుంది.
- మీ ఫైర్వాల్, CDN లేదా హోస్టింగ్ లాగ్లలో తిరస్కరించిన అభ్యర్థనల కోసం చూడండి. Googlebot, Bingbot వంటి ధృవీకరించిన సెర్చ్ క్రాలర్లు, మీరు కోరుకునే AI సెర్చ్ క్రాలర్లు అనుమతించబడ్డాయని నిర్ధారించుకోండి; Cloudflareతో సహా చాలా CDNలలో verified bots కోసం సెట్టింగ్ ఉంటుంది.
- Rate limit కారణమైతే, సాధారణ పేజీ అభ్యర్థనలకు పరిమితిని పెంచండి లేదా HTML పేజీలను దాని నుంచి మినహాయించండి.
- పేజీలు 401తో జవాబిస్తే, పబ్లిక్ పేజీల నుంచి లాగిన్ను తీసివేయండి, లేదా పబ్లిక్ పేజీల నుంచి ప్రైవేట్ పేజీలకు లింక్ ఇవ్వడం ఆపండి.
- ఫలితాన్ని నిర్ధారించడానికి మీ ఖాతా నుంచి సైట్ ఆడిట్ను మళ్లీ నడపండి.
పరిష్కారాన్ని ఎలా నిర్ధారించాలి
మార్పు తర్వాత రిపోర్ట్లో "మళ్లీ తనిఖీ చేయండి" నొక్కండి: ఏమి సరిచేయబడిందో, స్కోర్ ఎలా మారిందో అది చూపిస్తుంది.