robots.txt OAI-SearchBotను నిషేధిస్తోంది
మీ robots.txtలో ఈ క్రాలర్ టోకెన్కు ఈ పేజీకి సరిపోలే Disallow నియమం ఉంది. ఆడిట్ RFC 9309ను అనుసరిస్తుంది: క్రాలర్కు సొంత గ్రూప్ ఉంటే అది, లేకపోతే * గ్రూప్; పొడవైన సరిపోలే నియమం గెలుస్తుంది. క్రాలర్ రావాలనుకుంటే దానికి Allow జోడించండి లేదా నియమాన్ని తీసివేయండి.
దీని అర్థం ఏమిటి
మీ robots.txt రూల్స్ OAI-SearchBot /ను తెచ్చుకోకుండా ఆపుతున్నాయి.
AI సెర్చ్కు ఇది ఎందుకు ముఖ్యం
పద్ధతిగా నడుచుకునే AI క్రాలర్లు robots.txtను పాటిస్తాయి. OAI-SearchBot, Claude-SearchBot లేదా PerplexityBot నిషేధించబడితే, పేజీ వాటి సెర్చ్ ఇండెక్స్ల కోసం తెచ్చుకోబడదు, కాబట్టి వాటి జవాబుల్లో ఉటంకించబడదు. GPTBot, ClaudeBot, Google-Extended లేదా Applebot-Extended వంటి ట్రైనింగ్ టోకెన్లను నిషేధిస్తే మోడల్ ట్రైనింగ్ కోసం ఉపయోగం మాత్రమే ఆగుతుంది.
చాలా సైట్లు AI క్రాలర్లను పొరపాటున బ్లాక్ చేస్తాయి: Googlebot తప్ప అన్నిటినీ నిషేధించే టెంప్లేట్, లేదా staging నుంచి మిగిలిపోయిన Disallow: / ఉన్న User-agent: * గ్రూప్. Applebotకు సొంత గ్రూప్ లేనప్పుడు అది Googlebot గ్రూప్ను ఉపయోగిస్తుందని గమనించండి.
దీన్ని ఎలా సరిచేయాలి
- అంశంలో నియమాన్ని కనుగొనండి: అది క్రాలర్ టోకెన్ను, పాత్ను చూపిస్తుంది. AISeeWhy రిపోర్ట్ ఆధారాలను, అతికించడానికి సిద్ధమైన పరిష్కారాన్ని చూపిస్తుంది; ఆ తర్వాత ఫలితాన్ని నిర్ధారించడానికి "మళ్లీ తనిఖీ చేయండి" నడపండి.
- పేజీని నిషేధించే ఏ గ్రూప్ నుంచైనా క్రాలర్ టోకెన్ను తీసివేసి,
Allow: /తో దానికి సొంత గ్రూప్ జోడించండి. ప్రత్యేక గ్రూప్ ఆ క్రాలర్కు*గ్రూప్ స్థానాన్ని తీసుకుంటుంది, కాబట్టి*కింద ఉన్న నియమాలు ఇక దానికి వర్తించవు. - WordPressలో robots.txt వెబ్ రూట్లోని నిజమైన ఫైల్ అయిందా, లేక Yoast లేదా Rank Math వంటి SEO ప్లగిన్ తయారు చేసిందా చూసి, అక్కడే దాన్ని సవరించండి. Shopifyలో
robots.txt.liquidథీమ్ టెంప్లేట్ను సవరించండి. - Cloudflareలో, managed robots.txt సెట్టింగ్ మీ సొంత ఫైల్పై అదనంగా AI క్రాలర్ నియమాలను జోడిస్తోందేమో తనిఖీ చేయండి.
- అది మీ విధానమైతే ట్రైనింగ్ టోకెన్లను నిషేధంలోనే ఉంచండి; వేరే టోకెన్లను ఉపయోగించే సెర్చ్ క్రాలర్లపై దాని ప్రభావం ఉండదు.
ఉదాహరణ
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / పరిష్కారాన్ని ఎలా నిర్ధారించాలి
మార్పు తర్వాత రిపోర్ట్లో "మళ్లీ తనిఖీ చేయండి" నొక్కండి: ఏమి సరిచేయబడిందో, స్కోర్ ఎలా మారిందో అది చూపిస్తుంది.