robots.txt OAI-SearchBotను నిషేధిస్తోంది

చిన్న జవాబు

మీ robots.txtలో ఈ క్రాలర్ టోకెన్‌కు ఈ పేజీకి సరిపోలే Disallow నియమం ఉంది. ఆడిట్ RFC 9309ను అనుసరిస్తుంది: క్రాలర్‌కు సొంత గ్రూప్ ఉంటే అది, లేకపోతే * గ్రూప్; పొడవైన సరిపోలే నియమం గెలుస్తుంది. క్రాలర్ రావాలనుకుంటే దానికి Allow జోడించండి లేదా నియమాన్ని తీసివేయండి.

robots.disallowed · ప్రాధాన్యత: P1–P3, క్రాలర్ రకాన్ని బట్టి

దీని అర్థం ఏమిటి

మీ robots.txt రూల్స్ OAI-SearchBot /ను తెచ్చుకోకుండా ఆపుతున్నాయి.

AI సెర్చ్‌కు ఇది ఎందుకు ముఖ్యం

పద్ధతిగా నడుచుకునే AI క్రాలర్‌లు robots.txtను పాటిస్తాయి. OAI-SearchBot, Claude-SearchBot లేదా PerplexityBot నిషేధించబడితే, పేజీ వాటి సెర్చ్ ఇండెక్స్‌ల కోసం తెచ్చుకోబడదు, కాబట్టి వాటి జవాబుల్లో ఉటంకించబడదు. GPTBot, ClaudeBot, Google-Extended లేదా Applebot-Extended వంటి ట్రైనింగ్ టోకెన్‌లను నిషేధిస్తే మోడల్ ట్రైనింగ్ కోసం ఉపయోగం మాత్రమే ఆగుతుంది.

చాలా సైట్‌లు AI క్రాలర్‌లను పొరపాటున బ్లాక్ చేస్తాయి: Googlebot తప్ప అన్నిటినీ నిషేధించే టెంప్లేట్, లేదా staging నుంచి మిగిలిపోయిన Disallow: / ఉన్న User-agent: * గ్రూప్. Applebotకు సొంత గ్రూప్ లేనప్పుడు అది Googlebot గ్రూప్‌ను ఉపయోగిస్తుందని గమనించండి.

దీన్ని ఎలా సరిచేయాలి

  1. అంశంలో నియమాన్ని కనుగొనండి: అది క్రాలర్ టోకెన్‌ను, పాత్‌ను చూపిస్తుంది. AISeeWhy రిపోర్ట్ ఆధారాలను, అతికించడానికి సిద్ధమైన పరిష్కారాన్ని చూపిస్తుంది; ఆ తర్వాత ఫలితాన్ని నిర్ధారించడానికి "మళ్లీ తనిఖీ చేయండి" నడపండి.
  2. పేజీని నిషేధించే ఏ గ్రూప్ నుంచైనా క్రాలర్ టోకెన్‌ను తీసివేసి, Allow: /తో దానికి సొంత గ్రూప్ జోడించండి. ప్రత్యేక గ్రూప్ ఆ క్రాలర్‌కు * గ్రూప్ స్థానాన్ని తీసుకుంటుంది, కాబట్టి * కింద ఉన్న నియమాలు ఇక దానికి వర్తించవు.
  3. WordPressలో robots.txt వెబ్ రూట్‌లోని నిజమైన ఫైల్ అయిందా, లేక Yoast లేదా Rank Math వంటి SEO ప్లగిన్ తయారు చేసిందా చూసి, అక్కడే దాన్ని సవరించండి. Shopifyలో robots.txt.liquid థీమ్ టెంప్లేట్‌ను సవరించండి.
  4. Cloudflareలో, managed robots.txt సెట్టింగ్ మీ సొంత ఫైల్‌పై అదనంగా AI క్రాలర్ నియమాలను జోడిస్తోందేమో తనిఖీ చేయండి.
  5. అది మీ విధానమైతే ట్రైనింగ్ టోకెన్‌లను నిషేధంలోనే ఉంచండి; వేరే టోకెన్‌లను ఉపయోగించే సెర్చ్ క్రాలర్‌లపై దాని ప్రభావం ఉండదు.

ఉదాహరణ

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

పరిష్కారాన్ని ఎలా నిర్ధారించాలి

మార్పు తర్వాత రిపోర్ట్‌లో "మళ్లీ తనిఖీ చేయండి" నొక్కండి: ఏమి సరిచేయబడిందో, స్కోర్ ఎలా మారిందో అది చూపిస్తుంది.

నా పేజీని తనిఖీ చేయండి →

సంబంధిత గైడ్‌లు

అన్ని అంశాలు, స్కోర్ ఎలా పనిచేస్తుంది